Gli accumulatori sono variabili che vengono "aggiunte" solo tramite un'operazione associativa e possono quindi essere supportate in modo efficiente in parallelo. Possono essere usati per implementare contatori (come in MapReduce) o somme. Spark supporta in modo nativo accumulatori di tipi numerici e i programmatori possono aggiungere il supporto per nuovi tipi.
Perché stiamo usando accumulatore?
Gli accumulatori idraulici sono utilizzati in un'ampia varietà di industrie per immagazzinare energia; mantenere la pressione; smorzare vibrazioni, pulsazioni e urti; e altro ancora. Accumulo di energia: gli accumulatori possono accettare, immagazzinare e rilasciare energia sotto forma di fluido pressurizzato per migliorare l'efficienza del sistema idraulico.
Qual è la differenza tra trasmissione e accumulatore in Spark?
La differenza fondamentale tra una variabile broadcast e un accumulatore è che mentre la variabile broadcast è di sola lettura, l'accumulatore può essere aggiunto. … Ogni nodo di lavoro può solo accedere e aggiungere al proprio valore accumulatore locale e solo il programma driver può accedere al valore globale.
Come funziona l'accumulatore Spark?
Gli accumulatori sono variabili che vengono usate per aggregare informazioni tra gli esecutori. Ad esempio, queste informazioni possono riguardare dati o diagnosi API, ad esempio quanti record sono danneggiati o quante volte è stata chiamata una particolare API di libreria.
Perché la variabile accumulatore in Spark non dovrebbe essere utilizzata dal lavoratore per le operazioni di trasformazione?
L'accumulatore darà un output errato. Se un'attività è lenta, Spark può avviare una copia speculativa di tale attività su un altro nodo. Verdetto: non gestito. L'accumulatore darà un output errato.
