Il framework MapReduce è un tipo di BSP?


11

È accurato definire il framework mapReduce un tipo di framework di programmazione parallela sincrona di massa senza ritenzione di memoria locale all'interno dei processori tra le sincronizzazioni? In caso contrario, quale modello di programmazione parallela incapsula più accuratamente il framework mapReduce?


1
è una bella domanda!
Suresh Venkat,

grazie Suresh, cosa ne pensi, d'accordo?
Jeff Kubina,

una scelta difficile nel selezionare la risposta migliore poiché penso che tutti mi abbiano aiutato ad acquisire maggiori conoscenze su mapreduce e su come gli altri la vedono. ho scelto la risposta di Sasho poiché mi ha portato a un documento che risponde meglio alla mia domanda. grazie a tutti.
Jeff Kubina,

Risposte:


11

Nella sezione 2 di http://arxiv.org/abs/1101.1902 , gli autori definiscono un modello di MapReduce che è intenzionalmente strutturato come BSP. Dimostrano anche teoremi di simulazione. Potrebbe essere un buon punto di partenza.


5

Sì, la mia opinione è che MapReduce classica sia un modello BSP (e quindi ha i suoi limiti intrinseci sulla massima prestazione parallela possibile che può essere raggiunta). Tuttavia, i lavori più recenti su MapReduce sembrano concentrarsi su nozioni più vaghe di sincronizzazione, che porterebbero questo "MapReduce generalizzato" fuori dal rigoroso framework BSP. In particolare, se uno replica alcuni dei dati, la struttura di sincronizzazione può essere rilassata, ottenendo miglioramenti delle prestazioni.

Vedi ad esempio il lavoro di Foto Afrati e Jeff Ullman: Ottimizzare i join in un ambiente di riduzione delle mappe , EDBT 2010. ( prestampa )


2

Poiché in MapReduce è presente un grafico semplice e strutturato alla base del calcolo, questo può essere classificato come un modello di flusso di dati.


Sono d'accordo, MapReduce ha la stessa strategia di calcolo di una macchina a flusso di dati con tag. Il linguaggio Pig di Yahoo crea persino un linguaggio di flusso di dati in cima a MapReduce.
Manzo
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.