Domande taggate «distributed-computing»

5
Spiegazione di Apache ZooKeeper
Sto cercando di capire ZooKeeper, come funziona e cosa fa. Esiste un'applicazione paragonabile a ZooKeeper? Se lo sai, come descriveresti ZooKeeper a un laico? Ho provato apache wiki, zookeeper sourceforge ... ma non sono ancora in grado di relazionarmi con esso. Ho appena letto su http://zookeeper.sourceforge.net/index.sf.shtml , quindi non ci …

13
Spark - repartition () vs coalesce ()
Secondo Learning Spark Tieni presente che il ripartizionamento dei dati è un'operazione abbastanza costosa. Spark ha anche una versione ottimizzata di repartition()chiamato coalesce()che consente di evitare lo spostamento dei dati, ma solo se si sta diminuendo il numero di partizioni RDD. Una differenza che ottengo è che con repartition()il numero …



3
Cosa determina l'offset del consumatore Kafka?
Sono relativamente nuovo a Kafka. Ho fatto un po 'di sperimentazione, ma alcune cose non sono chiare per quanto riguarda l'offset del consumatore. Da quello che ho capito finora, quando un consumatore inizia, l'offset da cui inizierà la lettura è determinato dall'impostazione di configurazione auto.offset.reset(correggimi se sbaglio). Ora, ad esempio, …

25
Calcola la mediana di un miliardo di numeri
Se hai un miliardo di numeri e cento computer, qual è il modo migliore per individuare la mediana di questi numeri? Una soluzione che ho è: Dividi il set equamente tra i computer. Ordinali. Trova le mediane per ogni set. Ordina i set in base alle mediane. Unisci due serie …
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.