Programmazione distributed-computing

5

Sto cercando di capire ZooKeeper, come funziona e cosa fa. Esiste un'applicazione paragonabile a ZooKeeper? Se lo sai, come descriveresti ZooKeeper a un laico? Ho provato apache wiki, zookeeper sourceforge ... ma non sono ancora in grado di relazionarmi con esso. Ho appena letto su http://zookeeper.sourceforge.net/index.sf.shtml , quindi non ci …

376 apache-zookeeper distributed-computing

13

Spark - repartition () vs coalesce ()

Secondo Learning Spark Tieni presente che il ripartizionamento dei dati è un'operazione abbastanza costosa. Spark ha anche una versione ottimizzata di repartition()chiamato coalesce()che consente di evitare lo spostamento dei dati, ma solo se si sta diminuendo il numero di partizioni RDD. Una differenza che ottengo è che con repartition()il numero …

254 apache-spark distributed-computing rdd

2

Cosa sono i lavoratori, i dirigenti, i nuclei nel cluster Spark Standalone?

Ho letto la panoramica sulla modalità cluster e non riesco ancora a capire i diversi processi nel cluster Spark Standalone e il parallelismo. Il lavoratore è un processo JVM o no? Ho eseguito il bin\start-slave.she ho scoperto che ha generato il lavoratore, che in realtà è una JVM. Secondo il …

219 apache-spark distributed-computing

5

Qual è la differenza tra cache e persist?

In termini di RDDpersistenza, quali sono le differenze tra cache()e persist()in spark?

202 apache-spark distributed-computing rdd

3

Cosa determina l'offset del consumatore Kafka?

Sono relativamente nuovo a Kafka. Ho fatto un po 'di sperimentazione, ma alcune cose non sono chiare per quanto riguarda l'offset del consumatore. Da quello che ho capito finora, quando un consumatore inizia, l'offset da cui inizierà la lettura è determinato dall'impostazione di configurazione auto.offset.reset(correggimi se sbaglio). Ora, ad esempio, …

170 java distributed-computing apache-kafka

25

Calcola la mediana di un miliardo di numeri

Se hai un miliardo di numeri e cento computer, qual è il modo migliore per individuare la mediana di questi numeri? Una soluzione che ho è: Dividi il set equamente tra i computer. Ordinali. Trova le mediane per ogni set. Ordina i set in base alle mediane. Unisci due serie …

127 algorithm distributed-computing

Domande taggate «distributed-computing»