Domande taggate «partitioning»

Zookeeper è un must per Kafka?

In Kafka, vorrei utilizzare solo un singolo broker, un singolo argomento e una singola partizione con un produttore e più consumatori (ogni consumatore riceve la propria copia di dati dal broker). Dato questo, non voglio il sovraccarico di usare Zookeeper; Non posso usare solo il broker? Perché è necessario un …

135 partitioning apache-zookeeper producer-consumer apache-kafka broker

Come definire il partizionamento di DataFrame?

Ho iniziato a utilizzare Spark SQL e DataFrames in Spark 1.4.0. Voglio definire un partizionatore personalizzato su DataFrames, in Scala, ma non vedo come farlo. Una delle tabelle di dati con cui sto lavorando contiene un elenco di transazioni, per account, silimar nell'esempio seguente. Account Date Type Amount 1001 2014-04-01 …

128 scala apache-spark dataframe apache-spark-sql partitioning

Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.

Licensed under cc by-sa 3.0 with attribution required.