Uso nel mondo reale di Zookeeper [chiuso]

Recentemente ho esaminato Zookeeper e mi sono chiesto se qualcuno lo stesse usando attualmente e cosa lo stessero usando specificamente per l'archiviazione.

Il caso d'uso più comune riguarda le informazioni di configurazione, ma che tipo di dati e quanti dati stai archiviando?

L' implementazione Apache CXF di DOSGi utilizza zookeeper per il suo repository di registrazione del servizio. I singoli contenitori hanno un bundle di software distribuito (dsw) che ascolta tutti gli eventi di servizio e quando lo stato di un servizio cambia che ha una proprietà che indica la distribuzione. Il dsw dialoga con il discovery bundle che, nel caso di implementazione di riferimento, utilizza zookeeper per archiviare il servizio come nodi effimeri. Altre istanze cercheranno le modifiche alla struttura del nodo e registreranno i proxy sui loro sistemi locali. Il risultato finale è che puoi programmare in OSGi semplice e finire con una distribuzione trasparente.

Progetti software gratuiti forniti da ZooKeeper:

• AdroitLogic UltraESB
• Akka
• Eclipse Communication Framework
• Eclipse Gyrex
• GoldenOrb
• juju
• Katta
• KeptCollections
• Mesos
• Neo4j
• Norbert
• Talend ESB
• redis_failover

Progetti Apache basati su ZooKeeper:

• Apache Accumulo
• BookKeeper di Apache
• Apache CXF DOSGi
• Apache Flume
• Apache Hadoop MapReduce
• Apache HBase
• Apache Hedwig
• Apache Kafka
• Apache S4
• Apache Solr

Fonte: https://cwiki.apache.org/confluence/display/ZOOKEEPER/PoweredBy

HBase usa Zookeeper per coordinare le attività di cui era responsabile il "nodo principale" prima della versione corrente. Il passaggio all'utilizzo di Zookeeper significa che il controllo centrale non è più un singolo punto di errore.

Zookeeper è molto versatile; ecco un esempio di come utilizzarlo per creare una coda simultanea distribuita:

http://blog.cloudera.com/blog/2009/05/building-a-distributed-concurrent-queue-with-apache-zookeeper/

Ovviamente puoi anche usarlo per creare blocchi di risorse, ecc. In un sistema distribuito.

Vecchia domanda, ma poiché questa pagina viene visualizzata per prima su una ricerca su Google per casi d'uso di guardiano dello zoo, ho pensato che sarebbe stato meglio fornire un elenco aggiornato

1. wikipedia
2. wiki guardiano dello zoo
3. utenti reali

Norbert è un buon esempio di un sistema di produzione scalabile. In generale, integra Netty, Protocol Buffers e Zookeeper in un framework leggero per l'esecuzione di servizi cluster. I buffer di protocollo vengono utilizzati per specificare l'API del servizio, Netty implementa astrazioni a livello di trasporto e Zookeeper è essenzialmente un servizio di rilevamento a tolleranza d'errore.

Ogni volta che viene avviata un'istanza di servizio Norbert la registra come istanza disponibile di un particolare tipo di servizio. Dal punto di vista dell'implementazione, crea due alberi Zookeeper:

• "/ ServiceName / members" che elenca tutte le istanze note del servizio
• "/ ServiceName / available" che elenca le istanze attualmente disponibili del servizio

La proprietà più importante per ogni nodo è l'URL da utilizzare per connettersi all'istanza del servizio corrispondente. Abilita il bilanciamento del carico lato client: un client Norbert trova l'elenco di URL per un dato nome di servizio e tenta di connettersi a uno di essi in un certo ordine (ad esempio round-robin o casuale).

C'è un buon articolo ZooKeeper - The King of Coordination su ZooKeeper su Elastic Cloud.

In Found, ad esempio, utilizziamo ampiamente ZooKeeper per la scoperta, l'allocazione delle risorse, l'elezione dei leader e le notifiche ad alta priorità. In questo articolo, ti presenteremo questo Re del coordinamento e esamineremo da vicino come utilizziamo ZooKeeper in Found

Solr sta anche lavorando per integrare ZooKeeper . Qui puoi vedere che stanno usando per la configurazione dinamica, lo sharding, l'eliminazione di SPOF (elezione master / slave), il ribilanciamento, ecc.

• Storm è utilizzato da numerose società (Twitter e Groupon sono due delle più note) e si affida a Zookeeper.
• Kafka è utilizzato da Linkedin e si affida a Zookeeper.

Storm utilizza Zookeeper per archiviare tutto lo stato in modo che possa ripristinarsi da un'interruzione in uno dei suoi servizi componenti (distribuiti).

Ciò consente ai servizi componenti di essere senza stato e di scaricare o sincronizzare semplicemente con i server Zookeeper quando sono necessari i dati di configurazione. Se hai mai dovuto ripristinare un server di produzione, saprai quanto può essere un mal di testa!

I consumatori della coda Kafka possono utilizzare Zookeeper per archiviare informazioni (high water mark) su ciò che è stato consumato dalla coda.

Nel mio caso stiamo archiviando i file di configurazione in un insieme di guardiani dello zoo per l'utilizzo del cluster. Stiamo usando lo schema leader -> follower. Quindi quando un guardiano dello zoo più in basso passiamo a un altro (modalità replicata)

Zookeeper è stato utilizzato per molte cose oltre alla configurazione. Di seguito è riportato un elenco ufficiale delle primitive distribuite dell'implementazione che utilizzano lo zoo.

https://zookeeper.apache.org/doc/current/recipes.html

Neo4j usa Zookeeper, il suo server aziendale ad alta disponibilità! http://docs.neo4j.org/chunked/milestone/ha.html

datomic utilizza apache zookeeper per gestire l'archiviazione dei dati basata su riak.

Poiché Riak supporta solo l'eventuale coerenza in questo momento, un sistema Datomic in esecuzione su Riak utilizza anche Apache ZooKeeper, un servizio di coordinamento altamente disponibile. Datomic utilizza ZooKeeper per il coordinamento del failover dei transactor e per la manciata di chiavi per database che devono essere aggiornate con CAS. fonte: http://blog.datomic.com/2012/11/riak-and-couchbase-support.html

Ecco alcuni dettagli su come HBase utilizza ZooKeeper , comprese le informazioni su come intendono utilizzarlo in futuro. Generalmente lo usano per eliminare SPOF sui server regionali tramite l'elezione di Leader implementata utilizzando ZooKeeper.