Comprensione di argomenti e partizioni di Kafka

Sto iniziando a imparare Kafka per scopi di soluzione aziendale.

Durante le mie letture, mi sono venute in mente alcune domande:

1. Quando un produttore sta producendo un messaggio, specificherà l' argomento a cui desidera inviare il messaggio, giusto? Si preoccupa delle partizioni?
2. Quando un abbonato è in esecuzione, specifica il suo ID di gruppo in modo che possa far parte di un gruppo di consumatori dello stesso argomento o di diversi argomenti a cui questo gruppo di consumatori è interessato?

3. Ogni gruppo di consumatori ha una partizione corrispondente sul broker o ogni consumatore ne ha una?

4. Le partizioni sono create dal broker e quindi non rappresentano un problema per i consumatori?

5. Poiché si tratta di una coda con un offset per ogni partizione, è responsabilità del consumatore specificare quali messaggi desidera leggere? Deve salvare il suo stato?

6. Cosa succede quando un messaggio viene eliminato dalla coda? - Ad esempio: la conservazione è stata di 3 ore, quindi il tempo passa, come viene gestito l'offset su entrambi i lati?

Questo post ha già delle risposte, ma sto aggiungendo il mio punto di vista con alcune immagini della Guida definitiva di Kafka

Prima di rispondere a ogni domanda, aggiungiamo una panoramica dei componenti del produttore:

1. Quando un produttore sta producendo un messaggio: specificherà l'argomento a cui desidera inviare il messaggio, giusto? Si preoccupa delle partizioni?

Il produttore deciderà la partizione di destinazione in cui inserire qualsiasi messaggio, a seconda di:

• ID partizione, se specificato nel messaggio
• chiave% num partitions , se non viene menzionato alcun ID di partizione
• Round robin se nel messaggio non sono disponibili né ID partizione né chiave messaggio, il che significa che è disponibile solo il valore

2. Quando un abbonato è in esecuzione: specifica il suo ID di gruppo in modo che possa far parte di un gruppo di consumatori dello stesso argomento o di diversi argomenti a cui questo gruppo di consumatori è interessato?

Devi sempre configurare group.id a meno che tu non stia utilizzando l'API di assegnazione semplice e non sia necessario archiviare gli offset in Kafka. Non farà parte di nessun gruppo. fonte

3. Ogni gruppo di consumatori ha una partizione corrispondente sul broker o ogni consumatore ne ha una?

In un gruppo di consumatori, ogni partizione verrà elaborata da un solo consumatore . Questi sono i possibili scenari

• Il numero di consumatori è inferiore al numero di partizioni di argomenti, quindi è possibile assegnare più partizioni a uno dei consumatori del gruppo
• Il numero di consumatori uguale al numero di partizioni degli argomenti, quindi la partizione e la mappatura dei consumatori possono essere come di seguito,
• Il numero di consumatori è superiore al numero di partizioni di argomenti, quindi la partizione e la mappatura dei consumatori possono essere visualizzate di seguito, Non efficace, controlla Consumatore 5

4. Come le partizioni create dal broker, quindi non è una preoccupazione per i consumatori?

Il consumatore dovrebbe essere consapevole del numero di partizioni, come discusso nella domanda 3.

5. Poiché si tratta di una coda con un offset per ogni partizione, è responsabilità dell'utente specificare quali messaggi desidera leggere? Deve salvare il suo stato?

Kafka (per essere il coordinatore del gruppo specifico ) si occupa dello stato di offset producendo un messaggio a un argomento __consumer_offsets interno , questo comportamento può essere configurabile anche manualmente impostando enable.auto.commitsu false. In tal caso consumer.commitSync()e consumer.commitAsync()può essere utile per la gestione dell'offset.

Maggiori informazioni sul coordinatore del gruppo :

1. È uno dei broker eletti nel cluster dal lato server di Kafka.
2. I consumatori interagiscono con il coordinatore del gruppo per gli offset offset e le richieste di recupero.
3. Il consumatore invia battiti cardiaci periodici al coordinatore del gruppo.

6. Cosa succede quando un messaggio viene eliminato dalla coda? - Ad esempio: la conservazione è stata di 3 ore, quindi il tempo passa, come viene gestito l'offset su entrambi i lati?

Se un consumatore inizia dopo il periodo di conservazione, i messaggi verranno consumati secondo la auto.offset.resetconfigurazione che potrebbe essere latest/earliest. tecnicamente è latest(inizia a elaborare nuovi messaggi) perché tutti i messaggi sono scaduti da quel momento e la conservazione è una configurazione a livello di argomento.

Prendiamo quelli in ordine :)

1 - Quando un produttore sta producendo un messaggio - Specifica l'argomento a cui desidera inviare il messaggio, giusto? Si preoccupa delle partizioni?

Per impostazione predefinita, al produttore non interessa il partizionamento. Hai la possibilità di utilizzare un partizionatore personalizzato per avere un controllo migliore, ma è totalmente opzionale.

2 - Quando un abbonato è in esecuzione - Specifica il suo ID di gruppo in modo che possa far parte di un gruppo di consumatori dello stesso argomento o di diversi argomenti a cui questo gruppo di consumatori è interessato?

Sì, i consumatori si uniscono (o creano se sono soli) a un gruppo di consumatori per condividere il carico. Nessuno dei due consumatori dello stesso gruppo riceverà mai lo stesso messaggio.

3 - Ogni gruppo di consumatori ha una partizione corrispondente sul broker o ogni consumatore ne ha una?

Né. A tutti i consumatori di un gruppo di consumatori viene assegnato un insieme di partizioni, a due condizioni: non esistono due consumatori dello stesso gruppo con una partizione in comune e al gruppo di consumatori nel suo insieme viene assegnata ogni partizione esistente.

4 - Le partizioni create dal broker non sono quindi motivo di preoccupazione per i consumatori?

Non lo sono, ma da 3 puoi vedere che è totalmente inutile avere più consumatori rispetto alle partizioni esistenti, quindi è il tuo massimo livello di parallelismo da consumare.

5 - Poiché si tratta di una coda con un offset per ogni partizione, è responsabilità dell'utente specificare quali messaggi desidera leggere? Deve salvare il suo stato?

Sì, i consumatori salvano un offset per argomento per partizione. Questo è totalmente gestito da Kafka, non preoccuparti.

6 - Cosa succede quando un messaggio viene eliminato dalla coda? - Ad esempio: la conservazione è stata di 3 ore, quindi il tempo passa, come viene gestito l'offset su entrambi i lati?

Se un consumatore richiede mai un offset non disponibile per una partizione sui broker (ad esempio, a causa della cancellazione), entra in una modalità di errore e alla fine si reimposta per questa partizione sul messaggio più recente o più vecchio disponibile (a seconda del il valore di configurazione auto.offset.reset) e continuare a lavorare.

Kafka usa Argomento concezione che viene per portare l'ordine nel flusso di messaggi.

Per bilanciare il carico, un argomento può essere diviso in più partizioni e replicato tra broker.

Le partizioni sono ordinate, sequenze immutabili di messaggi che vengono continuamente aggiunte, ad esempio un registro di commit.

I messaggi nella partizione hanno un numero ID sequenziale che identifica in modo univoco ogni messaggio all'interno della partizione.

Le partizioni consentono al registro di un argomento di ridimensionarsi oltre una dimensione che si adatta a un singolo server (un broker) e che funge da unità di parallelismo.

Le partizioni di un argomento sono distribuite sui broker nel cluster Kafka in cui ciascun broker gestisce i dati e le richieste per una condivisione delle partizioni.

Ogni partizione viene replicata su un numero configurabile di broker per assicurare la tolleranza agli errori.

Ben spiegato in questo articolo: http://codeflex.co/what-is-apache-kafka/