Cosa determina l'offset del consumatore Kafka?

Sono relativamente nuovo a Kafka. Ho fatto un po 'di sperimentazione, ma alcune cose non sono chiare per quanto riguarda l'offset del consumatore. Da quello che ho capito finora, quando un consumatore inizia, l'offset da cui inizierà la lettura è determinato dall'impostazione di configurazione auto.offset.reset(correggimi se sbaglio).

Ora, ad esempio, dire che ci sono 10 messaggi (offset da 0 a 9) nell'argomento e che un consumatore ne ha consumati 5 prima che cadesse (o prima che io uccidessi il consumatore). Quindi dire che riavvio quel processo consumer. Le mie domande sono:

1. Se auto.offset.resetè impostato su smallest, inizierà sempre a consumare dall'offset 0?

2. Se auto.offset.resetè impostato su largest, inizierà a consumare dall'offset 5?

3. Il comportamento riguardo a questo tipo di scenario è sempre deterministico?

Non esitate a commentare se qualcosa nella mia domanda non è chiaro. Grazie in anticipo.

È un po 'più complesso di quello che hai descritto.
La auto.offset.resetconfigurazione si avvia SOLO se il tuo gruppo di consumatori non ha un offset valido impegnato da qualche parte (2 archivi di offset supportati ora sono Kafka e Zookeeper) e dipende anche dal tipo di consumatore che usi.

Se usi un consumatore Java di alto livello, immagina i seguenti scenari:

1. Hai un consumatore in un gruppo di consumatori group1che ha consumato 5 messaggi ed è morto. La prossima volta che avvierai questo consumatore non userà nemmeno quella auto.offset.resetconfigurazione e continuerà dal punto in cui è morto perché recupererà l'offset memorizzato dall'archivio offset (Kafka o ZK come ho già detto).

2. Hai messaggi in un argomento (come hai descritto) e inizi un consumatore in un nuovo gruppo di consumatori group2. Non esiste alcun offset memorizzato da nessuna parte e questa volta la auto.offset.resetconfigurazione deciderà se iniziare dall'inizio dell'argomento ( earliest) o dalla fine dell'argomento ( latest)

Un'altra cosa che influenza il valore di offset earlieste le latestconfigurazioni è la politica di conservazione del registro. Immagina di avere un argomento con conservazione configurato su 1 ora. Produci 5 messaggi, quindi un'ora dopo pubblichi altri 5 messaggi. L' latestoffset rimarrà sempre lo stesso dell'esempio precedente, ma earliestquello non sarà possibile 0perché Kafka rimuoverà già questi messaggi e quindi sarà l'offset più presto disponibile 5.

Tutto ciò di cui sopra non è correlato SimpleConsumere ogni volta che lo esegui, deciderà da dove iniziare utilizzando la auto.offset.resetconfigurazione.

Se si utilizza la versione Kafka più vecchio di 0,9, si deve sostituire earliest, latestcon smallest, largest.

Solo un aggiornamento: da Kafka 0.9 in poi, Kafka sta usando una nuova versione Java del consumatore e i nomi dei parametri auto.offset.reset sono cambiati; Dal manuale:

Cosa fare quando non esiste un offset iniziale in Kafka o se l'offset corrente non esiste più sul server (ad es. Perché i dati sono stati eliminati):

prima : reimposta automaticamente l'offset alla prima

latest : ripristina automaticamente l'offset all'ultimo offset

nessuno : genera un'eccezione per il consumatore se non viene trovato alcun offset precedente per il gruppo del consumatore

qualsiasi altra cosa: gettare un'eccezione per il consumatore.

Ho trascorso un po 'di tempo a trovarlo dopo aver verificato la risposta accettata, quindi ho pensato che potesse essere utile per la community pubblicarla.

Ancora di più c'è offsetsret.retention.minutes. Se il tempo trascorso dall'ultimo commit è> offsets.retention.minutes, auto.offset.resetentra anche in azione