Kafka: ottenere continuamente FETCH_SESSION_ID_NOT

Ricevo continuamente FETCH_SESSION_ID_NOT_FOUND. Non sono sicuro del perché stia accadendo. Qualcuno può farmi piacere qui qual è il problema e quale sarà l'impatto su consumatori e broker.

Registro server Kafka:

INFO [2019-10-18 12:09:00,709] [ReplicaFetcherThread-1-8][] org.apache.kafka.clients.FetchSessionHandler - [ReplicaFetcher replicaId=6, leaderId=8, fetcherId=1] Node 8 was unable to process the fetch request with (sessionId=258818904, epoch=2233): FETCH_SESSION_ID_NOT_FOUND.
 INFO [2019-10-18 12:09:01,078] [ReplicaFetcherThread-44-10][] org.apache.kafka.clients.FetchSessionHandler - [ReplicaFetcher replicaId=6, leaderId=10, fetcherId=44] Node 10 was unable to process the fetch request with (sessionId=518415741, epoch=4416): FETCH_SESSION_ID_NOT_FOUND.
 INFO [2019-10-18 12:09:01,890] [ReplicaFetcherThread-32-9][] org.apache.kafka.clients.FetchSessionHandler - [ReplicaFetcher replicaId=6, leaderId=9, fetcherId=32] Node 9 was unable to process the fetch request with (sessionId=418200413, epoch=3634): FETCH_SESSION_ID_NOT_FOUND.

Registro consumatori Kafka:

12:29:58,936 INFO  [FetchSessionHandler:383] [Consumer clientId=bannerGroupMap#87e2af7cf742#test, groupId=bannerGroupMap#87e2af7cf742#test] Node 8 was unable to process the fetch request with (sessionId=1368981303, epoch=60): FETCH_SESSION_ID_NOT_FOUND.
12:29:58,937 INFO  [FetchSessionHandler:383] [Consumer clientId=bannerGroupMap#87e2af7cf742#test, groupId=bannerGroupMap#87e2af7cf742#test] Node 3 was unable to process the fetch request with (sessionId=1521862194, epoch=59): FETCH_SESSION_ID_NOT_FOUND.
12:29:59,939 INFO  [FetchSessionHandler:383] [Consumer clientId=zoneGroupMap#87e2af7cf742#test, groupId=zoneGroupMap#87e2af7cf742#test] Node 7 was unable to process the fetch request with (sessionId=868804875, epoch=58): FETCH_SESSION_ID_NOT_FOUND.
12:30:06,952 INFO  [FetchSessionHandler:383] [Consumer clientId=creativeMap#87e2af7cf742#test, groupId=creativeMap#87e2af7cf742#test] Node 3 was unable to process the fetch request with (sessionId=1135396084, epoch=58): FETCH_SESSION_ID_NOT_FOUND.
12:30:12,965 INFO  [FetchSessionHandler:383] [Consumer clientId=creativeMap#87e2af7cf742#test, groupId=creativeMap#87e2af7cf742#test] Node 6 was unable to process the fetch request with (sessionId=1346340004, epoch=56): FETCH_SESSION_ID_NOT_FOUND.

Dettagli del cluster:

Broker: 13 (1 Broker : 14 cores & 36GB memory)
Kafka cluster version: 2.0.0
Kafka Java client version: 2.0.0
Number topics: ~15. 
Number of consumers: 7K (all independent and manually assigned all partitions of a topic to a consumers. One consumer is consuming all partitions from a topic only)

apache-kafka

— Hrishikesh Mishra
fonte

Ricevo questo stesso errore con la versione 2.3.1 del client Kafka Java. Qualcuno ha qualche idea?

— Bert S.

@ BertS.aumenta questo valoremax.incremental.fetch.session.cache.slots

— Hrishikesh Mishra il

Ciao @HrishikeshMishra era questa (sopra il commento) la soluzione che hai trovato per questo problema? Considereresti di aggiungerlo come risposta al tuo post e, se possibile, con un po 'di spiegazione. Ho lo stesso problema, metterò alla prova la tua soluzione sopra.

— Jorge Campos,

Questo è un registro INFO. Quali sono le implicazioni di ignorarlo?

— Bert S.

Aumenta il valore di max.incremental.fetch.session.cache.slots. Il valore predefinito è 1K, nel mio caso l'ho aumentato a 10K e risolto.

— Hrishikesh Mishra
fonte

È un'impostazione sul broker?

— Bert S.

Sì, la sua impostazione broker

— Hrishikesh Mishra il

C'è qualcosa che può essere fatto dal lato consumatore o produttore?

— Bert S.

Non è richiesto nulla a livello di produttore e consumatore.

— Hrishikesh Mishra il

Vedo l'errore sul mio consumatore. Non ho accesso per modificare il broker stesso. Questa dovrebbe essere una preoccupazione per me?

— Bert S.

L'ho aumentato inizialmente da 1K a 2K, e nel secondo passaggio da 2K a 4K, e fino a quando il limite non è stato esaurito, non si è verificato alcun errore:

Dato che mi è sembrata una perdita di sessione da parte di un certo consumatore non identificato, non ho ancora provato il limite di 10K, ma leggendo la risposta di Hrishikesh Mishra, lo farò sicuramente. Perché, aumentando il limite è diminuita anche la frequenza di errore, quindi la questione dell'identificazione dei singoli gruppi di consumatori che stanno aprendo un numero eccessivo di sessioni di recupero incrementali, menzionata qui Come verificare il numero effettivo di slot cache della sessione di recupero incrementale utilizzati nel cluster Kafka? , potrebbe essere irrilevante alla fine.

— hdjur_jcv
fonte

Kafka: ottenere continuamente FETCH_SESSION_ID_NOT_FOUND