Mi è stato chiesto di valutare RabbitMQ invece di Kafka, ma ho trovato difficile trovare una ragione per cui sta facendo qualcosa di meglio di Kafka. Qualcuno sa se è davvero migliore in termini di produttività, durata, latenza o facilità d'uso?
Anche se mi sono imbattuto in Kafka prima, mi sono appena reso conto che Kafka potrebbe forse essere usato come (la base di) un CQRS , negozio di eventi . Uno dei punti principali che Kafka supporta: Cattura / memorizzazione di eventi, ovviamente tutti gli HA. Pub / architettura secondaria …
C'è un modo per eliminare l'argomento in kafka? Ho inserito un messaggio troppo grande in un argomento di messaggio kafka sul mio computer locale, ora sto ricevendo un errore: kafka.common.InvalidMessageSizeException: invalid message size Aumentare fetch.sizenon è l'ideale qui, perché in realtà non voglio accettare messaggi così grandi.
Sto iniziando a imparare Kafka per scopi di soluzione aziendale. Durante le mie letture, mi sono venute in mente alcune domande: Quando un produttore sta producendo un messaggio, specificherà l' argomento a cui desidera inviare il messaggio, giusto? Si preoccupa delle partizioni? Quando un abbonato è in esecuzione, specifica il …
Sto cercando di usare Kafka. Tutte le configurazioni sono eseguite correttamente ma quando provo a produrre un messaggio dalla console continuo a ricevere il seguente errore WARN Error while fetching metadata with correlation id 39 : {4-3-16-topic1=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient) Versione Kafka: 2.11-0.9.0.0
Sono relativamente nuovo a Kafka. Ho fatto un po 'di sperimentazione, ma alcune cose non sono chiare per quanto riguarda l'offset del consumatore. Da quello che ho capito finora, quando un consumatore inizia, l'offset da cui inizierà la lettura è determinato dall'impostazione di configurazione auto.offset.reset(correggimi se sbaglio). Ora, ad esempio, …
Una delle prime cose a cui penso quando utilizzo un nuovo servizio (come un archivio dati non RDBMS o una coda di messaggi) è: "Come devo strutturare i miei dati?". Ho letto e visto alcuni materiali introduttivi. In particolare, prendiamo ad esempio Kafka: un sistema di messaggistica distribuita per l'elaborazione …
In Kafka, vorrei utilizzare solo un singolo broker, un singolo argomento e una singola partizione con un produttore e più consumatori (ogni consumatore riceve la propria copia di dati dal broker). Dato questo, non voglio il sovraccarico di usare Zookeeper; Non posso usare solo il broker? Perché è necessario un …
Invio di messaggi String a Kafka V. 0.8 con l'API Java Producer. Se la dimensione del messaggio è di circa 15 MB, ottengo un file MessageSizeTooLargeException. Ho provato a impostare message.max.bytessu 40 MB, ma ottengo ancora l'eccezione. I piccoli messaggi funzionavano senza problemi. (L'eccezione appare nel produttore, non ho un …
Come trovare la versione di kafka in Linux? se c'è un modo per trovare la versione di kafka installata diverso da menzionare la versione durante il download?
Apache Kafka: sistema di messaggistica distribuito Apache Storm: elaborazione messaggi in tempo reale Come possiamo utilizzare entrambe le tecnologie in una pipeline di dati in tempo reale per l'elaborazione dei dati degli eventi? In termini di pipeline di dati in tempo reale, entrambi mi sembrano fare il lavoro identico. Come …
KeyedMessage<String, byte[]> keyedMessage = new KeyedMessage<String, byte[]>(request.getRequestTopicName(), SerializationUtils.serialize(message)); producer.send(keyedMessage); Attualmente sto inviando messaggi senza alcuna chiave come parte di messaggi con chiave, funzionerà ancora delete.retention.ms? Devo inviare una chiave come parte del messaggio? È utile inserire la chiave come parte del messaggio?
Devo eliminare l'argomento testin Apache Kafka 0.8.1.1. Come espresso nella documentazione qui , ho eseguito: bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test Tuttavia, questo risulta nel seguente messaggio: Command must include exactly one action: --list, --describe, --create or --alter Come posso eliminare questo argomento?
Chiuso . Questa domanda deve essere più mirata . Attualmente non accetta risposte. Vuoi migliorare questa domanda? Aggiorna la domanda in modo che si concentri su un problema solo modificando questo post . Chiuso 4 mesi fa . Migliora questa domanda Redis può essere utilizzato come pub-sub in tempo reale …
C'è un modo per eliminare tutti i dati da un argomento o eliminare l'argomento prima di ogni esecuzione? Posso modificare il file KafkaConfig.scala per cambiare la logRetentionHoursproprietà? C'è un modo in cui i messaggi vengono eliminati non appena il consumatore li legge? Sto usando i produttori per recuperare i dati …
We use cookies and other tracking technologies to improve your browsing experience on our website,
to show you personalized content and targeted ads, to analyze our website traffic,
and to understand where our visitors are coming from.
By continuing, you consent to our use of cookies and other tracking technologies and
affirm you're at least 16 years old or have consent from a parent or guardian.