Devo eliminare l'argomento testin Apache Kafka 0.8.1.1.

Come espresso nella documentazione qui , ho eseguito:

bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test

Tuttavia, questo risulta nel seguente messaggio:

Command must include exactly one action: --list, --describe, --create or --alter

Come posso eliminare questo argomento?

L'eliminazione dell'argomento non funziona sempre nella 0.8.1.1

L'eliminazione dovrebbe funzionare nella prossima versione, la 0.8.2

kafka-topics.sh --delete --zookeeper localhost:2181 --topic your_topic_name

  Topic your_topic_name is marked for deletion.
  Note: This will have no impact if delete.topic.enable is not set to true.

È possibile eliminare un argomento?

Jira KAFKA-1397

Sembra che il comando di cancellazione non sia stato ufficialmente documentato in Kafka 0.8.1.x a causa di un bug noto ( https://issues.apache.org/jira/browse/KAFKA-1397 ).

Tuttavia, il comando è stato ancora fornito nel codice e può essere eseguito come:

bin/kafka-run-class.sh kafka.admin.DeleteTopicCommand --zookeeper localhost:2181 --topic test

Nel frattempo, il bug è stato corretto e il comando di cancellazione è ora ufficialmente disponibile da Kafka 0.8.2.0 come:

bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic test

Aggiungi sotto la riga in $ {kafka_home} /config/server.properties

delete.topic.enable=true

Riavvia il server kafka con la nuova configurazione:

${kafka_home}/bin/kafka-server-start.sh ~/kafka/config/server.properties

Elimina gli argomenti che desideri:

${kafka_home}/bin/kafka-topics.sh --delete  --zookeeper localhost:2181  --topic daemon12

Andrea ha ragione. possiamo farlo usando la riga di comando.

E possiamo ancora programmarlo, entro

ZkClient zkClient = new ZkClient("localhost:2181", 10000);
zkClient.deleteRecursive(ZkUtils.getTopicPath("test2"));

In realtà non ti consiglio di eliminare topic su Kafka 0.8.1.1. Posso eliminare questo argomento con questo metodo, ma se controlli il registro per il guardiano dello zoo, l'eliminazione lo rovina.

È possibile eliminare uno specifico argomento di kafka (esempio test:) dal comando della shell di zookeeper ( zookeeper-shell.sh). Usa il comando seguente per eliminare l'argomento

rmr {path of the topic}

esempio:

rmr /brokers/topics/test

Procedura per eliminare 1 o più argomenti in Kafka

Per eliminare gli argomenti in Kafka, l'opzione di eliminazione deve essere abilitata nel server Kafka.

1. Go to {kafka_home}/config/server.properties
2. Uncomment delete.topic.enable=true

Elimina un argomento in Kafka, inserisci il seguente comando

kafka-topics.sh --delete --zookeeper localhost: 2181 --topic

Per eliminare più di un argomento da kafka

(buono a scopo di test, in cui ho creato più argomenti e ho dovuto eliminarli per diversi scenari)

1. Arresta il server Kafka e lo Zookeeper
2. vai alla cartella / tmp in cui sono archiviati i registri ed elimina manualmente le cartelle kafkalogs e zookeeper
3. Riavvia il guardiano dello zoo e il server kafka e prova a elencare gli argomenti,

bin / kafka-topics.sh --list --zookeeper localhost: 2181

se non sono elencati argomenti, tutti gli argomenti sono stati eliminati correttamente. Se gli argomenti sono elencati, l'eliminazione non è riuscita. Prova di nuovo i passaggi precedenti o riavvia il computer.

Questa procedura eliminerà tutti gli argomenti e i dati

• Arresta il server Kafka e il server Zookeeper
• Rimuovere le directory dei dati tmp di entrambi i servizi, per impostazione predefinita sono C: / tmp / kafka-logs e C: / tmp / zookeeper.
• quindi avvia Zookeeper-server e Kafka-server

Il comando:

bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic test

purtroppo contrassegna solo l'argomento per l'eliminazione.

La cancellazione non avviene.

Ciò crea problemi, durante il test di qualsiasi script, che prepara la configurazione di Kafka.

Thread collegati:

• Elimina coda Kafka
• C'è un modo per eliminare tutti i dati da un argomento o eliminare l'argomento prima di ogni esecuzione?

Aggiungendo alle risposte precedenti è necessario eliminare i metadati associati a quell'argomento nel percorso di offset del consumatore di guardiano dello zoo.

bin/zookeeper-shell.sh zookeeperhost:port

rmr /consumers/<sample-consumer-1>/offsets/<deleted-topic>

Altrimenti il ​​ritardo sarà negativo negli strumenti di monitoraggio di kafka basati sul guardiano dello zoo.

Come menzionato nel documento qui

L'opzione di eliminazione dell'argomento è disabilitata per impostazione predefinita. Per abilitarlo impostare il server config delete.topic.enable = true Kafka attualmente non supporta la riduzione del numero di partizioni per un argomento o la modifica del fattore di replica.

Assicurati che delete.topic.enable = true

bin/kafka-topics.sh –delete –zookeeper localhost:2181 –topic <topic-name>

Se hai problemi con l'eliminazione degli argomenti, prova a eliminare l'argomento utilizzando:

$KAFKA_HOME/bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic your_topic_name

comando. Quindi, per verificare il processo di eliminazione, vai alla directory dei log di kafka che normalmente si trova sotto /tmp/kafka-logs/, quindi elimina il your_topic_namefile tramite rm -rf your_topic_namecomando.

Ricorda di monitorare l'intero processo tramite uno strumento di gestione di kafka come Kafka Tool.

Il processo sopra menzionato rimuoverà gli argomenti senza riavviare il server kafka.

Passaggio 1: assicurati di essere connesso al guardiano dello zoo e che Kafka sia in esecuzione

Passaggio 2: per eliminare l'argomento Kafka eseguire Kafka-topic (Mac) o Kafka-topic.sh se si usa (linux / Mac) aggiungere la porta e --topic con il nome dell'argomento e --delete eliminare l'argomento con successo.

# Delete the kafka topic
# it will delete the kafka topic
kafka-topics --zookeeper 127.0.0.1:2181 --topic name_of_topic --delete
# or
kafka-topics.sh --zookeeper 127.0.0.1:2181 --topic name_of_topic --delete

Innanzitutto, esegui questo comando per eliminare il tuo argomento:

$ bin/kafka-topics.sh --delete --bootstrap-server localhost:9092 --topic <topic_name>

Elenca gli argomenti attivi per controllare l'eliminazione completa:

$ bin/kafka-topics.sh --list --bootstrap-server localhost:9092