Come risolvere una compattazione maggiore bloccata in Apache Cassandra?


14

Ho un cluster Cassandra a un nodo che è attualmente bloccato in un importante processo di compattazione. Dopo aver eseguito a nodetool compactha avviato la compattazione e vedo i file tmp-sstable con una dimensione di 0 byte. Ma questo è tutto. Nessun progresso per ore.

Ho già interrotto il servizio Cassandra, ma dopo un riavvio ha continuato di nuovo la compattazione senza progressi. A nodetool compactionstatsmostra l'avanzamento dello 0,00% e un tempo rimanente di sei minuti. Ma ho già aspettato 24 ore. Nel frattempo ho fermato tutti i lettori e gli scrittori senza vedere alcuna differenza.

La versione che uso è 2.1.2. Ho già provato con OpenJDK 7 e Oracle 7 di Oracle, ma nessuna differenza.

I registri non mostrano alcuna indicazione di OOM o qualsiasi altra eccezione o avviso.

Non sono sicuro che possa essere di aiuto, ma attualmente migra da Cassandra perché non soddisfa i miei bisogni. Quindi cancello molti dati che sono stati migrati. Esistono molte righe con diverse centinaia fino a qualche migliaio di colonne. Ma ci sono una manciata di file con un milione di colonne. Ora hanno molte pietre tombali in esse a causa del processo di migrazione (cancellazione).

Qualsiasi aiuto su come eseguire il debug del problema è il benvenuto.


solo un'idea, hai visto / var / log / syslog o dove verrebbe registrato qualcosa di simile a molti file aperti / VM maxmem?
— Antony Gibbs,

@AntonyGibbs Niente del genere. È un server fisico sopraffatto. Altri servizi funzionano senza problemi accanto a Cassandra.
— mailq,

1
Hai verificato se il processo è associato alla CPU, I / O o bloccato in attesa di qualcos'altro?
— Kasperd,

1
quali sono le impostazioni della macchina virtuale Java avviata? potrebbe essere un server potente, se l'istanza java è limitata a 128 M, non otterrà di più. Il suono di nulla nei registri mi fa pensare ai limiti di memoria ...
— Antony Gibbs,

1
l'output di ulimit -auna console utente Cassandra può essere utile.
— Antony Gibbs,

Risposte:


1

Non sono un esperto di cassandra, ma hai provato a fermare la compattazione nodetool e a impostare una soglia per la compattazione (imposta la soglia di compattazione su 0), quindi il sistema non riproverà


nodetool stop - COMPACTION Non ha aiutato. I lavori continuano.
— Jigar Shah,

@JigarShah Stessa domanda dell'OP? dovresti forse porre una nuova domanda per attirare una nuova risposta. Come forse la mia soluzione non ti aiuta, ma ha aiutato l'OP
— yagmoth555
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.