Come risolvere una compattazione maggiore bloccata in Apache Cassandra?


14

Ho un cluster Cassandra a un nodo che è attualmente bloccato in un importante processo di compattazione. Dopo aver eseguito a nodetool compactha avviato la compattazione e vedo i file tmp-sstable con una dimensione di 0 byte. Ma questo è tutto. Nessun progresso per ore.

Ho già interrotto il servizio Cassandra, ma dopo un riavvio ha continuato di nuovo la compattazione senza progressi. A nodetool compactionstatsmostra l'avanzamento dello 0,00% e un tempo rimanente di sei minuti. Ma ho già aspettato 24 ore. Nel frattempo ho fermato tutti i lettori e gli scrittori senza vedere alcuna differenza.

La versione che uso è 2.1.2. Ho già provato con OpenJDK 7 e Oracle 7 di Oracle, ma nessuna differenza.

I registri non mostrano alcuna indicazione di OOM o qualsiasi altra eccezione o avviso.

Non sono sicuro che possa essere di aiuto, ma attualmente migra da Cassandra perché non soddisfa i miei bisogni. Quindi cancello molti dati che sono stati migrati. Esistono molte righe con diverse centinaia fino a qualche migliaio di colonne. Ma ci sono una manciata di file con un milione di colonne. Ora hanno molte pietre tombali in esse a causa del processo di migrazione (cancellazione).

Qualsiasi aiuto su come eseguire il debug del problema è il benvenuto.


solo un'idea, hai visto / var / log / syslog o dove verrebbe registrato qualcosa di simile a molti file aperti / VM maxmem?
Antony Gibbs,

@AntonyGibbs Niente del genere. È un server fisico sopraffatto. Altri servizi funzionano senza problemi accanto a Cassandra.
mailq,

1
Hai verificato se il processo è associato alla CPU, I / O o bloccato in attesa di qualcos'altro?
Kasperd,

1
quali sono le impostazioni della macchina virtuale Java avviata? potrebbe essere un server potente, se l'istanza java è limitata a 128 M, non otterrà di più. Il suono di nulla nei registri mi fa pensare ai limiti di memoria ...
Antony Gibbs,

1
l'output di ulimit -auna console utente Cassandra può essere utile.
Antony Gibbs,

Risposte:


1

Non sono un esperto di cassandra, ma hai provato a fermare la compattazione nodetool e a impostare una soglia per la compattazione (imposta la soglia di compattazione su 0), quindi il sistema non riproverà


nodetool stop - COMPACTION Non ha aiutato. I lavori continuano.
Jigar Shah,

@JigarShah Stessa domanda dell'OP? dovresti forse porre una nuova domanda per attirare una nuova risposta. Come forse la mia soluzione non ti aiuta, ma ha aiutato l'OP
yagmoth555
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.