Come forzare Logstash ad analizzare un file?

Ho installato Logstash per analizzare i file Apache. Mi ci è voluto un po 'di tempo per ottenere le impostazioni corrette e ho sempre provato su registri reali. Ho notato (come dice la documentazione) che logstash "ricorda" dove si trovava in un file. Ora le mie impostazioni sono OK e vorrei che Logstash "dimenticasse". Questo sembra più difficile di me però. Ho già fatto quanto segue:

• Usato: start_position => "beginning"

• cancellato la cartella "dati" completa da elastissearch (e fermato prima)

• ha esaminato quali file sono stati aperti da logstash lsof -p PIDe cancellato tutto ciò che era promettente (nel mio caso /tmp/jffi*.tmp)

Ancora Logstash non dimentica e analizza solo i file "freschi" nella cartella in cui si trovano i registri

Qualche idea?

Per impostazione predefinita, logstash scrive l'ultima posizione in un file di log che di solito risiede $HOME/.sincedb. Logstash può essere ingannato facendogli credere di non aver mai analizzato il file di log specificando /dev/nullcome sincedb_path.

Qui la parte del file di input della documentazione .

Dove scrivere il database dal (tiene traccia della posizione corrente dei file di registro monitorati). Il valore predefinito è il valore della variabile d'ambiente "$ SINCEDB_PATH" o "$ HOME / .sincedb".

Esempio di configurazione

input {
    file {
        path => "/tmp/logfile_to_analyse"
        start_position => "beginning"
        sincedb_path => "/dev/null"
    }
}

Il file del plugin memorizza la cronologia del "tailing" nel file sincedb, predefinito: sotto $ HOME / .sincedb *, vedere http://logstash.net/docs/1.3.3/inputs/file#sincedb_path

Il file poiché db contiene la riga ha questo aspetto:

[inode] [major device number] [minor device number] [byte offset]

Quindi, se vuoi analizzare di nuovo un file completo, devi:

• eliminare i file sindedb
• OPPURE elimina solo la riga corrispondente nel file sincedb, controlla il numero di inode prima del tuo file ( ls -i yourFile | awk '{print $1}')
• E riavvia Logstash

Con la chiave start_position => "beginning", Logstash analizzerà tutto il file.

Esempio di un file sincedb:

• nome:: .sincedb_7a7413a84171aa550d5318c17fd756e9il nome contiene sincedb_ e un MD5 (Digest :: MD5.hexdigest) di tutte le directory nel percorso chiave ( http://logstash.net/docs/1.3.3/inputs/file#path ). Vedi il codice del file del plugin: https://github.com/logstash/logstash/blob/master/lib/logstash/inputs/file.rb#L105

Logstash manterrà il record in formato $HOME/.sincedb_*. È possibile eliminare tutto .sincedbe riavviare il logstash, Logstash analizzerà il file.

Combinando tutte le risposte, immagino che questo sia il modo migliore per analizzare i file. Ho fatto lo stesso per i miei test.

input {
  file {
    path => "/tmp/access_log"
    start_position => beginning
    sincedb_path => "/dev/null"
    ignore_older => 0
  }
}

Per un rapido test, invece di ignore_older, puoi anche touch /tmp/access_logmodificare il timestamp del file.

Se stai usando logstash-forwarder, controlla invece la tua home per il .logstash-forwarderfile:

{
  "/var/log/messages": {
    "source": "/var/log/messages",
    "offset": 43715,
    "inode": 12967,
    "device": 51776
  }
}

Dopo $HOME/.sincedb_*averlo eliminato, non veniva ancora importato dati per me.

Dopo aver provato un sacco di cose, ho rimosso tutto tranne il .conffile principale /etc/logstash/conf.de riavviato Logstash, e tutto ha funzionato. Posso solo presumere che ci fosse qualcosa in uno dei .conffile su cui logstash era sospeso silenziosamente.

In realtà la riparazione ogni volta è molto costosa se il file contiene dati di grandi dimensioni. Quindi devi stare attento prima di farlo. Se vogliamo forzare il riesame di nuovo, impostare il parametro all'interno del blocco di input

sincedb_path => "/dev/null" 

Questa opzione non memorizzerà il file .sincedb e logstash verrà rieseguito ogni volta. Ma se vuoi rianalizzare occasionalmente non ogni volta, quello che puoi fare è eliminare manualmente il percorso .sinceDb che viene creato durante l'analisi del file. Generalmente è presente nella directory home come file nascosto se non sei un utente root altrimenti nella directory root. È inoltre possibile impostare sincedb_path su un'altra posizione per tracciare facilmente questo file.

sincedb_path => "/home/shubham/sinceDB/productsSince.db"

Se vuoi evitare di fare confusione con le opzioni di logstash, ho scoperto che rinominare o rimuovere il file di log esistente e creare un nuovo file dal vecchio contenuto del file ingannerà il logstash nella reindicizzazione.

L'ho trovato nella mia directory home ma dopo averlo eliminato, logstash si è rifiutato di selezionare nuovamente i file di registro esistenti. Il modo in cui riuscivo a far funzionare era aggiungere

sincedb_path => "/opt/elk/sincedb/"  

al mio plugin di file. Penso di resettare ogni volta, basta cambiare il percorso di sincedb_path

se utilizzi tar.gz install filebeat, puoi eliminare questo file $FilebeatPath/data/registry/filebeat/data.json, e rieseguire il filebeat

Prova eliminando la /var/lib/logstashcartella nella tua ENV

logstash versione 5 nuova directory è in

<path.data>/plugins/inputs/file

La definizione di path.data è in logstash.yml