Stack ELK (Logstash, Elasticsearch e Kibana) con server syslog remoto simultaneo?

Sto creando un servizio di analisi dei log per iniziare a monitorare principalmente i nostri firewall pfSense, XenServer Hypervisors, server FreeBSD / Linux e server Windows.

C'è molta documentazione su Internet sullo stack ELK e su come farlo funzionare bene. Ma vorrei usarlo in un modo diverso, ma non so se sia una buona soluzione o solo una perdita di tempo / spazio su disco.

Ho già una macchina FreeBSD 10.2 che funge da server syslog remoto, e la mia idea è quella di concentrare semplicemente tutti i log su questa macchina e loro il server syslog inoltra i log logstash-forwarderal server ELK.

È chiaro per me che questo approccio aumenterà i requisiti del disco per questa configurazione, ma d'altra parte avrò solo una macchina con il logstash-forwarderdemone installato, il che mi sembra buono.

Ma parlando di problemi. Il logstashparser corrisponde [host]al nome host del server che invia i messaggi di registro e in questo approccio c'è solo lo spettacolo "server" su ELK, il server syslog remoto.

Sono consapevole che posso personalizzare le impostazioni sui logstashfile di configurazione ma non so (e non ho l'esperienza da sapere) se questa è solo una semplice impostazione sui suoi parser se comprometterà l'intero ELK Esperienza.

Alla fine voglio solo alcuni consigli sulla mia architettura di registrazione e se funzionerà o se dovrei andare senza altre opzioni.

Grazie in anticipo,

— Vinícius Ferrão
fonte

Sono sicuro che ciò che vuoi fare è possibile, ma i dettagli su quale formato stai accedendo sul server centrale syslog, la velocità di registrazione, ecc. Sarebbero grandi. Inoltre, porre una domanda specifica ti darà risposte molto migliori del semplice dire "Mi sono perso, ti prego, aiutami".

— GregL

Hai considerato graylog? È possibile utilizzare l'input syslog di graylog per inserire syslog in elasticsearch. Da lì puoi usare Kibana e graylog ha un estrattore syslog / pfsense disponibile.

— davey,

Logstash ha anche un input syslog ...

— GregL

Sì. È possibile modificare il hostcampo nell'output del logstash con rubyfiltro senza molta seccatura.

    ruby {
            code => "
                    event['host'] = event['message'].split(' ')[3]
                   "
    }

Qui ho assunto nei registri del server syslog, il campo host è il quarto campo in cui lo spazio bianco è il separatore.

— 7171u
fonte