Alternative a Splunk?

Sono abbastanza impressionato da Splunk , in particolare dalla versione 4. Grafici graziosi, avvisi (solo Enterprise) e ricerca veloce, accurata. È un ottimo prodotto.

Tuttavia, il costo è troppo alto per essere considerato per l'uso completo della produzione per la nostra azienda. Tutto ciò di cui abbiamo veramente bisogno è di essere in grado di indicizzare diversi registri in un posto centrale e di fare una ricerca ragionevole su quello. Anche avere avvisi basati su una ricerca salvata è davvero bello. Non andiamo davvero oltre.

In effetti, il nostro più grande utilizzo è stato nella distribuzione di nuove applicazioni. Tutto viene registrato tramite log4net nel registro eventi su Windows o in un file di testo su Linux. Splunk semplifica la ricerca rapida tra quelli per assicurarsi che tutte le parti dell'app funzionino correttamente, il che ci ha permesso di risparmiare un sacco di tempo rispetto alla ricerca di singole fonti di registrazione.

Quali alternative esistono in questo mercato? Ho l'impressione che il prezzo di Splunk sia così alto perché hanno di gran lunga il miglior prodotto e lo sanno. Vogliamo che il server funzioni su Windows.

Sarei aperto a un modello diviso, utilizzando un prodotto per i registri generali (raccogli tramite syslog / Snare) e un prodotto dedicato per le nostre app personalizzate (come Log4Net Dashboard ).

Utilizzando un semplice server syslog come Kiwi, inviato a SQL Server (forse con full-text abilitato) funzionerebbe?

Spero che il costo dovrebbe essere ben al di sotto di 5 cifre, USD. (E sì, lo so, siamo economici. Siamo una startup con pochi soldi e BizSpark si occupa di tutte le nostre licenze MS.)

Modifica: dovrei aggiungere, abbiamo circa 10 server fisici, 20 VM e un paio di firewall e switch. Il 90% è Windows.

Nota: tutto ciò riguarda Linux e il software libero , poiché è quello che uso principalmente, ma dovresti stare bene con un client syslog su Windows per inviare i log a un server syslog Linux.

Registrazione su un server SQL: con solo ~ 30 macchine, dovresti avere praticamente qualsiasi sistema centralizzato simile a un syslog e un back-end SQL. Uso syslog-ng e MySQL su Linux proprio per questo.

I frontend graziosi per la rappresentazione grafica sono il problema principale - Sembra che ci siano molti front-end hackerati che cattureranno oggetti dai registri e mostreranno quanti hit, avvisi ecc. Ma non ho trovato nulla integrato e pulito. Certo, questa è la cosa principale che stai cercando ... (Se trovo qualcosa di buono, aggiornerò questa sezione!)

Avviso : utilizzo SEC su un server Linux per trovare cose brutte che accadono nei registri e avvisarmi tramite vari metodi. È incredibilmente flessibile e non così scattante come Splunk. C'è un bel tutorial qui che guida attraverso molte delle possibili funzionalità.

Uso anche Nagios per i grafici di varie statistiche e alcuni avvisi che non ottengo dai registri (come quando i servizi sono inattivi, ecc.). Questo può essere facilmente personalizzato per aggiungere grafici di tutto ciò che ti piace. Ho aggiunto grafici di elementi come il numero di hit fatti su un server http, facendo in modo che l'agente usi il plugin check_logfiles per contare il numero di hit nei log (salva la posizione che ottiene per ogni periodo di controllo).

Nel complesso, dipende da quanto ti costerà il tempo per configurarlo , in quanto ci sono molte opzioni che puoi usare ma non sono integrate come Splunk e probabilmente richiederanno più sforzi per fare quello che vuoi. I grafici di Nagios sono semplici da configurare ma non ti forniscono dati storici prima di aggiungere il grafico, mentre con Splunk (e presumibilmente altri front-end) puoi guardare indietro ai registri passati e tracciare grafici di cose che hai appena pensato di guardare da loro.

Si noti inoltre che il formato e l'indicizzazione del database SQL avranno un enorme effetto sulla velocità delle query, quindi la tua idea di indicizzazione full-text aumenterà enormemente la velocità delle ricerche. Non sono sicuro che MySQL o PostgreSQL faranno qualcosa di simile.

Modifica : MySQL eseguirà l'indicizzazione full-text, ma solo su tabelle MyISAM precedenti a MySQL 5.6. In 5.6 è stato aggiunto il supporto per InnoDB .

Modifica : Postgresql può fare naturalmente una ricerca a testo integrale: http://www.postgresql.org/docs/9.0/static/textsearch.html

Più mirato a * nix di Windows, ma octopussy supporta Windows e sembra mirare allo stesso tipo di cose di Splunk.

Sono nel mezzo di provare diverse soluzioni di monitoraggio, ma voglio monitorare principalmente Windows. La maggior parte dei sistemi è orientata al monitoraggio SNMP che riesce a estrarre una notevole quantità di informazioni senza agenti.

Questi sono alcuni dei sistemi che ho provato finora:

Nagios - Open source. Un maiale da configurare ma molto apprezzato e sembra molto flessibile. Sembra essere essenzialmente un registratore di contatore e non consente l'esecuzione di script remoti e quindi non può essere utilizzato per rilevare problemi di configurazione, ala MS System Center o Kaseya. Senza agente ma è sostanzialmente inutile senza lo strumento NSclient installato su ciascun client.

Cactus - Strumento grafico carino e semplice basato sull'estrazione di statistiche snmp. Senza agenti.

OpsView: basato su Nagios ma più facile da configurare e con un front-end migliore.

HypericHQ - Facile da installare e utilizzare in Windows. La versione base è gratuita e fa molto. Esiste un'azienda HypericHQ commerciale. L'agente deve essere installato su ciascun client.

Zabbix - Un altro strumento di monitoraggio piacevole. È più facile da usare rispetto ai nagios. Ha un agente che puoi installare su Windows e macchine client. L'ho esplorato solo un po 'finora.

Zenoss - Open source. Sono rimasto molto colpito da quanto Zenoss sia professionale. È un monitor basato su SNMP e ha un sacco di estensioni per consentire il monitoraggio di proliferatori HP, servizi Windows, MS SQL Server, MySQL. Tutte le estensioni funzionano tramite SNMP, quindi non è necessario installare nulla sui computer client. Non ho ancora esplorato tutto e sembra che ci siano molte funzionalità che devo ancora sfruttare. È basato su Zope, quindi a meno che tu non sia al passo con le installazioni di Zope, ti consiglio di scaricare la VM pre-preparata: funziona come un sogno immediatamente pronto all'uso.

Sul fronte commerciale potresti dare un'occhiata ad alcuni strumenti:

Kaseya - costa circa 6k all'anno per 250 nodi, se ricordo bene, ma è uno strumento eccezionale e ha una comunità di utenti molto attiva. Si rivolge al mercato MSP e consente il monitoraggio di più sistemi aziendali. Può essere utilizzato internamente senza problemi.

GFI Hounddog - più semplice di Kaseya ma al momento molto economico. Sicuramente vale la pena dare un'occhiata.

Esistono numerose soluzioni vendute come sistemi MSP ma che sono essenzialmente monitor + amministrazione remota combinati.

Ian

Per il syslogging centralizzato con molte fantastiche funzioni non posso fare a meno di raccomandare abbastanza rsyslog . È un server syslog open source che può funzionare felicemente come sostituto drop-in per il normale syslogd che conosci e ami. Ora è il demone syslog di scelta per Ubuntu e penso che Red Hat e Fedora potrebbero anche seguire questa strada. Ho trovato molto più facile iniziare e fare quello che vuoi che sia syslog-ng.

Attualmente nel nostro negozio abbiamo due server rsyslog centrali (uno in ciascun sito) che riceve registri per centinaia di server. Ho avvisi automatici via e-mail ogni volta che qualcosa in syslog attiva un avviso o superiore (con alcune modifiche ovviamente, alcune app sono un po 'allarmanti). Probabilmente potrei fare un po 'più di intelligenza come farlo mandare roba ai nagios o simili, ma per ora ci copre abbastanza per le nostre esigenze.

Tutto questo va anche in un database mysql (c'è anche il supporto per Oracle o postgresql se è così che esegui il roll).

C'è anche un frontend Web e un agente Windows per l'invio dei registri Eventlog al server rsyslog. Il frontend web ovviamente non è così fluido come splunk ma ottiene il lavoro fatto per $ 0.

Dai un'occhiata a http://www.codeplex.com/polymon

È open source, utilizza SQL Server al back-end e ha un'interfaccia utente elegante

Sono d'accordo che Splunk è fantastico. Per ambienti piccoli, prevalentemente Linux, potresti voler guardare qualcosa come epylog .

L'abbiamo usato in uno dei posti in cui lavoravo ed è stato fantastico per quello che volevamo.

Non sono sicuro di come gestisca i messaggi syslog di Windows che vengono inviati a un raccoglitore syslog di Linux, ma potrebbe valere la pena.

Mi sto solo collegando alla mia risposta dove:

Splunk è incredibilmente costoso: quali sono le alternative?

Modifica (nuovi progetti):

I progetti LogStash e Graylog2 sembrano molto interessanti

Ecco un paio di video: uno due .

Qualcosa come GFI EventsManager potrebbe fare il trucco per circa $ 4k.

• Analisi dei registri eventi, inclusi trap SNMP, registri eventi Windows, registri W3C e Syslog
• Avvisi in tempo reale, avvisi di trap SNMPv2 inclusi
• Visualizza i rapporti sulle informazioni chiave sulla sicurezza in corso ora
• Registrazione degli eventi centralizzata
• Rimuovi "rumori" o eventi insignificanti che costituiscono un ampio rapporto di tutti gli eventi di sicurezza
• Monitoraggio e allerta in tempo reale 24 x 7 x 365 giorni
• Monitora graficamente lo stato di GFI EventsManager e della tua rete tramite il monitor di stato integrato
• Supporto per ambienti virtuali

Se stai cercando un sostituto SysLog, potresti anche prendere in considerazione un sostituto commerciale syslog / rsyslog come LogLogic, http://loglogic.com . Noi (è dove lavoro) abbiamo un set completo di funzionalità di registrazione, archiviazione e reporting. In sostanza, è la capacità di raccogliere 100.000 messaggi al secondo, ferirli e indicizzarli in modo da poter effettuare ricerche.

Puoi provare logscape da liquidlabs - molto simile a splunk ma ha anche alcune funzionalità diverse .... http://www.liquidlabs-cloud.com/products/logscape.html

Ho fatto la cosa del backend SQL in un precedente lavoro (era MySQL tra l'altro), completo di script, interfaccia Drupal con script PHP personalizzati, i lavori.

Onestamente, ci sono volute troppe ore-uomo e non era ancora Splunk.

Attualmente sto testando invece Splunk. Sì, non è gratuito, ma guardando il quadro generale potrebbe effettivamente essere più economico.

Hai provato php-syslog-ng? http://code.google.com/p/php-syslog-ng/

Ho pubblicato il thread dupe: Splunk è incredibilmente costoso: quali sono le alternative?

xpolog e tutte le soluzioni commerciali serie sono GRANDI $ (anche se meno di splunk, la maggior parte sono facilmente 5 cifre!)

Sooooo, quello che finalmente abbiamo fatto (perché splunk era troppo $):

1) Volevamo un semplice syslog per la pipeline sql db

2) Abbiamo provato il kiwi syslog. Ha funzionato alla grande per una settimana, ha smesso di funzionare e il supporto del kiwi non è stato in grado di risolverlo. Quindi abbiamo lasciato cadere il kiwi

3) Abbiamo provato winsyslog. Un vecchio cane di un'app, non volevamo impararla.

4) Abbiamo usato questa app gratuita .net: http://www.aonaware.com/syslog.htm

Ecco. Abbiamo messaggi syslog nel nostro db.

Noi siamo molto felici. $ 0 spesi, alcune ore, ma non troppo.

Stiamo usando Splunk qui, e sono un po 'scioccato dal prezzo che ti hanno detto. La suddivisione di base che ci è stata data è arrivata da qualche parte intorno a $ 1k USA per 1 GB di dati. È costoso, ma super potente e molto veloce da sviluppare. A seconda delle tue origini dati e di ciò che vuoi farne, alcuni script Python e Perl potrebbero darti molti dati simili. La grande differenza sarà il tempo e imparare a maneggiare davvero la lingua per l'elaborazione del testo. Inoltre non saresti in grado di ottenere informazioni IP in tempo reale (cose come syslog), anche se puoi risolverlo ottenendo un syslogger e inviando le informazioni in un file di testo. Mi dispiace non poterti indirizzare verso una soluzione specifica; per cosa non possiamo usare splunk per cui usiamo gli script python, perl e bash.

ELSA - Ricerca e archiviazione dei registri aziendali

Caratteristiche principali:

• Ricerca full-text su qualsiasi parola in un messaggio o in un campo analizzato.
• Raggruppa per qualsiasi campo e produce report basati sui risultati.
• Pianifica le ricerche.
• Avviso sui risultati della ricerca nei nuovi registri.
• Salva ricerche, invia risultati di ricerca salvati via e-mail.
• Crea ticket incidenti in base ai risultati della ricerca (con plug-in).
• Sistema di plugin completo per risultati.
• Esporta i risultati come permalink o in Excel, PDF, CSV e HTML.
• Integrazione LDAP completa per le autorizzazioni.
• Statistiche per query per utente e dimensioni e conteggio del registro.
• Architettura completamente distribuita, in grado di gestire n nodi con tutte le query eseguite in parallelo.
• Archivio compresso con un rapporto migliore di 10: 1.

Dettagli sulle prestazioni:

Per specificare un sistema, in ordine di importanza: dimensioni del disco, RAM, velocità del disco, numero di CPU. Il principale fattore di prestazione è l'indicizzatore e il daemon di ricerca di Sphinx, quindi fai riferimento a sphinxsearch.com per i documenti. Le mie statistiche fornite sono tratte da sistemi di grandi dimensioni (16 CPU, 144 GB RAM, 12 TB HD), ma otterrai le stesse prestazioni su un sistema con 4 CPU, 8 GB RAM e qualsiasi HD di dimensioni ridimensionabili in modo lineare. Il sistema inizialmente funzionava su blade IBM con 4 GB di RAM e unità SAN lente e funzionava alla stessa velocità, ma 4 GB lo stanno tagliando un po 'vicino.

Dettagli sulle prestazioni e elenco delle caratteristiche principali, oltre a una descrizione dell'architettura: http://ossectools.blogspot.com/2011/03/fighting-apt-with-open-source-software.html

Codice: https://code.google.com/p/enterprise-log-search-and-archive/

VM: http://ossectools.blogspot.com/2011/07/elsa-vmware-appliance-available.html

Dettagli relativi al progetto: http://ossectools.blogspot.com/2011/03/comprehensive-log-collection.html

Se stai cercando un'alternativa molto più economica a Splunk, prova LogZilla ( http://www.logzilla.pro ). Ridimensiona anche meglio di Splunk (puoi cercare oltre 300 m di log in circa 1-2 secondi) ed è facilmente 1/10 del costo. Hanno una demo in esecuzione su http://demo.logzilla.pro