In che modo i siti di grandi dimensioni come StackOverflow gestiscono i loro registri di accesso?

8

Mi chiedo come siti di grandi dimensioni come StackOverflow gestiscano i loro registri di accesso. Una scrittura sul disco ad ogni richiesta sembra un po 'antieconomica, ma Google Analytics è affidabile per usarlo come unica risorsa di informazioni?

— Stephen Ostermiller
fonte

È possibile configurare Apache per accedere a un database. Immagino che IIS sia lo stesso.

— Lèse majesté,

2

Su un sistema * nix è possibile utilizzare syslog-ng per archiviare i messaggi di registro su un server di registro dedicato per i cluster con bilanciamento del carico e quindi utilizzare una soluzione di analisi dei registri come Splunk per tenere sotto controllo le cose, come per ciò che i siti StackExchange effettivamente eseguito, potrebbe essere una buona domanda per StackOverflow Meta .

— danlefree
fonte

Qualcuno ha ancora chiesto che cosa utilizza lo scambio di stack?

— theonlygusti,

2

Esistono molte informazioni contenute nei registri del server Web che non saranno mai disponibili per Google Analytics, due cose a cui posso pensare:

Errori come 404, ecc.
Accesso a file multimediali, come immagini, ecc. (Compresi siti Web esterni che si collegano alle tue immagini)
Indirizzi IP, sebbene una risposta a un'altra domanda abbia sottolineato che può essere impostata come variabile utente
URL di riferimento a lunghezza intera, ad esempio Google invia collegamenti da ricerca prodotti, ricerca Web, ecc. Ogni ricerca ha parole chiave ma Google Analytics non visualizza le altre variabili come &source=products, ecc.

Devono essere più cose che non riesco proprio a pensare in questo momento.

E ci sono anche i log degli errori; a mio avviso, deve essere importante per il corretto funzionamento di un sito Web. Non qualcosa che vorresti ignorare.

— Evgeny
fonte

Esatto, ma come memorizzano i loro registri? File o database come suggerito da Lèse majesté mi sembrano pesanti.

In realtà, quando gzip questo tipo di dati ripetitivi ... si comprime molto bene. Quindi immagino che puoi semplicemente memorizzarlo come file di testo compressi e rimuoverli dopo un po '... solo la tua rotazione di base.

— Evgeny,

0

Non guardo davvero questi registri e finisco per eliminarli su base mensile. Li guardo solo per la risoluzione dei problemi. Per quanto riguarda l'applicazione di monitoraggio, utilizzare Google Analytics, CrazyEgg e altri fanno un ottimo lavoro.

Prima che esistessero tali servizi, questi registri erano molto preziosi. Ora sono buoni strumenti di sviluppo, ma non conosco nessuno dei miei colleghi o amici che archiviano attivamente questi registri o li analizzano per i dati.

— Franco
fonte