La registrazione danneggia le prestazioni di MySQL, ma perché?

Sono abbastanza sorpreso di non riuscire a vedere una risposta a questo già sul sito, né nella documentazione di MySQL (la sezione 5.2 sembra avere una registrazione altrimenti ben coperta!)

Se abilito i binlog, vedo un piccolo hit delle prestazioni (soggettivamente), che è prevedibile con un po 'di IO in più - ma quando abilito un registro generale delle query, vedo un enorme hit delle prestazioni (il doppio del tempo per eseguire query, o peggio), molto più di quello che vedo con i binlog. Ovviamente ora sto registrando ogni SELECT e ogni UPDATE / INSERT, ma altri demoni registrano ogni loro richiesta (Apache, Exim) senza fermarsi.

Sto solo vedendo gli effetti dell'essere vicini a un "punto di non ritorno" delle prestazioni quando si tratta di IO, o c'è qualcosa di fondamentalmente difficile nel registrare le query che causa questo? Mi piacerebbe essere in grado di registrare tutte le query per rendere più semplice lo sviluppo, ma non posso giustificare il tipo di hardware che sentiamo come se avessimo bisogno di ripristinare le prestazioni con l'accesso generale alle query.

Ovviamente, registro le query lente e c'è un miglioramento trascurabile nell'uso generale se lo disabilito.

(Tutto questo è su Ubuntu 10.04 LTS, MySQLd 5.1.49, ma la ricerca suggerisce che questo è un problema abbastanza universale)

I log di query generali sono molto più IO rispetto ai log binari. Oltre al fatto che la maggior parte dei server SQL ha una lettura del 90% e una scrittura del 10%, i registri binari sono archiviati in un formato binario anziché in testo normale che utilizza meno spazio su disco. (Quanto meno spazio? Non ne sono sicuro. Mi dispiace.)

Ci sono due aspetti per cui Apache ed Exim possono registrare ogni richiesta senza un impatto significativo sulle prestazioni. Il primo è che registrano il fatto che sia avvenuta una richiesta ma ciò che hanno inserito nel registro è di solito significativamente più piccolo della richiesta effettiva. Una richiesta HTTP è spesso doppia rispetto alla linea che va nel registro e anche una breve e-mail di testo semplice è 10 o 20 volte più grande della linea di registro che la accompagna. Un'e-mail con un allegato da 10 MB avrà ancora solo poche righe scritte nel registro.

La seconda parte è che in una normale applicazione Web di solito ci sono dozzine di query SQL associate a una singola pagina HTTP. Le e-mail tendono ad arrivare in numeri anche inferiori rispetto alle richieste HTTP. Il tuo server MySQL sta probabilmente provando a registrare molto più di Apache o Exim.

Guarda le dimensioni (non compresse) del tuo binario MySQL e dei registri generali e dei tuoi registri Apache ed Exim alla fine della giornata. Scommetto che troverai che il registro generale di MySQL è il più grande di un fattore di almeno 5.

Per aggiungere la risposta fornita , vedrai anche un aumento delle prestazioni se stai accedendo allo stesso dispositivo su cui risiedono i tuoi archivi di dati MySQL - se si trova sullo stesso disco, stai per leggere e scrivere in più posizioni continuamente, rallentando l'intero processo.

Questo è vero anche se si tratta di una partizione diversa sullo stesso disco fisico.

Se la registrazione sta andando su un dispositivo diverso, ciò dovrebbe alleviare alcuni dei problemi di prestazioni.