Modo ottimale per eseguire backup MySQL per database abbastanza grandi (MyISAM / InnoDB)

Attualmente abbiamo un database MySQL robusto che gestisce un paio di siti Web basati su Django ad alto traffico, nonché alcuni siti Web di e-commerce di dimensioni decenti. Di conseguenza abbiamo una buona quantità di database di grandi dimensioni che utilizzano sia le tabelle InnoDB che MyISAM.

Purtroppo recentemente abbiamo colpito un muro a causa della quantità di traffico, quindi ho installato un altro server principale per alleviare letture / backup.

Ora al momento uso semplicemente mysqldump con alcuni argomenti ed è stato dimostrato che va bene .. fino ad ora. Ovviamente mysqldump è un metodo lento e lento, tuttavia credo che ne abbiamo superato il suo utilizzo. Ora ho bisogno di una buona alternativa e ho cercato di utilizzare l'utilità mk-parallel-dump di Maatkits o una soluzione di snapshot LVM.

Versione breve succinta:

• Ho un database MySQL abbastanza grande di cui ho bisogno per il backup
• Il metodo corrente che utilizza mysqldump è inefficiente e lento (causa problemi)
• Esaminare qualcosa come mk-parallel-dump o snapshot LVM

Eventuali raccomandazioni o idee sarebbero apprezzate - dal momento che devo rifare il modo in cui stiamo facendo le cose, piuttosto ho fatto in modo corretto / più efficiente :).

Ho avuto un buon successo con la replica di MySQL e i tarball notturni. Per i db più piccoli, il database mysql e lo schema utilizzo una combinazione di script progettati per utilizzare mysqlhotcopy e mysqldump.

Il backup a caldo di InnoDB è un ottimo prodotto commerciale ma non sono sicuro di come gestisca le tabelle miste nello stesso database. La raccomandazione di pQd per XtraBackup potrebbe essere buona da confrontare con questo.

Ad altri piacciono le istantanee LVM e direi che è sicuramente qualcosa da considerare. In definitiva, una combinazione di soluzioni sarebbe probabilmente la migliore.

È anche notevole questo è un vecchio argomento. Tra il libro MySQL ad alte prestazioni , il manuale MySQL e le precedenti domande ServerFault, questo è stato esaurito su base generale. Vedere:

• Esiste un equivalente di mysqlhotcopy per InnoDB?
• Server MySQL di backup
• Come si esegue di solito il backup del database?

xtrabackup - almeno per innodb.

Il modo più comune per risolvere questo problema è configurare un altro server MySQL, che può trovarsi sulla stessa macchina ed eseguire la replica master / slave. È quindi possibile eseguire il backup sullo slave, senza impatto sul master.

Su EC2 EBS, sto usando xfs_freeze. Sto cercando di passare a xtrabackup a un certo punto, ma quando ho fatto un primo test era molto, molto affamato di CPU.

Se stai eseguendo la replica di un database condiviso tra le applicazioni, sembra che ci sia una domanda ovvia se puoi migliorare le prestazioni di molte cose, inclusi i backup, dedicando i server di database alle app. Condividere è bello, fino a quando non lo è.

Se stai conservando le tue tabelle MyISAM solo per motivi legacy (non ti sei preoccupato di modificarle), ecco cosa uso per risolvere facilmente:

    mysql -u root --password=<password> --database=db_name -B -N -e "SHOW TABLES" | awk '!/not_this_db/ && !/or_this_one/ && /^[a-z]/ {print "ALTER TABLE", $1, "ENGINE=INNODB;"}' | mysql -u root --password=<password> --database=db_name

È possibile escludere e includere database con il regex di awk come solo dbs che inizia con una lettera minuscola nel mio esempio sopra. Questo ovviamente bloccherà i tavoli durante l'alterazione.

Quindi utilizzare xtrabackup per copiare l'intero database direttamente su un altro server senza bloccare alcuna tabella o utilizzando troppa I / O del disco (dopo aver impostato le chiavi ssh rsa):

innobackupex --throttle=500 --compress --stream=xbstream /doesntneedtoexist | ssh user@otherhost "xbstream -x -C /root/backup/"

e quindi è possibile eseguire il passaggio del registro di applicazione completamente separato e risparmiare spazio su disco, IO e CPU sul server di produzione.

HowTO di Percona per l'utilizzo di xtrabackup