Come eseguo correttamente un bake-off di MySQL?

Voglio testare le prestazioni (alias bake-off) del server MySQL rpm su alcune altre forcelle come il server Percona, MariaDB e forse altre. Spero che, ponendo questa domanda, sia possibile comprendere meglio la metodologia alla base della creazione di un test delle prestazioni adeguato. Ho pianificato di utilizzare sysbench per eseguire il mio test effettivo, ma sono aperto a tutto.

1. Quali passi devo prendere per garantire che il test dia luogo a un confronto mele-mele e che solo la RDBMS sia la variante?
2. Da dove comincio?
3. Come posso valutare i risultati?
4. Che consiglio mi puoi dare?

Ecco la prima cosa a cui ho pensato

1. Installa 3 server DB (identiche configurazioni HW / OS) ciascuno installato

   • MySQL
   • Percona
   • MariaDB

2. Ottieni un quarto server installato con MONyog (la versione eval dura 30 giorni)

3. Registrare i 3 server DB in MONyog

4. Utilizza i grafici delle metriche delle prestazioni in MONyog o Imposta i tuoi grafici in MONyog

5. Usa SysBench contro tutti e 3 i server DB a tua discrezione

Questo è solo uno schema di base. Credimi, puoi usare Monyog fin da subito . Dai un'occhiata alla mia testimonianza sul sito Web di MonYog (Cerca il mio nome sulla pagina). Ho assolutamente convinto la mia azienda ad acquistare la versione definitiva dopo la mia testimonianza, che hanno visto con me mentre era successo.

Avvertenza: non ottenere Monyog fino a quando non si dispone dei server 3 DB e Sysbench pronti per ottenere il miglior utilizzo di 30 giorni di MonYog.

AGGIORNAMENTO 2011-06-20 13:18 EDT

Se si mantiene piccolo il pool di buffer InnoDB (l'impostazione predefinita per innodb_buffer_pool_size è 8M) e si mantengono disabilitati i log binari (non includere il log-bin in my.cnf), è necessario misurare queste metriche

• Innodb_buffer_pool_pages_flushed
• Innodb_buffer_pool_write_requests
• Innodb_row_lock_time_avg
• Innodb_os_log_fsyncs
• Domande , domande
• SELECT (( Com_select + Qcache_hits ) / Domande)
• INSERT (( Com_insert + Com_replace ) / Domande)
• AGGIORNAMENTI ( Com_update / Domande)
• DELETEs ( Com_delete / Domande)

Molti di questi sono grafici predefiniti nella sezione Monitor / Consulenti di MONyog e possono essere creati più grafici per controllare le altre metriche MySQL desiderate . MONyog consente inoltre di esportare i grafici come dati CSV.

AGGIORNAMENTO 2011-10-12 14:17 EDT

Percona ha eseguito un bake-off tra più versioni di MySQL

• MySQL 4.1
• MySQL 5.0
• MySQL 5.1 (con InnoDB integrato)
• MySQL 5.1 con plug-in InnoDB
• MySQL 5.5
• MySQL 5.6

Tutti i test sono stati eseguiti con MySQL non configurato. I risultati?

• MySQL 4.1 offre il miglior single threading
• MySQL 5.1 con plug-in InnoDB scala su più core meglio di 5.1 InnoDB integrato, 5.5 e 5.6

Cosa ne esco? Devi configurare MySQL 5.5 / 5.6 per attivare i miglioramenti multicore .

Questo dovrebbe esserti di grande aiuto in quanto questo è il benchmark di riferimento del settore per database, TPC-C, http://www.tpc.org/tpcc/spec/tpcc_current.pdf

Anche se non si utilizza eseguire questo benchmark, le informazioni contenute nel documento di definizione del test dovrebbero fornire informazioni dettagliate sull'impostazione del proprio benchmark per il test delle opzioni del database.