Ho una tabella con circa 1 miliardo di righe e il 98% di lettura intensiva.

Ho provato a ottimizzare il database, con diversi motori di archiviazione (MyISAM e InnoDB)

Quindi ha eseguito alcuni test per visualizzare le prestazioni

Nella clausola where avevo un ID chiave principale e sembrava che, dal momento che gli archivi di MyISAM Key Cache caricassero tutto l'indice nel suo buffer, l'utilizzo di MyISAM sembrava essere abbastanza veloce, circa 2 volte più veloce di InnoDB

Ma per InnoDB, sembrava più lento !! InnoDB non utilizza alcun buffer per precaricare gli indici?

Prima di decidere su MyISAM o InnoDB dovrai esaminare entrambi i motori di archiviazione in termini di come ogni cache

MyISAM

Quando viene letto, gli indici di una tabella MyISAM possono essere letti una volta dal file .MYI e caricati nella cache delle chiavi MyISAM (in base alle dimensioni di key_buffer_size ). Come si può rendere più veloce la lettura .MYD di una tabella MyISAM? Con questo:

ALTER TABLE mytable ROW_FORMAT=Fixed;

Ho scritto di questo nei miei post precedenti

• Sep 20, 2011: /dba/5974/best-of-myisam-and-innodb/6008#6008 (leggere prima questo)
• May 10, 2011: /dba/2640/what-is-the-performance-impact-of-using-char-vs-varchar-on-a-fixed-size-field/2643#2643 (TRADEOFF # 2)
• Aug 12, 2011: /dba/4576/which-dbms-is-good-for-super-fast-reads-and-a-simple-data-structure/4589#4589 (paragrafo 3)
• Jan 03, 2012: /dba/10069/optimized-my-cnf-for-high-end-and-busy-server/10080#10080 (sotto il titolo Replica )

InnoDB

OK, che dire di InnoDB? InnoDB esegue I / O su disco per le query? Sorprendentemente, sì, lo fa !! Probabilmente stai pensando che io sia pazzo per averlo detto, ma è assolutamente vero, anche per le query SELECT . A questo punto, probabilmente ti starai chiedendo "In che modo InnoDB sta eseguendo l'I / O su disco per le query?"

Tutto risale al fatto che InnoDB è un motore di memorizzazione transazionale ACID- complaint. Perché InnoDB sia Transazionale, deve supportare Iin ACID, che è Isolation. La tecnica per mantenere l'isolamento per le transazioni viene eseguita tramite MVCC, Multiversion Concurrency Control . In termini semplici, InnoDB registra l'aspetto dei dati prima che le transazioni tentino di modificarli. Dove viene registrato? Nel file del tablespace di sistema, meglio noto come ibdata1. Ciò richiede l'I / O del disco .

CONFRONTO

Poiché sia ​​InnoDB che MyISAM eseguono l'I / O su disco, quali fattori casuali determinano chi è più veloce?

• Dimensione delle colonne
• Formato colonna
• Set di caratteri
• Intervallo di valori numerici (che richiedono INT abbastanza grandi)
• Righe suddivise in blocchi (concatenamento di file)
• Frammentazione dei dati causata da DELETEseUPDATEs
• Dimensione della chiave primaria (InnoDB ha un indice cluster, che richiede due ricerche di chiavi)
• Dimensione delle voci dell'indice
• l'elenco continua ...

EPILOGO

Pertanto, in un ambiente di lettura pesante, è possibile che una tabella MyISAM con un formato di riga fissa superi le letture di InnoDB dal pool di buffer InnoDB se vi sono dati sufficienti scritti nei registri di annullamento contenuti in ibdata1 per supportare il comportamento transazionale imposto sui dati InnoDB. Pianifica i tipi di dati, le query e il motore di archiviazione in modo molto accurato. Una volta che i dati crescono, potrebbe essere molto difficile spostarli.

A proposito, ho scritto qualcosa del genere 5 giorni fa: come posso assegnare un limite di memoria per mySQL?

MyISAM funzionerà sempre molto più velocemente di innodb quando non c'è contesa per i dati. Inizia ad aggiungere più sessioni cercando di aggiornare lo stesso tablse e innodb ottiene molto rapidamente il vantaggio in termini di prestazioni.

La modalità di messa a punto del sistema per i 2 motori è molto diversa.

Il motivo per cui esistono diversi motori è perché esistono diversi carichi di lavoro / modelli di accesso.

devi "riscaldare" innodb. ad esempio riproducendo nuovamente i registri di accesso o eseguendo alcune query intelligenti che toccheranno ciascun valore dall'indice.

dai un'occhiata qui o qui .

spero che tu non usi le impostazioni mysql predefinite per innodb - erano adatte all'hardware da ~ 2000.

Controlla questo sito, contiene informazioni molto utili:

http://www.mysqlperformanceblog.com/2007/11/01/innodb-performance-optimization-basics/

http://www.mysqlperformanceblog.com/2007/11/03/choosing-innodb_buffer_pool_size/

Puoi anche ottimizzare il tuo file system. Ho ottenuto buoni risultati prestazionali su XFS con valori di sunit e swidth ottimali (ovviamente se usi RAID)

Dopo aver ulteriormente ottimizzato InnoDB su MariaDB, ho aumentato la innodb_buffer_pool_sizedimensione del mio database InnoDB, da quando InnoDB ha iniziato a recuperare le righe più velocemente

Suppongo che l'ottimizzazione di InnoDB sia abbastanza importante in base alle esigenze del database