Ho una grande tabella MyISAM (~ 30 M righe). Ad un certo punto l'ho passato al formato di riga fissa, quindi ora la tabella richiede ~ 40Gb su disco e 2Gb per gli indici. La tabella ha un indice univoco e ci sono 100 query "insert on duplicate key update" al secondo. Man mano che la tabella cresce, questi inserti diventano sempre più lenti.
Non sono sicuro, ma le partizioni mi aiuteranno ad accelerare gli inserti?
Risposte:
Prima di tutto, le scritture simultanee non sono sicuramente un'opzione per l'archiviazione MyISAM. Ognuno di loro bloccherà un intero tavolo (tranne che per la lettura in alcuni casi). Se InnoDB non ti soddisfa bene, prova TokuDB. Ma sarà più lento rispetto a MyISAM a causa della natura transazionale del motore TokuDB (e ovviamente InnoDB) (dovresti scrivere gli stessi dati almeno due volte: journal e file di dati). Inoltre, se il tuo server si arresta in modo anomalo un giorno, dovrai aspettare ore prima che il tuo tavolo MyISAM da 40 GB venga riparato.
Se vuoi ancora caricare i dati nelle tue tabelle MyISAM e vuoi farlo velocemente, posso consigliare di usare al LOAD DATA INFILEposto degli inserti. Questo è il modo più veloce per caricare grandi volumi di dati nella tabella. E sì, gli indici rallenteranno le prestazioni dell'inserto in modo esponenziale.
Una parola sulle partizioni: le istruzioni INSERT in MySQL non supportano la potatura, quindi tutte le partizioni verranno scansionate su ogni istruzione per una corrispondenza univoca dell'indice. Inoltre, tutte le partizioni verranno bloccate fino alla fine dell'inserimento.
Queste query di inserimento sono simultanee o originate dallo stesso processo? Se sono concorrenti è meglio usare l'archiviazione InnoDB per questa tabella perché MyISAM blocca l'intera tabella e InnoDB utilizza i blocchi di riga. Se il passaggio a un'altra memoria non è un'opzione, è possibile provare l'istruzione INSERT DELAYED e diverse altre ottimizzazioni di inserimento . Il partizionamento non aiuta se non si posizionano partizioni diverse su dischi fisici diversi.