Eliminazione collettiva per tabella di grandi dimensioni in MySQL

Ho una tabella di notifica che contiene circa 100 milioni di righe host in Amazon RDS con 1000 IOPS e desidero eliminare quelle righe più vecchie di un mese.

In tal caso DELETE FROM NOTIFICATION WHERE CreatedAt < DATE_SUB(CURDATE(), INTERVAL 30 day);, verranno presi tutti gli IOPS, il processo richiederà ore e non sarà possibile inserire molte nuove voci a causa del "Timeout di attesa di blocco superato; provare a riavviare la transazione".

Stavo cercando di descrivere il modo qui: http://mysql.rjweb.org/doc.php/deletebig Tuttavia, sto usando UUID invece di ID di incremento.

Qual è il modo corretto ed efficiente per eliminare quelle righe senza influire sull'inserimento / aggiornamento di nuovi dati?

Crea una tabella temporanea, accendila e spegnila e copia in essa i dati degli ultimi 30 giorni.

#
# Make empty temp table
#
CREATE TABLE NOTIFICATION_NEW LIKE NOTIFICATION;
#
# Switch in new empty temp table
#
RENAME TABLE NOTIFICATION TO NOTIFICATION_OLD,NOTIFICATION_NEW TO NOTIFICATION;
#
# Retrieve last 30 days data 
#
INSERT INTO NOTIFICATION SELECT * FROM NOTIFICATION_OLD
WHERE CreatedAt >= DATE_SUB(CURDATE(), INTERVAL 30 DAY);

Nelle ore di riposo, lascia cadere il vecchio tavolo

DROP TABLE NOTIFICATION_OLD;

Ecco i vantaggi di fare DELETE in questo modo

1. NOTIFICATION viene svuotato velocemente per mezzo di una tabella vuota.
2. NOTIFICATION è immediatamente disponibile per i nuovi INSERTI
3. I restanti 30 giorni vengono aggiunti nuovamente NOTIFICATIONmentre possono verificarsi nuovi INSERT.
4. Eliminare la vecchia versione di NOTIFICATIONnon interferisce con i nuovi INSERT
5. NOTA: ho consigliato di fare bait-and-switch per le tabelle DELETE prima di: (Vedi il mio post del 19 luglio 2012: Ottimizzare le query DELETE sulla tabella MEMORY di MySQL )

Provaci !!!

Il mio preferito è l' archiviatore pt di Percona Toolkit. Si occupa del carico di MySQL, del ritardo di replica.

crea la tabella notification_temp come seleziona * dalla notifica in cui è stato creato <DATE_SUB (CURDATE (), INTERVAL 30 giorni);

notifica della tabella di rilascio;

RENAME notification_temp A NOTIFICA;