Eliminazione di righe duplicate in MySQL sul posto, (supponendo che tu abbia un col timestamp per ordinare) procedura dettagliata:
Crea la tabella e inserisci alcune righe:
create table penguins(foo int, bar varchar(15), baz datetime);
insert into penguins values(1, 'skipper', now());
insert into penguins values(1, 'skipper', now());
insert into penguins values(3, 'kowalski', now());
insert into penguins values(3, 'kowalski', now());
insert into penguins values(3, 'kowalski', now());
insert into penguins values(4, 'rico', now());
select * from penguins;
+------+----------+---------------------+
| foo | bar | baz |
+------+----------+---------------------+
| 1 | skipper | 2014-08-25 14:21:54 |
| 1 | skipper | 2014-08-25 14:21:59 |
| 3 | kowalski | 2014-08-25 14:22:09 |
| 3 | kowalski | 2014-08-25 14:22:13 |
| 3 | kowalski | 2014-08-25 14:22:15 |
| 4 | rico | 2014-08-25 14:22:22 |
+------+----------+---------------------+
6 rows in set (0.00 sec)
Rimuovi i duplicati sul posto:
delete a
from penguins a
left join(
select max(baz) maxtimestamp, foo, bar
from penguins
group by foo, bar) b
on a.baz = maxtimestamp and
a.foo = b.foo and
a.bar = b.bar
where b.maxtimestamp IS NULL;
Query OK, 3 rows affected (0.01 sec)
select * from penguins;
+------+----------+---------------------+
| foo | bar | baz |
+------+----------+---------------------+
| 1 | skipper | 2014-08-25 14:21:59 |
| 3 | kowalski | 2014-08-25 14:22:15 |
| 4 | rico | 2014-08-25 14:22:22 |
+------+----------+---------------------+
3 rows in set (0.00 sec)
Hai finito, le righe duplicate vengono rimosse, l'ultima per data e ora viene mantenuta.
Per quelli di voi senza un timestamp o una colonna unica.
Non hai una timestampo una colonna di indice unica per ordinare? Stai vivendo in uno stato di degenerazione. Dovrai eseguire ulteriori passaggi per eliminare le righe duplicate.
crea la tabella dei pinguini e aggiungi alcune righe
create table penguins(foo int, bar varchar(15));
insert into penguins values(1, 'skipper');
insert into penguins values(1, 'skipper');
insert into penguins values(3, 'kowalski');
insert into penguins values(3, 'kowalski');
insert into penguins values(3, 'kowalski');
insert into penguins values(4, 'rico');
select * from penguins;
# +------+----------+
# | foo | bar |
# +------+----------+
# | 1 | skipper |
# | 1 | skipper |
# | 3 | kowalski |
# | 3 | kowalski |
# | 3 | kowalski |
# | 4 | rico |
# +------+----------+
crea un clone della prima tabella e copialo al suo interno.
drop table if exists penguins_copy;
create table penguins_copy as ( SELECT foo, bar FROM penguins );
#add an autoincrementing primary key:
ALTER TABLE penguins_copy ADD moo int AUTO_INCREMENT PRIMARY KEY first;
select * from penguins_copy;
# +-----+------+----------+
# | moo | foo | bar |
# +-----+------+----------+
# | 1 | 1 | skipper |
# | 2 | 1 | skipper |
# | 3 | 3 | kowalski |
# | 4 | 3 | kowalski |
# | 5 | 3 | kowalski |
# | 6 | 4 | rico |
# +-----+------+----------+
L'aggregato massimo opera sul nuovo indice moo:
delete a from penguins_copy a left join(
select max(moo) myindex, foo, bar
from penguins_copy
group by foo, bar) b
on a.moo = b.myindex and
a.foo = b.foo and
a.bar = b.bar
where b.myindex IS NULL;
#drop the extra column on the copied table
alter table penguins_copy drop moo;
select * from penguins_copy;
#drop the first table and put the copy table back:
drop table penguins;
create table penguins select * from penguins_copy;
osservare e pulire
drop table penguins_copy;
select * from penguins;
+------+----------+
| foo | bar |
+------+----------+
| 1 | skipper |
| 3 | kowalski |
| 4 | rico |
+------+----------+
Elapsed: 1458.359 milliseconds
Che cosa sta facendo quella grande dichiarazione di eliminazione SQL?
I pinguini di tabella con alias 'a' vengono lasciati uniti su un sottoinsieme di pinguini di tabella chiamato alias 'b'. La tabella di destra "b", che è un sottoinsieme, trova il timestamp massimo [o max moo] raggruppato per colonne foo e bar. Questo è abbinato alla tabella di sinistra "a". (foo, bar, baz) a sinistra ha tutte le righe nella tabella. Il sottoinsieme di destra "b" ha un (maxtimestamp, foo, bar) che è abbinato a sinistra solo su quello che è il max.
Ogni riga che non è quella massima ha valore maxtimestamp di NULL. Filtra verso il basso su quelle righe NULL e avrai un insieme di tutte le righe raggruppate per foo e bar che non è l'ultimo timestamp baz. Elimina quelli.
Eseguire un backup della tabella prima di eseguire questo.
Impedisci che questo problema si ripeta in questa tabella:
Se riesci a far funzionare tutto questo, spegni il fuoco "fila doppia". Grande. Ora definisci una nuova chiave univoca composita sulla tua tabella (su quelle due colonne) per evitare che vengano aggiunti più duplicati.
Come un buon sistema immunitario, le righe errate non dovrebbero nemmeno essere consentite nella tabella al momento dell'inserimento. Successivamente tutti quei programmi che aggiungono duplicati trasmetteranno la loro protesta e quando li risolvi, questo problema non si ripresenta più.