Come rimuovere le linee duplicate all'interno di un file di testo?

Un mio enorme file di testo (fino a 2 GiB) contiene circa 100 duplicati esatti di ogni riga (inutile nel mio caso, poiché il file è una tabella di dati simile a CSV).

Ciò di cui ho bisogno è di rimuovere tutte le ripetizioni mentre (preferibilmente, ma questo può essere sacrificato per un significativo aumento delle prestazioni) mantenendo l'ordine originale della sequenza. Nel risultato ogni riga deve essere unica. Se ci fossero 100 linee uguali (di solito i duplicati sono distribuiti nel file e non saranno vicini), ne rimarrà solo uno del tipo.

Ho scritto un programma in Scala (consideralo Java se non conosci Scala) per implementarlo. Ma forse ci sono strumenti nativi scritti in C più veloci in grado di farlo più velocemente?

AGGIORNAMENTO: la awk '!seen[$0]++' filenamesoluzione sembrava funzionare bene per me fintanto che i file erano vicini a 2 GiB o più piccoli, ma ora come sto per ripulire un file da 8 GiB non funziona più. Sembra che l'infinito su un Mac con 4 GB di RAM e un PC Windows 7 a 64 bit con 4 GB di RAM e 6 GB di memoria si esaurisca. E non mi sento entusiasta di provarlo su Linux con 4 GB di RAM data questa esperienza.

Una awksoluzione vista su #bash (Freenode):

awk '!seen[$0]++' filename

Esiste un metodo semplice (che non è ovvio) che utilizza utility standard che non richiedono una grande memoria se non per essere eseguite sort, che nella maggior parte delle implementazioni ha ottimizzazioni specifiche per file di grandi dimensioni (un buon algoritmo di ordinamento esterno). Un vantaggio di questo metodo è che circola solo su tutte le linee all'interno di utility per scopi speciali, mai all'interno di linguaggi interpretati.

<input nl -b a -s : |           # number the lines
sort -t : -k 2 -u |             # sort and uniquify ignoring the line numbers
sort -t : -k 1n |               # sort according to the line numbers
cut -d : -f 2- >output          # remove the line numbers

Se tutte le righe iniziano con un carattere non bianco, puoi rinunciare ad alcune delle opzioni:

<input nl | sort -k 2 -u | sort -k 1n | cut -f 2- >output

Per una grande quantità di duplicazione, un metodo che richiede solo l'archiviazione di una singola copia di ogni riga in memoria funzionerà meglio. Con qualche overhead di interpretazione, c'è uno script awk molto conciso per quello (già pubblicato da enzotib ):

<input awk '!seen[$0]++'

Meno concisamente: ad !seen[$0] {print} {seen[$0] += 1}esempio, stampare la riga corrente se non è stata ancora vista, quindi incrementare il seencontatore per questa riga (le variabili non inizializzate o gli elementi dell'array hanno il valore numerico 0).

Per le righe lunghe, è possibile risparmiare memoria mantenendo solo un checksum non spoofable (ad esempio un digest crittografico) di ciascuna riga. Ad esempio, utilizzando SHA-1, sono necessari solo 20 byte più un overhead costante per riga. Ma il calcolo dei digest è piuttosto lento; questo metodo vincerà solo se hai una CPU veloce (in particolare una con un acceleratore hardware per calcolare i digest) e non molta memoria relativa alla dimensione del file e linee sufficientemente lunghe. Nessuna utilità di base consente di calcolare un checksum per ogni riga; dovresti sopportare l'interpretazione generale di Perl / Python / Ruby / ... o scrivere un programma compilato dedicato.

<input perl -MDigest::MD5 -ne '$seen{Digest::MD5::md5($_)}++ or print' >output

sort -u big-csv-file.csv > duplicates-removed.csv

Si noti che il file di output verrà ordinato.

Supponendo che tu possa permetterti di conservare quanto il file de-duplicato in memoria (se i tuoi dati sono effettivamente duplicati di un fattore 100, che dovrebbe essere di circa 20 MiB + overhead), puoi farlo molto facilmente con Perl.

$ perl -ne 'print unless $dup{$_}++;' input_file > output_file

Questo preserva anche l'ordine.

%dupSe lo desideri, puoi estrarre il numero di occorrenze di ogni riga dall'hash, come bonus gratuito aggiunto.

Se preferisci awk, anche questo dovrebbe farlo (stessa logica della versione perl, stesso ordine, stessi dati raccolti nella dupvariabile):

$ awk '{if (++dup[$0] == 1) print $0;}' input_file > output_file

Come nessun'altra risposta fornita supporto sul posto, eccone una:

gawk -i inplace '!a[$0]++' file

Puoi usare uniq http://www.computerhope.com/unix/uuniq.htm

uniq riporta o filtra le righe ripetute in un file.

Fodere Python One:

python -c "import sys; lines = sys.stdin.readlines(); print ''.join(sorted(set(lines)))" < InputFile

Nessuna delle risposte qui ha funzionato per me sul mio Mac, quindi ho scritto un semplice script Python che funziona per me. Sto ignorando gli spazi bianchi iniziali / finali e inoltre non mi interessa il consumo di memoria.

import sys

inputfile = sys.argv[1]
outputfile = sys.argv[2]

with open(inputfile) as f:
    content = f.readlines()

content = [x.strip() for x in content]

my_list = list(set(content))

with open(outputfile, 'w') as output:
    for item in my_list:
        output.write("%s\n" % item)

Salvare quanto sopra in unique.py ed eseguire in questo modo:

python unique.py inputfile.txt outputfile.txt

Con bash 4 è possibile utilizzare una soluzione pure-bash che sfrutta gli array associativi . Ecco un esempio

unset llist; declare -A llist;
while read -r line; do
if [[ ${llist[$line]} ]]; then
  continue
else 
  printf '%s\n' "$line"
  llist[$line]="x"
fi
done < file.txt