Comando Unix per trovare linee comuni in due file

Sono sicuro di aver trovato una volta un comando unix che poteva stampare le righe comuni da due o più file, qualcuno ne conosce il nome? È stato molto più semplice di diff.

Il comando che stai cercando è comm. per esempio:-

comm -12 1.sorted.txt 2.sorted.txt

Qui:

-1 : sopprimere la colonna 1 (righe univoche per 1.sorted.txt)

-2 : sopprimere la colonna 2 (righe univoche per 2.sorted.txt)

Per applicare facilmente il comando comm ai file non ordinati , utilizzare la sostituzione di processo di Bash :

$ bash --version
GNU bash, version 3.2.51(1)-release
Copyright (C) 2007 Free Software Foundation, Inc.
$ cat > abc
123
567
132
$ cat > def
132
777
321

Quindi i file abc e def hanno una riga in comune, quella con "132". Utilizzo di comm su file non ordinati:

$ comm abc def
123
    132
567
132
    777
    321
$ comm -12 abc def # No output! The common line is not found
$

L'ultima riga non ha prodotto output, la riga comune non è stata scoperta.

Ora usa comm su file ordinati, ordinando i file con la sostituzione del processo:

$ comm <( sort abc ) <( sort def )
123
            132
    321
567
    777
$ comm -12 <( sort abc ) <( sort def )
132

Ora abbiamo la linea 132!

Per completare il one-liner Perl, ecco il suo awkequivalente:

awk 'NR==FNR{arr[$0];next} $0 in arr' file1 file2

Questo leggerà tutte le righe file1dall'array arr[]e quindi controllerà ogni riga file2se esiste già all'interno dell'array (es file1.). Le linee trovate verranno stampate nell'ordine in cui appaiono file2. Si noti che il confronto in arrutilizza l'intera riga da file2come indice all'array, quindi riporterà solo corrispondenze esatte su intere righe.

Forse vuoi dire comm?

Confronta i file ordinati FILE1 e FILE2 riga per riga.

Senza opzioni, produce output a tre colonne. La colonna uno contiene righe univoche per FILE1, la colonna due contiene righe univoche per FILE2 e la colonna tre contiene righe comuni a entrambi i file.

Il segreto per trovare queste informazioni sono le pagine informative. Per i programmi GNU, sono molto più dettagliati delle loro pagine man. Prova info coreutilse ti elencherà tutti i piccoli utili programmi di utilità.

Mentre

grep -v -f 1.txt 2.txt > 3.txt

ti dà le differenze di due file (ciò che è in 2.txt e non in 1.txt), potresti facilmente fare un

grep -f 1.txt 2.txt > 3.txt

per raccogliere tutte le linee comuni, che dovrebbero fornire una soluzione semplice al tuo problema. Se hai ordinato i file, dovresti commcomunque prenderli . Saluti!

Se i due file non sono ancora ordinati, è possibile utilizzare:

comm -12 <(sort a.txt) <(sort b.txt)

e funzionerà, evitando il messaggio di errore comm: file 2 is not in sorted order quando lo si fa comm -12 a.txt b.txt.

perl -ne 'print if ($seen{$_} .= @ARGV) =~ /10$/'  file1 file2

awk 'NR==FNR{a[$1]++;next} a[$1] ' file1 file2

Su una versione limitata di Linux (come un QNAP (nas) su cui stavo lavorando):

• comm non esisteva
• grep -f file1 file2può causare alcuni problemi, come affermato da @ChristopherSchultz e l'utilizzo è grep -F -f file1 file2stato molto lento (più di 5 minuti - non finito - oltre 2-3 secondi con il metodo seguente su file di oltre 20 MB)

Quindi ecco cosa ho fatto:

sort file1 > file1.sorted
sort file2 > file2.sorted

diff file1.sorted file2.sorted | grep "<" | sed 's/^< *//' > files.diff
diff file1.sorted files.diff | grep "<" | sed 's/^< *//' > files.same.sorted

Se files.same.sorteddeve essere stato nello stesso ordine di quelli originali, allora aggiungi questa riga per lo stesso ordine di file1:

awk 'FNR==NR {a[$0]=$0; next}; $0 in a {print a[$0]}' files.same.sorted file1 > files.same

oppure, per lo stesso ordine di file2:

awk 'FNR==NR {a[$0]=$0; next}; $0 in a {print a[$0]}' files.same.sorted file2 > files.same

Solo per riferimento se qualcuno sta ancora cercando come farlo per più file, vedere la risposta collegata alla ricerca di linee corrispondenti in più file.

Combinando queste due risposte ( ans1 e ans2 ), penso che tu possa ottenere il risultato di cui hai bisogno senza ordinare i file:

#!/bin/bash
ans="matching_lines"

for file1 in *
do 
    for file2 in *
        do 
            if  [ "$file1" != "$ans" ] && [ "$file2" != "$ans" ] && [ "$file1" != "$file2" ] ; then
                echo "Comparing: $file1 $file2 ..." >> $ans
                perl -ne 'print if ($seen{$_} .= @ARGV) =~ /10$/' $file1 $file2 >> $ans
            fi
         done 
done

Basta salvarlo, dargli i diritti di esecuzione ( chmod +x compareFiles.sh) ed eseguirlo. Prenderà tutti i file presenti nella directory di lavoro corrente e farà un confronto tutto-contro-tutti lasciando nel file "matching_lines" il risultato.

Cose da migliorare:

• Salta le directory
• Evita di confrontare tutti i file due volte (file1 vs file2 e file2 vs file1).
• Forse aggiungi il numero di riga accanto alla stringa corrispondente

rm file3.txt

cat file1.out | while read line1
do
        cat file2.out | while read line2
        do
                if [[ $line1 == $line2 ]]; then
                        echo $line1 >>file3.out
                fi
        done
done

Questo dovrebbe farlo.