come mostrare le linee in comune (reverse diff)?

Ho una serie di file di testo per i quali mi piacerebbe conoscere le linee in comune piuttosto che le linee che sono diverse tra loro. La riga di comando unix o windows va bene.

pippo:

linux-vdso.so.1 =>  (0x00007fffccffe000)
libvlc.so.2 => /usr/lib/libvlc.so.2 (0x00007f0dc4b0b000)
libvlccore.so.0 => /usr/lib/libvlccore.so.0 (0x00007f0dc483f000)
libc.so.6 => /lib/libc.so.6 (0x00007f0dc44cd000)

bar:

libkdeui.so.5 => /usr/lib/libkdeui.so.5 (0x00007f716ae22000)
libkio.so.5 => /usr/lib/libkio.so.5 (0x00007f716a96d000)
linux-vdso.so.1 =>  (0x00007fffccffe000)

Quindi, dato che questi due file sopra l'output dell'utilità desiderata sarebbero simili file1:line_number, file2:line_number == matching text (solo un suggerimento, non mi interessa davvero quale sia la sintassi):

foo:1, bar:3 == linux-vdso.so.1 =>  (0x00007fffccffe000)

Grazie.

Su * nix, puoi usare comm . La risposta alla domanda è:

comm -1 -2 file1.sorted file2.sorted 
# where file1 and file2 are sorted and piped into *.sorted

Ecco il pieno utilizzo di comm:

comm [-1] [-2] [-3 ] file1 file2
-1 Suppress the output column of lines unique to file1.
-2 Suppress the output column of lines unique to file2.
-3 Suppress the output column of lines duplicated in file1 and file2. 

Si noti inoltre che è importante ordinare i file prima di utilizzare comm, come indicato nelle pagine man.

Ho trovato questa risposta su una domanda elencata come duplicata . Trovo grep più facile da gestire rispetto a comm, quindi se vuoi solo il set di linee corrispondenti (utile per confrontare CSV, per esempio) usa semplicemente

grep -F -x -f file1 file2

o la versione semplificata di fgrep

fgrep -xf file1 file2

Inoltre, puoi usare file2* glob e cercare linee in comune con più file, anziché solo due.

Alcune altre utili varianti includono

• -n flag per mostrare il numero di riga di ogni riga abbinata
• -c per contare solo il numero di righe corrispondenti
• -vper visualizzare solo le righe in file2 che differiscono (o usano diff).

L'uso commè più veloce, ma quella velocità ha il costo di dover prima ordinare i file. Non è molto utile come "inversa diff".

È stato chiesto qui prima: comando Unix per trovare linee comuni in due file

Puoi anche provare con perl (il credito va qui )

perl -ne 'print if ($seen{$_} .= @ARGV) =~ /10$/'  file1 file2

Ho appena imparato il comando comm da questo thread, ma volevo aggiungere qualcosa in più: se i file non sono ordinati e non si desidera toccare i file originali, è possibile reindirizzare l'output del comando sort. Questo lascia intatti i file originali. Funziona a bash, non posso dire di altre shell.

comm -1 -2 <(sort file1) <(sort file2)

Questo può essere esteso per confrontare l'output del comando, anziché i file:

comm -1 -2 <(ls /dir1 | sort) <(ls /dir2 | sort)

Il modo più semplice per fare è:

awk 'NR==FNR{a[$1]++;next} a[$1] ' file1 file2

I file non sono necessari per essere ordinati.

Solo per informazione, ho creato un piccolo strumento per Windows che fa la stessa cosa di "grep -F -x -f file1 file2" (dato che non ho trovato nulla di equivalente a questo comando su Windows)

Eccolo qui: http://www.nerdzcore.com/?page=commonlines

L'utilizzo è "CommonLines inputFile1 inputFile2 outputFile"

È disponibile anche il codice sorgente (GPL)

In di Windows è possibile utilizzare un PowerShell script con CompareObject

compare-object -IncludeEqual -ExcludeDifferent -PassThru (get-content A.txt) (get-content B.txt)> MATCHING.txt | Out-Null #Find Matching Lines

CompareObject:

• IncludeEqual senza -ExcludeDifferent: tutto
• ExcludeDifferent without -InclueEqual: Nothing