Controlla se tutte le righe del file si trovano in file diversi

Ho ottenuto due file: file1 con circa 10.000 righe e file2 con poche centinaia di righe. Voglio verificare se tutte le righe di file2 sono presenti in file1. Cioè: ∀ riga ℓ ∈ file2: ℓ ∈ file1

Qualcuno non dovrebbe sapere cosa significano questi simboli o cosa significhi "verificare se tutte le righe del file2 si presentano nel file1": Diverse righe equivalenti in entrambi i file non influenzano se il controllo restituisce che i file soddisfano il requisito o meno.

Come faccio a fare questo?

comm -13 <(sort -u file_1) <(sort -u file_2)

Questo comando produrrà linee uniche per file_2. Quindi, se l'output è vuoto, tutte le file_2righe sono contenute in file_1.

Dall'uomo delle comunicazioni:

   With  no  options,  produce  three-column  output.  Column one contains
   lines unique to FILE1, column two contains lines unique to  FILE2,  and
   column three contains lines common to both files.

   -1     suppress column 1 (lines unique to FILE1)

   -2     suppress column 2 (lines unique to FILE2)

   -3     suppress column 3 (lines that appear in both files)

[ $(grep -cxFf file2 <(sort -u file1)) = $(sort -u file2 | wc -l) ] && 
  echo all there || 
  echo some missing

Se il numero di corrispondenze da file2 in (le righe univoche di) file1 è uguale al numero di righe univoche in file2, allora sono tutte lì; altrimenti non lo sono.

Usare GNU awkdove supporta length(array)funzionalità specifiche (e qualche altra awkimplementazione che può supportare) e non richiesto se i file sono ordinati.

gawk 'FNR==NR{seen[$0];next} ($0 in seen){delete seen[$0]};
    END{print (!length(seen))?"Matched":"Not Matched"}' file2 file1

Questo sta leggendo file2 in un array chiamato seencon la chiave come intera riga di file2 .

Quindi leggi file1 e per ogni riga se abbinato a righe nella matrice vista, allora elimina quella chiave.

Alla fine se l'array era vuoto significa che tutte le righe nel file2 esistono nel file1 e verranno stampate Matched, altrimenti verranno visualizzate Not Matched.

Per la compatibilità in tutte le awkimplementazioni.

awk 'FNR==NR{seen[$0];next} ($0 in seen){delete seen[$0]};
    END{for(x in seen);print (!x)?"Matched":"Not Matched"}' file2 file1

Per ignorare le righe vuote / o le righe con spazi bianchi solo se nel file2 , è necessario aggiungere NFla condizione NR==FNR && NF {...per saltare la lettura nell'array.

Usando commpuoi trovare linee comuni in entrambi i file.

comm -12 file1 file2

Dai un'occhiata man commper maggiori dettagli

diff -q <(sort -u file2) <(grep -Fxf file2 file1 | sort -u)

non produrrà alcun output se file1contiene tutte le righe dentro file2e termina con lo stato 0, altrimenti stampa qualcosa di simile

Files /proc/self/fd/11 and /proc/self/fd/12 differ

e uscire con lo stato 1

Usa un programma Python:

#!/usr/bin/env python3
import sys

def open_arg(path):
    return sys.stdin if path == '-' else open(path)

def strip_linebreak(s):
    return s[:-1] if s.endswith('\n') else s

with open_arg(sys.argv[1]) as pattern_file:
    patterns = set(map(strip_linebreak, pattern_file))

with open_arg(sys.argv[2]) as dataset_file:
    for l in map(strip_linebreak, dataset_file):
        patterns.remove(l)
        if not patterns:
            break

sys.exit(int(bool(patterns)))

Uso:

python3 contains-all.py file2 file1

Lo stato di uscita del programma indica se tutti i pattern del file 2 sono stati trovati:

• 0 (successo) significa che tutti i modelli sono stati abbinati.
• 1 (fallimento) significa che alcuni pattern non sono stati abbinati.

Per interrogare lo stato di uscita in un guscio (copione) è possibile utilizzare la $?variabile speciale o altre espressioni che restituiscono exit status dei comandi, ad esempio, gli operatori di corto circuito &&e ||ed espressioni condizionali come ifo while. Esempio:

if python3 compare-all.py file2 file1 && some-other --condition; then
    # do stuff
fi

combineda moreutils ti mostrerà tutte le linee file2che non sono in file1con:

combine file2 not file1

Quindi puoi contare il numero di linee eseguendo il piping su wc -l, come:

if [ $(combine file2 not file1 | wc -l) != 0 ]; then
  echo "lines missing"
else
  echo "You're fine"
fi