Il modo più veloce per dire se due file hanno gli stessi contenuti in Unix / Linux?

Ho uno script di shell in cui devo verificare se due file contengono gli stessi dati o meno. Faccio questo per molti file e nel mio script il diffcomando sembra essere il collo di bottiglia delle prestazioni.

Ecco la linea:

diff -q $dst $new > /dev/null

if ($status) then ...

Potrebbe esserci un modo più veloce per confrontare i file, forse un algoritmo personalizzato anziché quello predefinito diff?

Credo che cmpsi fermerà alla prima differenza di byte:

cmp --silent $old $new || echo "files are different"

Mi piace che @Alex Howansky abbia usato 'cmp --silent' per questo. Ma ho bisogno di una risposta sia positiva che negativa, quindi uso:

cmp --silent file1 file2 && echo '### SUCCESS: Files Are Identical! ###' || echo '### WARNING: Files Are Different! ###'

Posso quindi eseguirlo nel terminale o con un SSH per controllare i file con un file costante.

Perché non ottieni l'hash del contenuto di entrambi i file?

Prova questo script, chiamalo ad esempio script.sh e quindi eseguilo come segue: script.sh file1.txt file2.txt

#!/bin/bash

file1=`md5 $1`
file2=`md5 $2`

if [ "$file1" = "$file2" ]
then
    echo "Files have the same content"
else
    echo "Files have NOT the same content"
fi

Perché faccio schifo e non ho abbastanza punti reputazione, non posso aggiungere questo bocconcino come commento.

Ma se stai per usare il cmpcomando (e non hai bisogno / vuoi essere prolisso) puoi semplicemente prendere lo stato di uscita. Per la cmppagina man:

Se un FILE è '-' o mancante, leggere l'input standard. Lo stato di uscita è 0 se gli ingressi sono uguali, 1 se diverso, 2 in caso di problemi.

Quindi, potresti fare qualcosa del tipo:

STATUS="$(cmp --silent $FILE1 $FILE2; echo $?)"  # "$?" gives exit status for each comparison

if [[$STATUS -ne 0]]; then  # if status isn't equal to 0, then execute code
    DO A COMMAND ON $FILE1
else
    DO SOMETHING ELSE
fi

Per i file che non sono diversi, qualsiasi metodo richiederà di aver letto entrambi i file, anche se la lettura era in passato.

Non c'è alternativa. Quindi la creazione di hash o checksum a un certo punto nel tempo richiede la lettura dell'intero file. I file di grandi dimensioni richiedono tempo.

Il recupero dei metadati dei file è molto più veloce della lettura di un file di grandi dimensioni.

Quindi, ci sono dei metadati di file che puoi usare per stabilire che i file sono diversi? Dimensione del file ? o anche i risultati del comando file che legge solo una piccola parte del file?

Frammento di codice di esempio dimensione file:

  ls -l $1 $2 | 
  awk 'NR==1{a=$5} NR==2{b=$5} 
       END{val=(a==b)?0 :1; exit( val) }'

[ $? -eq 0 ] && echo 'same' || echo 'different'  

Se i file hanno le stesse dimensioni, allora sei bloccato con letture di file complete.

Prova anche a usare il comando cksum:

chk1=`cksum <file1> | awk -F" " '{print $1}'`
chk2=`cksum <file2> | awk -F" " '{print $1}'`

if [ $chk1 -eq $chk2 ]
then
  echo "File is identical"
else
  echo "File is not identical"
fi

Il comando cksum genererà il conteggio dei byte di un file. Vedi "man cksum".

Facendo alcuni test con un Raspberry Pi 3B + (sto usando un file system overlay e devo sincronizzarlo periodicamente), ho eseguito un mio confronto per diff -q e cmp -s; si noti che questo è un registro da dentro / dev / shm, quindi le velocità di accesso al disco non sono un problema:

[root@mypi shm]# dd if=/dev/urandom of=test.file bs=1M count=100 ; time diff -q test.file test.copy && echo diff true || echo diff false ; time cmp -s test.file test.copy && echo cmp true || echo cmp false ; cp -a test.file test.copy ; time diff -q test.file test.copy && echo diff true || echo diff false; time cmp -s test.file test.copy && echo cmp true || echo cmp false
100+0 records in
100+0 records out
104857600 bytes (105 MB) copied, 6.2564 s, 16.8 MB/s
Files test.file and test.copy differ

real    0m0.008s
user    0m0.008s
sys     0m0.000s
diff false

real    0m0.009s
user    0m0.007s
sys     0m0.001s
cmp false
cp: overwrite âtest.copyâ? y

real    0m0.966s
user    0m0.447s
sys     0m0.518s
diff true

real    0m0.785s
user    0m0.211s
sys     0m0.573s
cmp true
[root@mypi shm]# pico /root/rwbscripts/utils/squish.sh

L'ho eseguito un paio di volte. cmp -s ha avuto tempi leggermente più brevi sulla scatola di test che stavo usando. Quindi se vuoi usare cmp -s per fare cose tra due file ....

identical (){
  echo "$1" and "$2" are the same.
  echo This is a function, you can put whatever you want in here.
}
different () {
  echo "$1" and "$2" are different.
  echo This is a function, you can put whatever you want in here, too.
}
cmp -s "$FILEA" "$FILEB" && identical "$FILEA" "$FILEB" || different "$FILEA" "$FILEB"