Come faccio a confrontare i file binari in Linux?

Devo confrontare due file binari e ottenere l'output nel modulo:

<fileoffset-hex> <file1-byte-hex> <file2-byte-hex>

per ogni byte diverso. Quindi se lo file1.binè

  00 90 00 11

in forma binaria ed file2.binè

  00 91 00 10

Voglio ottenere qualcosa del genere

  00000001 90 91
  00000003 11 10

C'è un modo per farlo in Linux? Lo so, cmp -lma utilizza un sistema decimale per gli offset e ottale per i byte che vorrei evitare.

Questo stamperà l'offset e i byte in esadecimale:

cmp -l file1.bin file2.bin | gawk '{printf "%08X %02X %02X\n", $1, strtonum(0$2), strtonum(0$3)}'

Oppure fai $1-1in modo che il primo offset stampato inizi da 0.

cmp -l file1.bin file2.bin | gawk '{printf "%08X %02X %02X\n", $1-1, strtonum(0$2), strtonum(0$3)}'

Sfortunatamente, strtonum()è specifico di GAWK, quindi per altre versioni di awk, ad esempio mawk, sarà necessario utilizzare una funzione di conversione da ottale a decimale. Per esempio,

cmp -l file1.bin file2.bin | mawk 'function oct2dec(oct,     dec) {for (i = 1; i <= length(oct); i++) {dec *= 8; dec += substr(oct, i, 1)}; return dec} {printf "%08X %02X %02X\n", $1, oct2dec($2), oct2dec($3)}'

Risolto per leggibilità:

cmp -l file1.bin file2.bin |
    mawk 'function oct2dec(oct,    dec) {
              for (i = 1; i <= length(oct); i++) {
                  dec *= 8;
                  dec += substr(oct, i, 1)
              };
              return dec
          }
          {
              printf "%08X %02X %02X\n", $1, oct2dec($2), oct2dec($3)
          }'

Come ha sottolineato ~ Quack :

 % xxd b1 > b1.hex
 % xxd b2 > b2.hex

E poi

 % diff b1.hex b2.hex

o

 % vimdiff b1.hex b2.hex

diff + xxd

Prova diffnella seguente combinazione di sostituzione del processo zsh / bash:

diff -y <(xxd foo1.bin) <(xxd foo2.bin)

Dove:

• -y mostra le differenze affiancate (facoltativo).
• xxd è lo strumento CLI per creare un output hexdump del file binario.
• Aggiungi -W200a diffper output più ampio (di 200 caratteri per riga).
• Per i colori, utilizzare colordiffcome mostrato di seguito.

colordiff + xxd

Se hai colordiff, può colorare l' diffoutput, ad esempio:

colordiff -y <(xxd foo1.bin) <(xxd foo2.bin)

^{In caso contrario, installare tramite: sudo apt-get install colordiff.}

Uscita campione:

vimdiff + xxd

Puoi anche usare vimdiff, ad es

vimdiff <(xxd foo1.bin) <(xxd foo2.bin)

suggerimenti:

• se i file sono troppo grandi, aggiungi un limite (ad es. -l1000) per ciascunoxxd

C'è uno strumento chiamato DHEX che può fare il lavoro, e c'è un altro strumento chiamato VBinDiff .

Per un approccio rigorosamente a riga di comando, prova jojodiff .

Metodo che funziona per l'aggiunta / eliminazione di byte

diff <(od -An -tx1 -w1 -v file1) \
     <(od -An -tx1 -w1 -v file2)

Genera un caso di test con una singola rimozione del byte 64:

for i in `seq 128`; do printf "%02x" "$i"; done | xxd -r -p > file1
for i in `seq 128`; do if [ "$i" -ne 64 ]; then printf "%02x" $i; fi; done | xxd -r -p > file2

Produzione:

64d63
<  40

Se vuoi vedere anche la versione ASCII del personaggio:

bdiff() (
  f() (
    od -An -tx1c -w1 -v "$1" | paste -d '' - -
  )
  diff <(f "$1") <(f "$2")
)

bdiff file1 file2

Produzione:

64d63
<   40   @

Testato su Ubuntu 16.04.

Preferisco odpiù xxdperché:

• esso è POSIX , xxdnon è (viene fornito con Vim)
• deve -Anrimuovere la colonna dell'indirizzo senza awk.

Spiegazione del comando:

• -Anrimuove la colonna dell'indirizzo. Questo è importante, altrimenti tutte le righe differirebbero dopo un'aggiunta / rimozione di byte.
• -w1mette un byte per riga, in modo che diff possa consumarlo. È fondamentale disporre di un byte per riga, altrimenti ogni riga dopo una cancellazione diventerebbe sfasata e diversa. Sfortunatamente, questo non è POSIX, ma presente in GNU.
• -tx1 è la rappresentazione che desideri, passa a qualsiasi valore possibile, purché mantieni 1 byte per riga.
• -vimpedisce l'abbreviazione della ripetizione dell'asterisco *che potrebbe interferire con il diff
• paste -d '' - -unisce ogni due righe. Ne abbiamo bisogno perché l'esagono e l'ASCII vanno in linee adiacenti separate. Tratto da: https://stackoverflow.com/questions/8987257/concatenating-every-other-line-with-the-next
• usiamo la parentesi ()per definire bdiffinvece di {}limitare l'ambito della funzione interna f, vedi anche: https://stackoverflow.com/questions/8426077/how-to-define-a-function-inside-another-function-in-bash

Guarda anche:

• https://unix.stackexchange.com/questions/59849/diff-binary-files-of-different-sizes
• https://stackoverflow.com/questions/8385618/using-cmp-to-compare-two-binaries

Risposta breve

vimdiff <(xxd -c1 -p first.bin) <(xxd -c1 -p second.bin)

Quando si utilizzano hexdump e diff di testo per confrontare i file binari, in particolare xxd, le aggiunte e le rimozioni di byte diventano spostamenti nell'indirizzamento che potrebbero rendere difficile la visualizzazione. Questo metodo dice a xxd di non emettere gli indirizzi e di produrre solo un byte per riga, che a sua volta mostra esattamente quali byte sono stati modificati, aggiunti o rimossi. È possibile trovare gli indirizzi in un secondo momento cercando le sequenze interessanti di byte in un hexdump più "normale" (output di xxd first.bin).

Consiglierei hexdump per scaricare i file binari in formato testuale e kdiff3 per la visualizzazione diff.

hexdump myfile1.bin > myfile1.hex
hexdump myfile2.bin > myfile2.hex
kdiff3 myfile1.hex myfile2.hex

Il hexdiffè un programma progettato per fare esattamente quello che stai cercando.

Uso:

hexdiff file1 file2

Visualizza l'esadecimale (e ASCII a 7 bit) dei due file uno sopra l'altro, con eventuali differenze evidenziate. Cerca man hexdiffi comandi per spostarti nel file e qverrà chiuso un semplice .

Potrebbe non rispondere rigorosamente alla domanda, ma io lo uso per diversi binari:

gvim -d <(xxd -c 1 ~/file1.bin | awk '{print $2, $3}') <(xxd -c 1 ~/file2.bin | awk '{print $2, $3}')

Stampa entrambi i file come valori esadecimali e ASCII , un byte per riga, quindi utilizza la funzione diff di Vim per renderli visivamente.

dhex http://www.dettus.net/dhex/

DHEX è più di un semplice editor esadecimale: include una modalità diff, che può essere utilizzata per confrontare facilmente e comodamente due file binari. Poiché è basato su ncurses ed è tematico, può essere eseguito su qualsiasi numero di sistemi e scenari. Con il suo utilizzo dei log di ricerca, è possibile monitorare facilmente le modifiche in diverse iterazioni di file.

Puoi usare lo strumento gvimdiff incluso nel pacchetto vim-gui-common

sudo apt-get update

sudo apt-get install vim-gui-common

Quindi puoi confrontare 2 file esadecimali usando i seguenti comandi:

ubuntu> gvimdiff <hex-file1> <hex-file2>

Tutto qui. Spero che ti aiuti!

Lo strumento di analisi del firmware ha binwalkanche questa funzionalità come opzione tramite l' opzione -W/ --hexdumpriga di comando che offre opzioni che mostrano solo i diversi byte:

    -W, --hexdump                Perform a hexdump / diff of a file or files
    -G, --green                  Only show lines containing bytes that are the same among all files
    -i, --red                    Only show lines containing bytes that are different among all files
    -U, --blue                   Only show lines containing bytes that are different among some files
    -w, --terse                  Diff all files, but only display a hex dump of the first file

Nell'esempio di OP quando si fa binwalk -W file1.bin file2.bin:

https://security.googleblog.com/2016/03/bindiff-now-available-for-free.html

BinDiff è un ottimo strumento di interfaccia utente per confrontare i file binari che sono stati aperti di recente.

Il prodotto open source su Linux (e tutto il resto) è Radare che fornisce radiff2esplicitamente a tale scopo. Ho votato per chiudere perché io e gli altri abbiamo la stessa domanda, nella domanda che poni

per ogni byte diverso

È folle però. Perché, come richiesto, se si inserisce un byte nel primo byte nel file, si troverà che ogni byte successivo era diverso e quindi il diff ripeterebbe l'intero file, per una differenza effettiva di un byte.

È leggermente più pratico radiff -O. Il -Oè per "" Do codice diffing con tutti i byte invece che solo i byte di codice operativo fisso ""

0x000000a4 0c01 => 3802 0x000000a4
0x000000a8 1401 => 3802 0x000000a8
0x000000ac 06 => 05 0x000000ac
0x000000b4 02 => 01 0x000000b4
0x000000b8 4c05 => 0020 0x000000b8
0x000000bc 4c95 => 00a0 0x000000bc
0x000000c0 4c95 => 00a0 0x000000c0

Come IDA Pro, Radare è uno strumento primario per l'analisi binaria, puoi anche mostrare delta diffing con -do visualizzare i byte disassemblati invece di hex con -D.

Se stai facendo questo tipo di domande, controlla

• Stack Overflow per le domande sul software,
• Scambio di stack di ingegneria inversa
• Radare è radiff2per diffing binario