Un hash o checksum crittografico identico per due file significa che sono identici?

Ho 2 documenti Excel e voglio verificare se sono esattamente gli stessi, a parte il nome del file.

Ad esempio, i file vengono chiamati fileone.xlse filetwo.xls. A parte i nomi dei file, si presume che il loro contenuto sia identico, ma questo è ciò che voglio controllare.

Ho cercato modi per rivedere questo e senza installare un sacco di plugin. Non sembra un modo semplice.

Ho provato a generare hash MD5 per entrambi i file. Quando gli hash sono identici, significa che il contenuto del file è lo stesso 1: 1?

Quando gli hash sono identici, significa che il contenuto del file è lo stesso 1: 1?

Tutti i file sono una raccolta di byte (valori 0-255). Se due hash MD5 di file corrispondono, entrambi questi insiemi di byte sono molto probabilmente identici (stesso ordine, stessi valori).

C'è una probabilità molto piccola che due file possano generare lo stesso MD5, che è un hash a 128 bit. La probabilità è:

La probabilità che solo due hash si scontrino accidentalmente è 1/2 ¹²⁸ che è 1 su 340 undecilioni 282 decilioni 366 nonillioni 920 ottilioni 938 settilioni 463 settilioni 463 quintilioni 374 quadrilioni 607 trilioni 431 miliardi 768 milioni 211 mila 456. (da una risposta su StackOverflow )

Gli hash sono pensati per funzionare in "una sola direzione", ovvero prendi un insieme di byte e ottieni un hash, ma non puoi prendere un hash e recuperare un insieme di byte.

La crittografia dipende da questo (è un modo in cui due cose possono essere confrontate senza sapere cosa siano.)

Intorno all'anno 2005, sono stati scoperti metodi per acquisire un hash MD5 e creare dati corrispondenti a tale hash per creare due documenti con lo stesso hash MD5 ( attacco di collisione ). Vedi il commento di @ user2357112 di seguito. Ciò significa che un utente malintenzionato può creare due eseguibili, ad esempio, che hanno lo stesso MD5 e, se dipendi da MD5 per determinare quale fidarsi, verrai ingannato.

Pertanto, MD5 non deve essere utilizzato per la crittografia o la sicurezza. Ad esempio, è negativo pubblicare un MD5 su un sito di download per garantire l'integrità del download. A seconda di un hash MD5 non ti sei generato per verificare che il contenuto dei file o dei dati sia ciò che vuoi evitare.

Se generi il tuo, sai di non essere dannoso con te stesso (si spera). Quindi, per il tuo uso, è OK, ma se vuoi che qualcun altro sia in grado di riprodurlo e desideri pubblicare pubblicamente l'hash MD5, dovrebbe essere usato un hash migliore.

Si noti che è possibile che due file Excel contengano gli stessi valori nelle stesse righe e colonne, ma che il bytestream del file sia completamente diverso a causa della diversa formattazione, stili, impostazioni, ecc.

Se si desidera confrontare i dati nel file, esportarli prima in CSV con le stesse righe e colonne, per eliminare tutta la formattazione, quindi eseguire l'hash o confrontare i CSV.

In pratica, sì, un hash crittografico identico significa che i file sono gli stessi, a condizione che i file non siano stati creati da un utente malintenzionato o da un'altra entità malevola. Le probabilità di collisioni casuali con qualsiasi funzione hash crittografica ben progettata sono così piccole da essere trascurabili nella pratica e in assenza di un attaccante attivo.

In generale, tuttavia, no, non possiamo dire che due file arbitrari con lo stesso hash significhino sicuramente che sono identici.

Il modo in cui funziona una funzione hash crittografica è quello di prendere un input di lunghezza arbitraria e di generare un valore di lunghezza fissa calcolato dall'input. Alcune funzioni hash hanno più lunghezze di output tra cui scegliere, ma l'output è ancora in una certa misura un valore di lunghezza fissa. Questo valore sarà lungo fino a poche decine di byte; gli algoritmi hash con il valore di output più lungo oggi in uso comune hanno un output a 512 bit e un output a 512 bit è 64 byte.

Se un input per una funzione hash è più lungo dell'output della funzione hash, è necessario rimuovere un po 'di fedeltà per adattare l'input all'output. Di conseguenza, devono esistere più input di lunghezze superiori alla lunghezza dell'output, che generano lo stesso output.

Prendiamo come esempio l'attuale cavallo di battaglia, SHA-256. Emette un hash di 256 bit o 32 byte. Se hai due file ciascuno lungo esattamente 32 byte, ma diversi, questi dovrebbero (presupponendo che non vi siano difetti nell'algoritmo) con hash su valori diversi, indipendentemente dal contenuto dei file; in termini matematici, l'hash è una funzione che mappa uno spazio di 2 ²⁵⁶ input su uno spazio di 2 ²⁵⁶ output, che dovrebbe essere possibile fare a meno delle collisioni. Tuttavia, se si dispone di due file ciascuno lungo 33 byte, deve esistere una combinazione di input che forniscono lo stesso valore hash di output a 32 byte per entrambi i file, poiché ora stiamo mappando uno spazio di input 2 ²⁶⁴ su un 2 ²⁵⁶spazio di uscita; qui, possiamo facilmente vedere che dovrebbero esistere, in media, 2 ⁸ ingressi per ogni singola uscita. Portalo oltre e con i file a 64 byte dovrebbero esistere 2 ²⁵⁶ input per ogni singolo output!

Le funzioni hash crittografiche sono progettate in modo tale che sia computazionalmente difficile comporre un input che dia un output particolare o comporre due input che danno lo stesso output. Questo è noto come resistenza all'attacco preimage o resistenza all'attacco di collisione . Non è impossibile trovare queste collisioni; è solo destinato a essere davvero, davvero, davvero difficile. (Un po 'di un caso speciale di un attacco di collisione è un attacco di compleanno .)

Alcuni algoritmi sono migliori di altri nel resistere agli attaccanti. L'MD5 è generalmente considerato completamente rotto in questi giorni, ma l'ultima volta che ho guardato, mostrava ancora una buona resistenza preimage . Anche SHA-1 è effettivamente rotto; gli attacchi pre-immagine sono stati dimostrati, ma richiedono condizioni specifiche, anche se non c'è motivo di credere che ciò accadrà indefinitamente; come dice il proverbio, gli attacchi migliorano sempre, non peggiorano mai. SHA-256/384/512 sono attualmente ancora ritenuti sicuri per la maggior parte degli scopi. Tuttavia , se sei solo interessato a vedere se due non maliziosi, validii file sono gli stessi, quindi ognuno di questi dovrebbe essere sufficiente, perché lo spazio di input è già sufficientemente limitato da interessarti maggiormente alle collisioni casuali. Se hai qualche motivo per credere che i file siano stati creati in modo dannoso, allora devi usare almeno una funzione di hash crittografica che si ritiene attualmente sicura, che pone la barra inferiore su SHA-256.

Il primo preimage è trovare un input che dia un valore hash di output specifico; la seconda preimage è trovare un input che dia lo stesso output di un altro input specificato; la collisione è trovare due input che producono lo stesso output, indipendentemente da ciò che è e talvolta senza considerare ciò che sono input.

Detto questo, è importante tenere presente che i file possono avere rappresentazioni di dati molto diversi e visualizzare comunque esattamente lo stesso. Quindi possono sembrare uguali anche se i loro hash crittografici non corrispondono, ma se gli hash corrispondono, è molto probabile che appaiano uguali.

È un gioco di probabilità ... gli hash sono in grado di rappresentare un numero finito di valori.

Se consideriamo un algoritmo di hashing a 8 bit ipotetico (e molto debole), questo può rappresentare 256 valori distinti. Quando inizi a eseguire i file tramite l'algoritmo, inizierai a eliminare gli hash ... ma in poco tempo inizierai a vedere " collisioni di hash ". Ciò significa che due diversi file sono stati inseriti nell'algoritmo e ha prodotto lo stesso valore hash del suo output. Chiaramente qui, l'hash non è abbastanza forte e non possiamo affermare che "i file con hash corrispondenti hanno lo stesso contenuto ".

L'estensione delle dimensioni dell'hash e l'utilizzo di algoritmi di hash crittografici più potenti può aiutare in modo significativo a ridurre le collisioni e aumentare la fiducia che due file con lo stesso hash abbiano lo stesso contenuto.

Detto questo, non possiamo mai raggiungere la certezza al 100%: non possiamo mai affermare con certezza che due file con lo stesso hash abbiano davvero lo stesso contenuto.

Nella maggior parte / molte situazioni questo va bene e il confronto degli hash è " abbastanza buono ", ma dipende dal modello di minaccia.

Alla fine, se hai bisogno di aumentare i livelli di certezza, ti consiglio di fare quanto segue:

1. Utilizzare algoritmi di hashing avanzati ( MD5 non è più considerato adeguato se è necessario proteggersi da utenti potenzialmente dannosi)
2. Utilizzare più algoritmi di hashing
3. Confronta le dimensioni dei file: un punto dati aggiuntivo può aiutare a identificare potenziali collisioni, ma nota che la collisione MD5 dimostrata non ha dovuto modificare la lunghezza dei dati.

Se devi essere sicuro al 100%, allora inizia con un hash, ma se gli hash corrispondono, seguilo con un confronto byte per byte dei due file.

Inoltre, come sottolineato da altri ... la complessità dei documenti prodotti da applicazioni come Word ed Excel significa che il testo, i numeri, il layout visibile possono essere gli stessi, ma i dati memorizzati nel file possono essere diversi.

Excel è particolarmente dannoso in questo: semplicemente aprendo un foglio di calcolo salvandolo (non aver fatto nulla ) è possibile produrre un nuovo file, con contenuto diverso.

Se due file hanno lo stesso hash MD5 e non sono stati entrambi appositamente realizzati, sono identici. Quanto sia difficile creare file con lo stesso hash MD5 dipende dal formato del file, non so quanto sia facile con i file Excel.

Quindi, se hai dei file che sono solo in giro e vuoi trovare duplicati, MD5 è sicuro. Se hai scritto uno dei file e l'altro è di dubbia origine, MD5 è ancora sicuro (l'unico modo per ottenere file diversi con lo stesso checksum MD5 è creare entrambi i file). Se qualcuno di cui non ti fidi ti invia una proposta di budget e in seguito invia un altro file che sostengono sia lo stesso, MD5 potrebbe non essere sufficiente.

Per evitare qualsiasi rischio, utilizzare SHA-256 o SHA-512 anziché MD5. Se due file hanno lo stesso hash SHA-256, sono identici. Lo stesso vale per SHA-512. (C'è una possibilità teorica che possano essere diverse, ma la probabilità che ciò accada accidentalmente è molto inferiore alla probabilità che il tuo computer si capovolga un po 'durante la verifica di quanto non sia rilevante. Per quanto riguarda qualcuno che elabora deliberatamente due file con lo stesso hash, nessuno sa come farlo per SHA-256 o SHA-512.)

Se due file Excel hanno hash diversi, allora sono diversi, ma non c'è modo di sapere da quanto differiscono. Potrebbero avere dati identici ma una formattazione diversa, oppure potrebbero differire solo nelle proprietà o potrebbero essere stati salvati da versioni diverse. In effetti, se Excel è qualcosa di simile a Word, il semplice salvataggio di un file ne aggiorna i metadati. Se desideri solo confrontare i dati numerici e di testo e ignorare la formattazione e le proprietà, puoi esportare i fogli di calcolo in CSV per confrontarli.

Se disponi di strumenti Unix / Linux disponibili, puoi utilizzare cmpper confrontare due file. Per confrontare due file sulla stessa macchina, i checksum rendono solo le cose più complicate.

Risposta breve: un hash crittografico dovrebbe aiutarti a essere ragionevolmente sicuro che i file con hash corrispondenti siano gli stessi. A meno che non sia stato creato deliberatamente, le possibilità di due file leggermente diversi con valori di hash simili sono ridicolmente ridotte. Ma quando si tratta di confrontare e verificare file che potrebbero essere deliberatamente manomessi, MD5 è una scelta sbagliata. (Usa un'altra funzione hash come SHA3 o BLAKE2.)

Risposta lunga: una funzione di hash ideale è quella che crea un hash crittografico quasi unico per ogni singolo pezzo di dati. In altre parole, sappiamo sicuramente che ci sono due file in questo universo i cui valori di hash si scontrano, la possibilità che questi due file si uniscano naturalmente è ridicolmente piccola.

Dieci anni fa, ho deciso di rimanere il più lontano possibile da MD5. (Certo, fino a ieri, mi sono ricordato della ragione sbagliata per farlo; dieci anni sono tanti, vedi. Ho rivisitato i miei memo passati per ricordare perché e ho modificato questa risposta.) Vedi, nel 1996, MD5 è stato trovato essere suscettibile agli attacchi di collisione. 9 anni dopo, i ricercatori sono stati in grado di creare coppie di documenti PostScript e (ouch!) Certificati X.509 con lo stesso hash! MD5 era chiaramente rotto. (Anche Megaupload.com utilizzava MD5 e c'erano molte collisioni tra hash e pacchiani che all'epoca mi davano problemi.)

Quindi, ho concluso che mentre MD5 era (ed è ancora) affidabile per il confronto di file benigni, si deve smettere di usarlo del tutto. Ho pensato che fare affidamento su di esso abbia il rischio di trasformarsi in indulgenza e falsa fiducia: una volta che inizi a confrontare i file usando i loro hash MD5, un giorno dimentichi la fine della sicurezza e confronti due file che sono stati deliberatamente creati per avere lo stesso hash. Inoltre, è improbabile che CPU e cryptoprocessor aggiungano supporto.

Il poster originale, tuttavia, ha ancora meno motivi per usare MD5, perché:

1. Finché uno confronta solo due file, il confronto byte per byte è in realtà più veloce della generazione dei propri hash MD5. Per confrontare tre o più file ... beh, ora hai una causa legittima.
2. L'OP ha specificato "modi per rivedere questo e senza installare un mucchio di plugin". Il comando Get-FileHash di Windows PowerShell può generare hash SHA1, SHA256, SHA384, SHA512 e MD5. Sui computer moderni con supporto hardware per le funzioni hash SHA, la loro generazione è più veloce.

Ho 2 documenti Excel e voglio verificare se sono esattamente gli stessi, a parte il nome del file.

Da una prospettiva pratica, il confronto diretto dei file per scoprire se sono diversi sarà più veloce rispetto al calcolo di un hash per ciascun file e quindi al confronto di tale hash.

Per calcolare gli hash devi leggere l'intero contenuto di entrambi i file.

Per determinare se sono identici attraverso un confronto diretto, devi solo leggere il contenuto di entrambi i file fino a quando non corrispondono. Una volta trovata la differenza, sai che i file non sono identici e non devi leggere altri dati da nessuno dei due file.

E prima di farlo, puoi semplicemente confrontare le dimensioni dei due file. se le dimensioni differiscono, il contenuto non può essere lo stesso.

Hash come MD5 o SHA hanno una lunghezza fissa, diciamo che sono 300 caratteri alfanumerici (in realtà sono più corti e non usano l'intero set di caratteri alfanumerici).

Diciamo che i file sono fatti di caratteri alfanumerici e di dimensioni fino a 2 GB.

Puoi facilmente vedere che ci sono molti più file (con dimensioni fino a 2 GB) rispetto ai possibili valori di hash. Il principio pigeonhole dice che alcuni (diversi) file devono avere gli stessi valori di hash.

Inoltre, come dimostrato su shattered.io ¹ , puoi avere due file diversi: shattered.io/static/shattered-1.pdf e shattered.io/static/shattered-2.pdf che hanno lo stesso valore hash SHA-1 pur essendo completamente differente.

¹ SHA1 è un algoritmo di hashing "più forte" di md5

NO. Valori diversi garantiscono che i file siano diversi. Gli stessi valori non sono garanzia che i file siano gli stessi. È relativamente facile trovare esempi usando CRC16.

A conti fatti, con gli schemi di hashing contemporanei sono gli stessi.

La tua domanda è al contrario, supponiamo che l'hash significhi che hanno gli stessi dati (che non è garantito al 100%, ma è abbastanza buono per una vita di confrontare i file ogni secondo per non colpire una collisione). Non ne consegue necessariamente che avere gli stessi dati significhi che avranno lo stesso hash. Quindi no: non è possibile confrontare i dati in un file Excel con i dati in un altro file Excel eseguendo l'hashing del file perché ci sono molti modi in cui due file possono differire senza che i dati sottostanti siano diversi. Un modo ovvio: i dati sono archiviati come XML, ogni cella ha il proprio nodo XML. Se tali nodi sono memorizzati in ordini diversi, i dati sono gli stessi ma il file è diverso.

Per aggiungere altre risposte, ecco alcuni esempi di coppie di file con lo stesso hash MD5 e contenuto diverso.

La risposta per questo PO è stata fornita ma potrebbe beneficiare di un riepilogo.

Se vuoi verificare se due file sono uguali, molto dipende dal fatto che i file e gli hash siano o meno sotto il tuo controllo.

Se generi tu stesso gli hash dai file e sei abbastanza sicuro che nessun altro abbia avuto opportunità / abilità / motivazione per provare deliberatamente a farti arrivare a una conclusione sbagliata, allora quasi tutti gli hash - anche gli hash "conosciuti rotti" come MD5 e SHA1 sono quasi certo di essere sufficiente. Ma questo, voglio dire, potresti generare file ad alta velocità per milioni di anni e sarebbe comunque improbabile che tu finisca con due file che sono effettivamente diversi ma hanno lo stesso hash. È quasi certamente sicuro.

Questo è lo scenario che hai, quando vuoi verificare rapidamente se due directory sul tuo PC o file server hanno lo stesso contenuto, se tutti i file in una directory sono duplicati esatti, ecc., E sei abbastanza sicuro che i file non abbiano è stato progettato / modificato illecitamente e ti fidi della tua app / utility di hashing per fornire risultati corretti.

Se ti trovi in ​​uno scenario in cui uno dei file - o un hash precalcolato - potrebbe essere stato manipolato o progettato per trarre in inganno una conclusione errata, allora hai bisogno di un hash più forte (ininterrotto) e / o di altra sicurezza. Ad esempio, se si scarica un file e si verifica se è valido esaminando un hash, un utente malintenzionato potrebbe essere in grado di progettare un file errato con l'hash corretto o attaccare il sito Web per posizionare un hash errato quando si cerca il "giusto " (valore atteso. Questo dipende da problemi di sicurezza più ampi.

Sulla riga di comando di Windows, è possibile utilizzare l' computilità per determinare se due file sono esattamente uguali. Per esempio:

comp fileone.xls filetwo.xls

Quando gli hash sono identici, significa che il contenuto del file è lo stesso 1: 1?

No. Se gli hash sono diverse, si fa mezzo che i contenuti sono diversi. Gli hashcode uguali non implicano lo stesso contenuto. Un hashcode è una riduzione di un dominio di grandi dimensioni a un intervallo più piccolo, per definizione: l'implicazione è che i codici hash su contenuto disuguale possono essere uguali. Altrimenti non avrebbe senso calcolarli.

_{Questa risposta vuole essere una comoda mappa di scenari che possono o non possono accadere e ragionamenti che puoi applicare. Consulta le altre risposte per scoprire perché le funzioni hash funzionano in questo modo.}

Dopo aver scelto una funzione hash e attenersi ad essa, queste sono tutte le combinazioni da considerare:

          |    identical   |   different    |
          |   hash values  |  hash values   |
----------+----------------+----------------+
identical |   can happen,  | cannot happen, |
  files   |     common     |   impossible   |
----------+----------------+----------------+
different |   can happen,  |   can happen,  |
  files   |      rare*     |     common     |
----------+----------------+----------------+

* rare, unless whoever generates (at least one of) the files
  purposely aims at this scenario

Lo scenario in cui file identici generano valori di hash diversi è l'unico che è assolutamente impossibile.

Due ragionamenti che si applicano sempre :

• Se i file sono identici, i valori di hash sono sicuramente identici .
• Se i valori di hash sono diversi, i file sono sicuramente diversi .

Due ragionamenti che non sono rigidi :

• Se i file sono diversi, probabilmente i valori di hash sono diversi.
• Se i valori di hash sono identici, probabilmente i file sono identici.

Per i tuoi scopi, sì, hash identici significano file identici.

Come altre risposte chiariscono, è possibile costruire 2 file diversi che generano lo stesso hash e MD5 non è particolarmente robusto in questo senso.

Quindi usa un algoritmo di hashing più forte se prevedi di confrontare un gran numero di documenti Excel o se pensi che qualcuno potrebbe voler manipolare il confronto. SHA1 è meglio di MD5. SHA256 è di nuovo migliore e dovrebbe darti completa fiducia per il tuo particolare utilizzo.

I file sono probabilmente identici se i loro hash sono identici. È possibile aumentare la sicurezza modificando entrambi i file in modo identico (ad esempio, inserire lo stesso valore nella stessa cella non utilizzata), quindi confrontando gli hash dei file modificati. È difficile creare una collisione deliberata per un file che viene modificato in un modo non noto in anticipo.

Diamo un'occhiata a questo in modo pratico. Invece di dire "gli hash sono identici" Dirò "Ho scritto un programma per computer che calcola gli hash di due file e stampa se sono uguali o no", e eseguo il programma con due file, e dice "identico". Ci sono diversi motivi per cui potrebbe farlo:

I file possono essere identici. Il mio codice potrebbe avere dei bug (uno che è effettivamente accaduto in pratica è stato il confronto di due hash lunghi (256 byte) non con memcmp ma con strcmp: il confronto restituirà "stesso" se il primo byte in ciascun hash è zero e la possibilità di ovvero 1 su 65536. Potrebbe esserci un errore hardware (raggio cosmico che colpisce una cella di memoria e la commuta). Oppure potresti avere il raro caso di due file diversi con hash identico (una collisione hash).

Direi che per file non identici, la causa di gran lunga più probabile è l'errore del programmatore, poi arriva il raggio cosmico che ha cambiato una variabile booleana con il risultato di confrontare gli hash da "falso" a "vero", e molto dopo la coincidenza di una collisione di hash.

Esistono sistemi di backup aziendali che evitano di eseguire il backup di file identici da 10.000 utenti eseguendo l'hashing di ciascun file e verificando la presenza di un file con un hash identico già memorizzato sul server. Quindi, in caso di collisione, non verrà eseguito il backup di un file, con conseguente perdita di dati. Qualcuno ha calcolato che è molto più probabile che un meteorite colpisca il tuo server e distrugga tutti i backup piuttosto che perdere un file perché il suo checksum corrispondeva a un altro file.