Codice hash e checksum: qual è la differenza?

La mia comprensione è che un codice hash e un checksum sono cose simili: un valore numerico, calcolato per un blocco di dati, che è relativamente unico.

cioè la probabilità che due blocchi di dati producano lo stesso valore di hash / checksum numerico è sufficientemente bassa da poter essere ignorata ai fini dell'applicazione.

Quindi abbiamo due parole per la stessa cosa o ci sono differenze importanti tra codici hash e checksum?

Direi che un checksum è necessariamente un hashcode . Tuttavia, non tutti i codici hash fanno buoni checksum.

Un checksum ha uno scopo speciale: verifica o controlla l'integrità dei dati (alcuni possono andare oltre consentendo la correzione degli errori ). I checksum "buoni" sono facili da calcolare e possono rilevare molti tipi di danneggiamento dei dati (ad esempio uno, due, tre bit errati).

Un codice hash descrive semplicemente una funzione matematica che mappa i dati su un valore. Quando viene utilizzato come mezzo di indicizzazione in strutture di dati (ad esempio una tabella hash), è desiderabile una bassa probabilità di collisione.

C'è uno scopo diverso dietro ciascuno di essi:

• Codice hash: progettato per essere casuale nel suo dominio (per ridurre al minimo le collisioni nelle tabelle hash e simili). Anche i codici hash crittografici sono progettati per essere computazionalmente impossibili da invertire.
• Check sum: progettato per rilevare gli errori più comuni nei dati e spesso per essere veloce da calcolare (per un checksum efficace di flussi di dati veloci).

In pratica, le stesse funzioni sono spesso buone per entrambi gli scopi. In particolare, un codice hash crittograficamente forte è un buon checksum (è quasi impossibile che un errore casuale interrompa una funzione hash forte), se ci si può permettere il costo computazionale.

Ci sono effettivamente alcune differenze:

• I checksum devono solo essere diversi quando l'input è diverso (il più spesso possibile), ma è quasi altrettanto importante che siano veloci da calcolare.
• I codici hash (da utilizzare nelle tabelle hash) hanno gli stessi requisiti e inoltre dovrebbero essere distribuiti uniformemente nello spazio del codice, soprattutto per input simili.
• Gli hash crittografici hanno il requisito molto più rigoroso che, dato un hash, non è possibile costruire un input che produca questo hash. I tempi di calcolo sono secondari e, a seconda dell'applicazione, potrebbe anche essere desiderabile che l'hash sia molto lento da calcolare (per combattere gli attacchi di forza bruta).

Gli hashcode e i checksum vengono entrambi utilizzati per creare un valore numerico breve da un elemento di dati. La differenza è che un valore di checksum dovrebbe cambiare, anche se viene apportata una piccola modifica all'elemento dati. Per un valore hash, il requisito è semplicemente che gli elementi di dati del mondo reale debbano avere valori hash distinti.

Un chiaro esempio sono le stringhe. Un checksum per una stringa dovrebbe includere ogni singolo bit e l'ordine è importante. Un codice hash d'altra parte può spesso essere implementato come un checksum di un prefisso di lunghezza limitata. Ciò significherebbe che "aaaaaaaaaaba" avrebbe lo stesso hash di "aaaaaaaaaaab", ma gli algoritmi di hash possono affrontare tali collisioni.

Wikipedia lo mette bene:

Le funzioni di checksum sono correlate a funzioni hash, impronte digitali, funzioni di randomizzazione e funzioni hash crittografiche. Tuttavia, ciascuno di questi concetti ha applicazioni diverse e quindi obiettivi di progettazione diversi. Le cifre di controllo e i bit di parità sono casi speciali di checksum, appropriati per piccoli blocchi di dati (come numeri di previdenza sociale, numeri di conto bancario, parole del computer, singoli byte, ecc.). Alcuni codici di correzione degli errori si basano su checksum speciali che non solo rilevano errori comuni, ma consentono anche il ripristino dei dati originali in determinati casi.

Un checksum protegge da modifiche accidentali.

Un hash crittografico protegge da un aggressore molto motivato.

Quando si inviano bit in rete, può accadere accidentalmente che alcuni bit vengano capovolti, eliminati o inseriti. Per consentire al destinatario di rilevare (o talvolta correggere) incidenti come questo, il mittente utilizza un checksum.

Ma se si presume che ci sia qualcuno che sta modificando attivamente e in modo intelligente il messaggio in rete e si desidera proteggersi da questo tipo di aggressore, utilizzare un hash crittografico (sto ignorando la firma crittografica dell'hash, o utilizzando un canale secondario o simile, poiché la domanda non sembra sfuggire a questo).

Sebbene hash e checksum siano simili in quanto entrambi creano un valore in base al contenuto di un file, l'hashing non è la stessa cosa che creare un checksum. Un checksum ha lo scopo di verificare (controllare) l'integrità dei dati e identificare gli errori di trasmissione dei dati, mentre un hash è progettato per creare un'impronta digitale univoca dei dati.

Fonte: CompTIA ® Security + Guide to Network Security Fundamentals - Quinta edizione - Mark Ciampa -Pagina 191

Oggigiorno sono intercambiabili, ma un tempo un checksum era una tecnica molto semplice in cui si sommavano tutti i dati (di solito in byte) e si aggiungeva un byte alla fine con quel valore in .. allora si spera sapere se qualcuno dei dati originali era stato danneggiato. Simile a un bit di controllo, ma con byte.

La differenza tra codice hash e funzioni di checksum è che sono state progettate per scopi diversi.

• Un checksum viene utilizzato per scoprire se qualcosa nell'input è cambiato.

• Un codice hash viene utilizzato per scoprire se qualcosa nell'input è cambiato e per avere quanta più "distanza" possibile tra i singoli valori del codice hash.

  Inoltre, potrebbero esserci ulteriori requisiti per una funzione hash, in opposizione a questa regola, come la capacità di formare alberi / cluster / bucket di valori di codice hash in anticipo.

  E se si aggiunge un po 'di randomizzazione iniziale condivisa, si arriva al concetto di crittografia / scambi di chiavi moderni.

Informazioni sulla probabilità:

Ad esempio, supponiamo che i dati di input effettivamente cambino sempre (il 100% delle volte). E supponiamo di avere una funzione hash / checksum "perfetta", che genera un valore hash / checksum a 1 bit. Pertanto, otterrai diversi valori hash / checksum, il 50% delle volte, per dati di input casuali.

• Se è cambiato esattamente 1 bit nei dati di input casuali, sarai in grado di rilevarlo il 100% delle volte, indipendentemente dalla grandezza dei dati di input.

• Se 2 bit nei tuoi dati di input casuali sono cambiati, la tua probabilità di rilevare "una modifica" è divisa per 2, perché entrambe le modifiche potrebbero neutralizzarsi a vicenda e nessuna funzione hash / checksum rileverebbe che 2 bit sono effettivamente diversi nei dati di input .

  ...

Ciò significa che, se il numero di bit nei dati di input è più volte maggiore del numero di bit nel valore hash / checksum, la probabilità di ottenere effettivamente valori hash / checksum diversi, per valori di input diversi, viene ridotta e non è un valore costante .

Tendo a usare la parola checksum quando mi riferisco al codice (numerico o altro) creato per un file o un pezzo di dati che può essere utilizzato per verificare che il file oi dati non siano stati danneggiati. L'utilizzo più comune in cui mi imbatto è controllare che i file inviati attraverso la rete non siano stati alterati (deliberatamente o meno).

In Redis cluster data sharding, usa a hash slotper decidere quale nodo va. Prendi ad esempio l'operazione modulo di seguito:

123 % 9 = 6
122 % 9 = 5
141 % 9 = 6

La 6arriva due volte attraverso ingressi differenti. Lo scopo dell'hash è semplicemente mappare un valore di input su un valore di output e l'unicità non fa parte dell'accordo. Quindi due input diversi che producono lo stesso output vanno bene nel mondo degli hash.

Un checksum, d'altra parte, deve differire l'output anche se un bit nell'ingresso cambia perché il suo scopo non è quello di mappare, ma di rilevare il danneggiamento dei dati. Quindi due diversi input che producono lo stesso output non sono accettabili in un checksum.

Un checksum è semplicemente un numero generato dal campo dati mediante oring (per addizione logica, quindi somma). Il checksum ha la capacità di rilevare un danneggiamento di qualsiasi bit o numero di bit all'interno del campo dati da cui è generato, cioè controlla gli errori che è tutto, non può correggerli. Un checksum è un hash perché la dimensione del checksum è inferiore ai dati originali. Sì, avrai delle collisioni perché il checksum non è affatto sensibile alla posizione del bit nel campo dati.

Un controllo di ridondanza ciclico (CRC) è qualcosa di completamente diverso, più complesso e NON è chiamato checksum. È l'applicazione di una serie polinomiale che ha la capacità di correggere qualsiasi numero scelto di singoli bit danneggiati all'interno del campo dati da cui è stato generato. La creazione di un CRC si traduce in un numero di dimensioni maggiori rispetto al campo dati originale (a differenza del checksum) - da qui il nome che include la parola "ridondanza" e il prezzo da pagare per la capacità di correzione degli errori. Un CRC NON è quindi un hash e non deve essere confuso o denominato come checksum, perché la ridondanza si aggiunge necessariamente alla dimensione dei dati originali.