Che cos'è una buona funzione hash?

Cos'è una buona funzione Hash? Ho visto molte funzioni di hash e applicazioni nei miei corsi di strutture di dati al college, ma per lo più ho capito che è abbastanza difficile fare una buona funzione di hash. Come regola generale per evitare le collisioni il mio professore ha affermato che:

function Hash(key)
  return key mod PrimeNumber
end

(mod è l'operatore% in C e lingue simili)

con il numero primo per essere la dimensione della tabella hash. Capisco che sia una buona funzione per evitare le collisioni e una veloce, ma come posso fare una migliore? Esistono funzioni hash migliori per i tasti stringa rispetto ai tasti numerici?

Per fare ricerche di tabelle hash "normali" praticamente su qualsiasi tipo di dato, questo di Paul Hsieh è il migliore che abbia mai usato.

http://www.azillionmonkeys.com/qed/hash.html

Se ti interessa la sicurezza crittografica o qualsiasi altra cosa più avanzata, allora YMMV. Se vuoi solo una funzione hash per scopi generici per una ricerca nella tabella hash, allora questo è quello che stai cercando.

Non esiste una "buona funzione di hash" per gli hash universali (a cura di sì, lo so che esiste una cosa come "hashing universale", ma non è quello che intendevo). A seconda del contesto, diversi criteri determinano la qualità di un hash. Due persone hanno già menzionato SHA. Questo è un hash crittografico e non è affatto buono per le tabelle hash che probabilmente intendi.

Le tabelle hash hanno requisiti molto diversi. Tuttavia, trovare una buona funzione di hash universalmente è difficile perché diversi tipi di dati espongono informazioni diverse che possono essere hash. Come regola generale, è bene considerare tutte le informazioni che un tipo detiene equamente. Questo non è sempre facile o addirittura possibile. Per motivi statistici (e quindi di collisione), è anche importante generare una buona diffusione nello spazio problematico, ovvero tutti gli oggetti possibili. Ciò significa che quando si esegue l'hashing di numeri tra 100 e 1050 non è utile lasciare che la cifra più significativa giochi un ruolo importante nell'hash perché per circa il 90% degli oggetti, questa cifra sarà 0. È molto più importante lasciare che gli ultimi tre le cifre determinano l'hash.

Allo stesso modo, quando si utilizzano le stringhe di hashing è importante considerare tutti i caratteri, tranne quando si sa in anticipo che i primi tre caratteri di tutte le stringhe saranno uguali; considerando questi quindi è uno spreco.

Questo è in realtà uno dei casi in cui consiglio di leggere ciò che Knuth ha da dire in The Art of Computer Programming , vol. 3. Un'altra buona lettura è The Art of Hashing di Julienne Walker .

Esistono due scopi principali delle funzioni di hashing:

• per disperdere i punti dati in modo uniforme in n bit.
• per identificare in modo sicuro i dati di input.

È impossibile raccomandare un hash senza sapere per cosa lo stai usando.

Se stai solo creando una tabella hash in un programma, non devi preoccuparti di quanto l'algoritmo sia reversibile o hackerabile ... SHA-1 o AES non sono assolutamente necessari per questo, sarebbe meglio usare una variazione di FNV . FNV ottiene una migliore dispersione (e quindi un minor numero di collisioni) rispetto a una semplice mod principale come hai menzionato, ed è più adattabile a dimensioni di input variabili.

Se stai usando gli hash per nascondere e autenticare le informazioni pubbliche (come l'hashing di una password o un documento), allora dovresti usare uno dei principali algoritmi di hash controllati dal controllo pubblico. La Hash Function Lounge è un buon punto di partenza.

Questo è un esempio di buono e anche un esempio del perché non vorresti mai scriverne uno. È un hash Fowler / Noll / Vo (FNV) che è uguale genio dell'informatica e puro voodoo:

unsigned fnv_hash_1a_32 ( void *key, int len ) {
    unsigned char *p = key;
    unsigned h = 0x811c9dc5;
    int i;

    for ( i = 0; i < len; i++ )
      h = ( h ^ p[i] ) * 0x01000193;

   return h;
}

unsigned long long fnv_hash_1a_64 ( void *key, int len ) {
    unsigned char *p = key;
    unsigned long long h = 0xcbf29ce484222325ULL;
    int i;

    for ( i = 0; i < len; i++ )
      h = ( h ^ p[i] ) * 0x100000001b3ULL;

   return h;
}

Modificare:

• Landon Curt Noll raccomanda sul suo sito l'algoritmo FVN-1A rispetto all'algoritmo FVN-1 originale: l'algoritmo migliorato disperde meglio l'ultimo byte nell'hash. Ho modificato l'algoritmo di conseguenza.

Direi che la regola empirica principale è quella di non creare il tuo. Prova a usare qualcosa che è stato accuratamente testato, ad esempio SHA-1 o qualcosa del genere.

Una buona funzione hash ha le seguenti proprietà:

1. Dato un hash di un messaggio, non è fattibile dal punto di vista computazionale per un attaccante trovare un altro messaggio in modo tale che i loro hash siano identici.

2. Data una coppia di messaggi, m 'e m, è computazionalmente impossibile trovarne due tali che h (m) = h (m')

I due casi non sono uguali. Nel primo caso, esiste un hash preesistente per il quale stai cercando di trovare una collisione. Nel secondo caso, si sta cercando di trovare eventuali due messaggi che si scontrano. Il secondo compito è notevolmente più semplice grazie al "paradosso" del compleanno.

Laddove le prestazioni non sono un problema così grande, dovresti sempre usare una funzione hash sicura. Ci sono attacchi molto intelligenti che possono essere eseguiti forzando le collisioni in un hash. Se usi qualcosa di forte fin dall'inizio, ti proteggerai da questi.

Non utilizzare MD5 o SHA-1 in nuovi progetti. La maggior parte dei crittografi, me compreso, li considererebbe rotti. La principale fonte di debolezza in entrambi questi progetti è che la seconda proprietà, che ho delineato sopra, non vale per queste costruzioni. Se un utente malintenzionato può generare due messaggi, m e m ', entrambi con lo stesso valore, possono usare questi messaggi contro di te. SHA-1 e MD5 soffrono anche di attacchi di estensione dei messaggi, che possono fatalmente indebolire l'applicazione se non stai attento.

Un hash più moderno come Whirpool è una scelta migliore. Non soffre di questi attacchi di estensione dei messaggi e utilizza la stessa matematica utilizzata da AES per dimostrare la sicurezza contro una varietà di attacchi.

Spero che aiuti!

Quello che stai dicendo qui è che vuoi averne uno che abbia resistenza alla collisione. Prova a usare SHA-2. Oppure prova a utilizzare un (buon) codice di blocco in una funzione di compressione a senso unico (mai provato prima), come AES in modalità Miyaguchi-Preenel. Il problema è che è necessario:

1) avere un IV. Prova a usare i primi 256 bit delle parti frazionarie della costante di Khinchin o qualcosa del genere. 2) avere uno schema di imbottitura. Facile. Barrow da un hash come MD5 o SHA-3 (Keccak [pronunciato 'ket-chak']). Se non ti interessa la sicurezza (pochi altri lo hanno detto), guarda FNV o lookup2 di Bob Jenkins (in realtà sono il primo a consigliare lookup2) Prova anche MurmurHash, è veloce (controlla questo: .16 cpb ).