(Quando) è la ricerca della tabella hash O (1)?

71

Si dice spesso che la ricerca della tabella hash funzioni in tempo costante: si calcola il valore hash, che fornisce un indice per una ricerca di array. Eppure questo ignora le collisioni; nel peggiore dei casi, ogni oggetto atterra nello stesso bucket e il tempo di ricerca diventa lineare ( ). $\Theta(n)$

Esistono condizioni sui dati che possono fare davvero la ricerca della tabella hash ? È solo in media o una tabella hash può avere una ricerca nel caso peggiore di ? $O(1)$ $O(1)$

Nota: sto venendo dal punto di vista di un programmatore qui; quando conservo i dati in una tabella hash, sono quasi sempre stringhe o alcune strutture di dati compositi e i dati cambiano durante la vita della tabella hash. Quindi, mentre apprezzo le risposte sugli hash perfetti, sono carini ma aneddotici e non pratici dal mio punto di vista.

Follow-up PS: per quale tipo di dati sono le operazioni della tabella hash O (1)?

— Gilles 'SO- smetti di essere malvagio'
fonte

3

Riesci a vivere con

tempo di accesso ammortizzato? In generale, le prestazioni della tabella hash dipenderanno fortemente da quanto sovraccarico per gli hashtabili sparsi che si è disposti a tollerare e da come vengono distribuiti i valori di hash effettivi.

O (1)

$\cal{O}(1)$

— Raffaello

5

Oh, btw: puoi evitare il comportamento lineare nel caso peggiore usando alberi di ricerca (bilanciati) anziché elenchi.

— Raffaello

1

@Raphael Sarei molto interessato a una risposta che spieghi (in linea di massima) quando posso contare su

ammortizzato e quando non posso. Per quanto riguarda come sono distribuiti i valori di hash, questo fa davvero parte della mia domanda: come posso sapere? So che le funzioni hash dovrebbero distribuire bene i valori; ma se lo facessero sempre, il caso peggiore non verrebbe mai raggiunto, il che non ha senso.

O (1)

$O(1)$

— Gilles 'SO- smetti di essere malvagio' il

1

Fai anche attenzione all'ottimizzazione prematura; per dati piccoli (diverse migliaia di elementi) ho spesso visto alberi binari bilanciati

sovraperformare gli hashtable a causa di un sovraccarico più basso (i confronti delle stringhe sono molto più economici degli hash delle stringhe).

O (\log n)

$O(\log n)$

— è

Continuiamo questa discussione in chat .

— Raffaello

41

Esistono due impostazioni in base alle quali è possibile ottenere casi peggiori. $O(1)$

Se la tua configurazione è statica, l'hash di FKS ti darà garanzie caso peggiore . Ma come hai indicato, l'impostazione non è statica. $O(1)$
Se si utilizza l'hash del cuculo, le query e le eliminazioni sono caso peggiore, ma è previsto solo l'inserimento di . L'hashing del cuculo funziona abbastanza bene se si ha un limite superiore sul numero totale di inserti e si imposta la dimensione della tabella in modo che sia più grande di circa il 25%. $O(1)$ $O(1)$

Ci sono maggiori informazioni qui .

— Suresh
fonte

3

Potresti espandere su FKS e Cuckoo? Entrambi i termini sono nuovi per me.

— Gilles 'SO-smetti di essere malvagio' il

1

Che dire dell'hashing dinamico perfetto? Ha

ricerche nel caso peggiore e

ammortizzato inserimento e cancellazione. ( citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.30.8165 )

O (1)

$O(1)$

O (1)

$O(1)$

— Joe

2

Le FKS sono le iniziali di (Fredman, Komlós, Szemerédi) e il cuculo è il nome di una specie di brid. È utilizzato per questo tipo di hashing, perché i pulcini a cucù spingono le uova di sibilings fuori dal nido. Questo assomiglia in qualche modo al funzionamento di questo metodo hasing.

— uli

1

@Suresh: Davvero? Ho pensato che avessi bisogno di funzioni indipendenti da

, che ho sempre associato alla necessità di espansori. Sono corretto. Eliminerò il mio commento tra poco.

\log n

$\log n$

— Louis,

1

Per fare un commento più utile su questa risposta, come sottolinea @Suresh, l'hash del cuculo funzionerà bene senza le fantasiose (e grandi) funzioni di hash utilizzate per analizzarlo teoricamente.

— Louis,

21

Questa risposta riassume parti di TAoCP Vol 3, Cap 6.4.

Supponiamo di avere un insieme di valori , di cui vogliamo memorizzare in un array di dimensioni . Utilizziamo una funzione hash ; tipicamente, . Chiamiamo $V$ $n$ $A$ $m$ $h : V \to [0..M)$ $M \ll |V|$ ilfattore di caricodi. Qui, assumeremo il naturale; in scenari pratici, abbiamo, tuttavia, e dobbiamo mappare pernoi stessi. $\alpha = \frac{n}{m}$ $A$ $m=M$ $m \ll M$ $m$

La prima osservazione è che anche se ha caratteristiche uniformi¹, la probabilità che due valori abbiano lo stesso valore di hash è alta; questo è essenzialmente un esempio del famigerato paradosso del compleanno . Pertanto, di solito dovremo affrontare i conflitti e possiamo abbandonare la speranza del tempo di accesso nel caso peggiore . $h$ $\mathcal{O}(1)$

E il caso medio, però? Supponiamo che ogni chiave di verifichi con la stessa probabilità. Il numero medio di voci selezionate (ricerca riuscita) risp. (ricerca non riuscita) dipende dal metodo di risoluzione dei conflitti utilizzato. $[0..M)$ $C_n^S$ $C_n^U$

chaining

Ogni voce dell'array contiene (un puntatore alla testa di) un elenco collegato. Questa è una buona idea perché la lunghezza dell'elenco prevista è ridotta ( ) anche se la probabilità di avere collisioni è alta. Alla fine, otteniamo $\frac{n}{m}$ Questo può essere leggermente migliorato memorizzando gli elenchi (parzialmente o completamente) all'interno della tabella.

C_{n}^{S} \approx 1 + \frac{α}{2} and C_{n}^{U} \approx 1 + \frac{α^{2}}{2} .

$C_n^S \approx 1 + \frac{\alpha}{2} \quad \text{ and } \quad C_n^U \approx 1 + \frac{\alpha^2}{2} .$

Analisi lineare

$v$

h (v), h (v) - 1, \dots, 0, m - 1, \dots, h (v) + 1

$h(v), h(v)-1,\dots,0,m-1,\dots,h(v)+1$

v

$v$

α \to 1

$\alpha \to 1$

C_{n}^{S} \approx \frac{1}{2} (1 + \frac{1}{1 - α}) and C_{n}^{U} \approx \frac{1}{2} (1 + {(\frac{1}{1 - α})}^{2}) .

$C_n^S \approx \frac{1}{2}\left(1 +\frac{1}{1-\alpha}\right) \quad \text{ and } \quad C_n^U \approx \frac{1}{2}\left(1 +\left(\frac{1}{1-\alpha}\right)^2\right).$

α < 0.75

$\alpha < 0.75$

Doppio hash

$M$

C_{n}^{S} \approx \frac{1}{α} \ln (\frac{1}{1 - α}) and C_{n}^{U} \approx \frac{1}{1 - α} .

$C_n^S \approx \frac{1}{\alpha}\ln\left(\frac{1}{1-\alpha}\right)\quad \text{ and } \quad C_n^U \approx \frac{1}{1-\alpha} .$

Si noti che la rimozione di elementi da e l'estensione di tabelle presenta vari gradi di difficoltà per i rispettivi metodi.

$\mathcal{O}(1)$ $\alpha$ $h$

$h$
Hashtable

— Raffaello
fonte

10

$S$ $\{0, 1, 2, ..., n\}$ $O(1)$ $O(1)$ $l$ $S$ $l$ $x$ $x \in S$ $O(|l|)$ $S$ $O(|S|)$ $O(|l| + |S|)$ $O(|l||S|)$ $O(\log(|l|)|S|)$ $O(|l|)$ $l$

$O(|l|)$

$l$ $U \subset \mathbb{N}$ $S \subseteq U$ $x \in S$ $l$ $l$ $h: U \rightarrow \{true, false\}$ $h$ $h(x) = false$ $x \in U$ $y$ $l$ $h(y) = true$ $O(|l|)$ $O(|U|)$

$l$ $O(|U|)$ $O(|1|)$ $O(|U|)$

$U$ $h$

— Patrick87
fonte

O (| l |)

$O(|l|)$

O (| S |)

$O(|S|)$

O (| l | \cdot | S |)

$O(|l|\cdot|S|)$

h

$h$

h : U \to {f a l s e, t r u e}

$h:U\to\{\mathrm{false},\mathrm{true}\}$

h

$h$

@Gilles Fondamentalmente viene utilizzato solo come tabella di ricerca per l'appartenenza alla lista. Quando hai una funzione hash perfetta con un inverso noto ed economico, invece di memorizzare l'oggetto stesso, devi solo memorizzare 1 bit (se è stato aggiunto l'oggetto con l'hash univoco). Se sono possibili collisioni, penso che fare questo sia indicato come un filtro Bloom, ma in ogni caso può fornire un "no" definito alla questione dell'appartenenza, che è comunque utile in molti scenari.

— Patrick87

9

$\cal{O}(1)$

$\cal{O}(1)$ $\cal{O}(1)$ $\cal{O}(1)$ $\cal{O}(1)$

— Nicholas Meyer
fonte

Una funzione hash perfetta sarebbe perfetta, ma come posso ottenerne una? Quanto mi costerà? E come faccio a sapere qual è il numero massimo o previsto di collisioni?

— Gilles 'SO- smetti di essere malvagio' il

2

@Gilles una funzione di hash perfetta è qualsiasi funzione che produrrà un hash unico per tutti gli input possibili. Se i tuoi possibili input sono limitati (e unici), questo è facile da fare.

— Rafe Kettler,

1

@RafeKettler I miei input sono in genere stringhe o strutture dati composte e di solito aggiungo e rimuovo le voci man mano che i miei dati si evolvono. Come posso creare un hash perfetto per questo?

— Gilles 'SO- smetti di essere malvagio'

4

Sì, ma questo è il punto. Una funzione hash deterministica perfetta non esiste se il dominio è più grande dell'intervallo.

— Suresh

@Suresh: se ti è permesso scegliere una nuova funzione hash e aumentare le dimensioni della tabella ogni volta che c'è una collisione, puoi sempre trovare una funzione hash (deterministica) che - per i dati già nella tabella più quella nuova oggetto che stai cercando di inserire - non ha collisioni (è "perfetto"). Questo è il motivo per cui l' hash dinamico dinamico sceglie periodicamente una nuova funzione di hash casuale.

— David Cary,