Corrispondenza parziale del nome in milioni di record

Abbiamo sviluppato un'applicazione basata sul Web per la corrispondenza dei nomi. Funziona suddividendo i nomi in parti e il valore Soundex di ciascuna parte viene archiviato in un database. La metrica della distanza Levenshtein viene utilizzata per applicare la corrispondenza percentuale del suono e l'ortografia rispetto a un determinato nome.

In fase di esecuzione, cariciamo tutti i record in memoria e applichiamo la distanza di Levenshtein a tutti i valori di Soundex e l'ortografia di tutte le parti di tutti i nomi.

All'inizio funzionava bene perché c'erano al massimo 20 mila nomi, ma ora uno dei nostri clienti ha 30 milioni di nomi. Caricare questo enorme elenco in memoria per ogni richiesta e applicare questo tipo di corrispondenza è un approccio patetico, usando molta memoria e tempi di esecuzione.

Siamo alla ricerca di suggerimenti per la ricerca nel database di 30 milioni di record o più nel prossimo futuro con una corrispondenza percentuale di suoni e ortografia.

Funzionalità di base

L'utente finale inserisce il nome da abbinare e la percentuale minima. Dovremmo mostrare tutti quei nomi nel database per i quali ogni parte del nome corrisponde a qualsiasi parte del nome dato fino alla percentuale indicata. Il nome completo non deve essere abbinato, qualsiasi parte se corrisponde alla percentuale è un successo. Per esempio.

Given Name: Helen Hunt
Name in DB: Holly Hunter 

Entrambe le parti di entrambi i nomi non corrispondono esattamente ma fino a un certo punto, ipotizziamo l'80%, quindi se l'utente immette l'80%, il nome nel DB deve essere mostrato come nome corrispondente.

Senza conoscere i dettagli completi di ciò di cui hai bisogno, probabilmente vorrai fare una delle seguenti operazioni:

• Utilizza uno strumento di ricerca esistente, come Sphinx o Lucene
• Esegue la corrispondenza approssimativa n-grammo

Non so bene cosa comporta l'installazione e la configurazione della sfinge; ma ho l'impressione che tu possa puntarlo a un database, dirgli quali campi indicizzare, come ponderare i risultati e ti darà un elenco ordinato di record corrispondenti.

Per argomenti rivolti all'utente o mission-critical, utilizza uno strumento di ricerca esistente.

Se ti senti solo accademico ... Gioca con gli ngram:

Una tabella di ricerca di ngram può servire da insieme iniziale di potenziali corrispondenze e puoi usare le distanze di Levenshtein per potare e ordinare i risultati.

Supponendo che tu voglia cercare people, potresti fare qualcosa del tipo:

_ people _________
personId: int
name: varchar
soundex_name: varchar

_ people_ngrams __
personId: int
ngramId: int

_ ngrams _________
ngramId: int
ngram: char(3)
count: int

Puoi periodicamente ricostruire i tuoi ngram o costruirli al volo. Ad ogni modo, un algoritmo di ricerca semplice e ingenuo può apparire così:

search_ngrams = ngrammify(soundex(search_string));

notable_ngrams = select top 10 *
  from ngrams
  where ngram in (search_ngrams)
  order by count asc;

possible_matches = select top 1000 distinct people.*
  from people_ngrams, people
  where ngramId in (notable_ngrams);

best_matches = top 100 possible_matches
  ordered by Levenshtein_distance(match, soundex(search_string));

Usando qualcosa di abbastanza simile a questo (ma con un po 'più di sintonizzazione "popolarità" ngram, blacklist, whitelist, ecc.), Ho visto questo tipo di algoritmo unire confusamente i record tra set di dati in blocco, oltre a facilitare la ricerca fuzzy personalizzata programmi di utilità per la de-duplicazione delle registrazioni in corso.

Ora, nel mio caso, non stavo abbinando milioni di record, stavo cercando di selezionare le migliori fusioni possibili tra due set di dati nell'ordine di centinaia di migliaia di record ciascuno. E volevamo che funzionasse abbastanza rapidamente - in pochi minuti. (Veloce, cosa sono 100.000 * 100.000?) E abbiamo avuto successo.

Quindi, con la giusta sintonia, questo genere di cose può essere scattante ed efficace. Alla fine siamo stati in grado di produrre in pochi minuti un set unito su una macchina umile, datata, dual core, con fusioni "discutibili" contrassegnate automaticamente per la revisione manuale. Ma, ci è voluto molto tempo per trovare il punto debole di popolarità / rilevanza ngram e le giuste soglie di distanza stringa, le liste nere e le whitelist ... ecc.

Detto questo , puoi davvero essere risucchiato in un buco lavorando su questa roba. Per qualsiasi materiale a livello di produzione nel mondo reale, dovresti generalmente utilizzare uno strumento ben consolidato che è già stato creato e ottimizzato per questo tipo di ricerca.

Come Sfinge o Lucene .