In che modo la corrispondenza fuzzy degli indirizzi postali?

Vorrei sapere come abbinare gli indirizzi postali quando il loro formato differisce o quando uno di essi è scritto male.

Finora ho trovato diverse soluzioni, ma penso che siano piuttosto vecchie e non molto efficienti. Sono sicuro che esistono alcuni metodi migliori, quindi se hai dei riferimenti da leggere, sono sicuro che è un argomento che potrebbe interessare diverse persone.

La soluzione che ho trovato (gli esempi sono in R):

• Distanza di Levenshtein, che equivale al numero di caratteri che devi inserire, eliminare o modificare per trasformare una parola in un'altra.

  agrep("acusait", c("accusait", "abusait"), max = 2, value = TRUE) ## [1] "accusait" "abusait"

• Il confronto dei fonemi

  library(RecordLinkage) soundex(x<-c('accusait','acusait','abusait')) ## [1] "A223" "A223" "A123"

• L'uso di un correttore ortografico (alla fine uno bayesiano come quello di Peter Norvig) , ma non molto efficiente sull'indirizzo, credo.

• Ho pensato di utilizzare i suggerimenti di Google suggeriti, ma allo stesso modo, non è molto efficiente sugli indirizzi postali personali.

• Puoi immaginare di utilizzare un approccio supervisionato di apprendimento automatico, ma devi aver archiviato le richieste errate degli utenti per farlo, che non è un'opzione per me.

Mentre stai usando R, potresti voler esaminare il pacchetto stringdist e la metrica della distanza Jaro-Winkler che può essere utilizzata nei calcoli. Questo è stato sviluppato presso l'US Census Bureau per il collegamento.

Vedere per ulteriori informazioni sulla distanza Jaro e Jaro-Winkler in questo diario .

Per un confronto tra diverse tecniche di abbinamento, leggi questo documento

Ci sono molti modi intelligenti per estendere la distanza di Levenshtein per dare un quadro più completo. Una breve introduzione a un modulo piuttosto utile (per Python) chiamato ' Fuzzy Wuzzy ' è qui dal team di SeatGeek.

Un paio di cose che puoi fare è la somiglianza parziale della stringa (se hai stringhe di lunghezza diversa, ad esempio m & n con m <n), allora abbini solo per i caratteri m. Puoi anche separare la stringa in token (singole parole) e vedere come i set di token corrispondono o disporli in ordine alfabetico e ordinarli.

Un'altra tecnica popolare per il rilevamento di corrispondenze di stringhe parziali (sebbene in genere a livello di documento) è lo shingling . In sostanza si tratta di un approccio a finestra mobile che estrae un insieme di n-grammi per la parola / documento target e li confronta con gli insiemi di n-grammi per altre parole / documenti tramite il coefficiente di Jaccard . Manning e colleghi (2008) discutono vicino ai duplicati e allo shingling nel contesto del recupero informativo.

Ho scritto un generico fuzzy matcher fuzzy in Python che farà un ragionevole lavoro di abbinamento di qualsiasi tipo di dati:

https://github.com/robinl/fuzzymatcher

È in memoria, quindi probabilmente non vuoi usarlo per abbinare set di dati che sono sopra circa 100k righe.

Ho anche scritto un progetto simile specifico per gli indirizzi del Regno Unito, ma questo presuppone che tu abbia accesso a Addressbase Premium. Questo non è in memoria, quindi è stato usato contro i 100m circa di indirizzi nel Regno Unito. Vedere qui:

https://github.com/RobinL/AddressMatcher

Se vuoi che questo accada rapidamente, ti consiglio di usare libpostal per normalizzare i tuoi indirizzi e poi inserirli nel mio fuzzymatcher generico ( pip install fuzzymatcher).

Puoi trovare esempi di utilizzo qui .