Quale algoritmo viene in genere utilizzato quando si implementa un controllo ortografico accompagnato da suggerimenti di parole?
All'inizio ho pensato che potesse avere senso controllare ogni nuova parola digitata (se non trovata nel dizionario) rispetto alla sua distanza di Levenshtein da ogni altra parola nel dizionario e restituire i risultati migliori. Tuttavia, sembra che sarebbe altamente inefficiente, dovendo valutare ripetutamente l'intero dizionario.
Come viene fatto in genere?
Risposte:
C'è un buon saggio di Peter Norvig su come implementare un correttore ortografico. È fondamentalmente un approccio di forza bruta che prova le stringhe candidate con una determinata distanza di modifica. ( Ecco alcuni suggerimenti su come migliorare le prestazioni del correttore ortografico utilizzando un filtro Bloom e un hashing candidato più veloce .)
I requisiti per un controllo ortografico sono più deboli. Devi solo scoprire che una parola non è nel dizionario. Puoi utilizzare un filtro Bloom per creare un correttore ortografico che consuma meno memoria. Una versione antica è descritta in Programming Pearls da Jon Bentley usando 64kb per un dizionario inglese.
Un BK-Tree è un approccio alternativo. Un bell'articolo è qui .
La distanza di Levenshstein non è esattamente la distanza di modifica corretta per un correttore ortografico. Conosce solo l'inserimento, la cancellazione e la sostituzione. La trasposizione è mancante e produce 2 per una trasposizione di 1 carattere (è 1 cancellazione e 1 inserimento). La distanza Damerau – Levenshtein è la distanza di modifica corretta.
Un approccio per generare suggerimenti che ho usato con successo ma che non ho mai visto descritto da nessuna parte è quello di pre-calcolare i suggerimenti (durante la creazione del dizionario) utilizzando funzioni hash "cattive".
L'idea è di esaminare i tipi di errori di ortografia commessi dalle persone e di progettare funzioni hash che assegnerebbero un'ortografia errata allo stesso bucket della sua ortografia corretta.
Ad esempio, un errore comune è usare la vocale sbagliata, come definire invece di definito . Quindi si progetta una funzione hash che tratta tutte le vocali come la stessa lettera. Un modo semplice per farlo è prima "normalizzare" la parola in ingresso e poi inserire il risultato normalizzato attraverso una normale funzione hash. In questo esempio, la funzione di normalizzazione potrebbe eliminare tutte le vocali, quindi definitediventa dfnt. La parola "normalizzata" viene quindi sottoposta a hashing con una tipica funzione hash.
Inserisci tutte le parole del tuo dizionario in un indice ausiliario (tabella hash) usando questa speciale funzione hash. I bucket in questa tabella avranno elenchi di collisioni più lunghi perché la funzione hash è "cattiva", ma questi elenchi di collisioni sono essenzialmente suggerimenti precalcolati.
Ora, quando trovi una parola con errori di ortografia, cerchi negli elenchi di collisioni il bucket a cui è associato l'errore di ortografia negli indici ausiliari. Ta da: Hai un elenco di suggerimenti! Tutto quello che devi fare è classificare le parole su di esso.
In pratica, avrai bisogno di alcuni indici ausiliari con altre funzioni hash per gestire altri tipi di errori, come lettere trasposte, lettere singole / doppie e persino uno semplicistico simile a Soundex per catturare errori di ortografia fonetici. In pratica, ho trovato quelle di pronuncia semplicistiche per fare molto e sostanzialmente obsolete alcune di quelle progettate per trovare errori di battitura banali.
Quindi ora cerchi gli errori di ortografia in ciascuno degli indici ausiliari e concatena le liste di collisione prima della classifica.
Ricorda che le liste di collisione contengono solo parole che sono nel dizionario. Con approcci che provano a generare ortografie alternative (come nell'articolo di Peter Norvig), puoi ottenere (decine di) migliaia di candidati che devi prima filtrare nel dizionario. Con l'approccio precalcolato, ottieni forse un paio di centinaia di candidati e sai che sono tutti scritti correttamente, quindi puoi saltare direttamente alla classifica.
Aggiornamento : da allora ho trovato una descrizione di algoritmo simile a questa, la FAROO Distributed Search . Questa è ancora una ricerca limitata a distanza di modifica, ma è molto veloce perché il passaggio di pre-calcolo funziona come la mia idea di "funzioni hash difettose". FAROO utilizza solo un concetto limitato di una cattiva funzione hash.
Non è necessario conoscere la distanza di modifica esatta per ogni parola nel dizionario. È possibile interrompere l'algoritmo dopo aver raggiunto un valore limite ed escludere la parola. Ciò ti farà risparmiare molto tempo di elaborazione.
Il controllo ortografico è molto facile da implementare come nel programma ortografico Unix. Il codice sorgente è disponibile in pubblico. La correzione può essere coinvolta, una tecnica è fare modifiche e controllare di nuovo se questa nuova parola è nel dizionario. Tali nuove modifiche possono essere raggruppate e mostrate all'utente.
Il sistema Unix utilizza un programma scritto da Mc IllRoy. Un modo alternativo è usare un Trie che può essere utile nel caso di file di grandi dimensioni.
L'approccio unix richiede molto meno spazio per un dizionario enorme poiché utilizza l'algoritmo di hash scatter.