Come verificare se una parola è una parola inglese con Python?

Voglio controllare in un programma Python se una parola è nel dizionario inglese.

Credo che l'interfaccia wordl di nltk potrebbe essere la strada da percorrere, ma non ho idea di come usarla per un compito così semplice.

def is_english_word(word):
    pass # how to I implement is_english_word?

is_english_word(token.lower())

In futuro, potrei voler verificare se la forma singolare di una parola è nel dizionario (ad esempio, proprietà -> proprietà -> parola inglese). Come lo raggiungerei?

Per (molto) più potenza e flessibilità, utilizzare una libreria di controllo ortografico dedicata come PyEnchant. C'è un tutorial o potresti semplicemente immergerti direttamente:

>>> import enchant
>>> d = enchant.Dict("en_US")
>>> d.check("Hello")
True
>>> d.check("Helo")
False
>>> d.suggest("Helo")
['He lo', 'He-lo', 'Hello', 'Helot', 'Help', 'Halo', 'Hell', 'Held', 'Helm', 'Hero', "He'll"]
>>>

PyEnchantviene fornito con alcuni dizionari (en_GB, en_US, de_DE, fr_FR), ma è possibile utilizzare uno di quelli OpenOffice se si desidera più lingue.

Sembra che ci sia una libreria di pluralizzazione chiamata inflect, ma non ho idea se sia buono.

Non funzionerà bene con WordNet, perché WordNet non contiene tutte le parole inglesi. Un'altra possibilità basata su NLTK senza incantare è la parola corpus di NLTK

>>> from nltk.corpus import words
>>> "would" in words.words()
True
>>> "could" in words.words()
True
>>> "should" in words.words()
True
>>> "I" in words.words()
True
>>> "you" in words.words()
True

Utilizzando NLTK :

from nltk.corpus import wordnet

if not wordnet.synsets(word_to_test):
  #Not an English Word
else:
  #English Word

Dovresti fare riferimento a questo articolo se hai problemi con l'installazione di wordnet o vuoi provare altri approcci.

Utilizzare un set per memorizzare l'elenco di parole perché cercarli sarà più veloce:

with open("english_words.txt") as word_file:
    english_words = set(word.strip().lower() for word in word_file)

def is_english_word(word):
    return word.lower() in english_words

print is_english_word("ham")  # should be true if you have a good english_words.txt

Per rispondere alla seconda parte della domanda, i plurali sarebbero già in una buona lista di parole, ma se volessi escludere specificamente quelli dalla lista per qualche motivo, potresti davvero scrivere una funzione per gestirla. Ma le regole della pluralizzazione inglese sono abbastanza complicate da includere solo i plurali nell'elenco delle parole.

Per quanto riguarda dove trovare gli elenchi di parole inglesi, ne ho trovati diversi semplicemente da Google "Elenco di parole inglesi". Eccone uno: http://www.sil.org/linguistics/wordlists/english/wordlist/wordsEn.txt Potresti Google per l'inglese britannico o americano se desideri specificamente uno di quei dialetti.

Per una soluzione basata su NLTK più veloce, è possibile eseguire l'hashing dell'insieme di parole per evitare una ricerca lineare.

from nltk.corpus import words as nltk_words
def is_english_word(word):
    # creation of this dictionary would be done outside of 
    #     the function because you only need to do it once.
    dictionary = dict.fromkeys(nltk_words.words(), None)
    try:
        x = dictionary[word]
        return True
    except KeyError:
        return False

Trovo che ci siano 3 soluzioni basate su pacchetti per risolvere il problema. Sono pirotecnici, wordnet e corpus (auto-definiti o da ntlk). Pyenchant non può essere installato facilmente in win64 con py3 . Wordnet non funziona molto bene perché il suo corpus non è completo. Quindi, per me, scelgo la soluzione a cui @Sadik ha risposto e utilizzo 'set (words.words ())' per accelerare.

Primo:

pip3 install nltk
python3

import nltk
nltk.download('words')

Poi:

from nltk.corpus import words
setofwords = set(words.words())

print("hello" in setofwords)
>>True

Con pyEnchant.checker SpellChecker:

from enchant.checker import SpellChecker

def is_in_english(quote):
    d = SpellChecker("en_US")
    d.set_text(quote)
    errors = [err.word for err in d]
    return False if ((len(errors) > 4) or len(quote.split()) < 3) else True

print(is_in_english('“办理美国加州州立大学圣贝纳迪诺分校高仿成绩单Q/V2166384296加州州立大学圣贝纳迪诺分校学历学位认证'))
print(is_in_english('“Two things are infinite: the universe and human stupidity; and I\'m not sure about the universe.”'))

> False
> True

Per un approccio web semantico, è possibile eseguire una query sparql su WordNet in formato RDF . Fondamentalmente basta usare il modulo urllib per inviare la richiesta GET e restituire risultati in formato JSON, analizzarlo usando il modulo 'json' di Python. Se non è una parola inglese non otterrai risultati.

Come altra idea, potresti interrogare l'API di Wikizionario .

Per tutti gli utenti Linux / Unix

Se il tuo sistema operativo utilizza il kernel Linux, esiste un modo semplice per ottenere tutte le parole dal dizionario inglese / americano. Nella directory /usr/share/dicthai un wordsfile. C'è anche un più specifico american-englishe british-englishfile. Questi contengono tutte le parole in quella lingua specifica. Puoi accedervi in ​​ogni linguaggio di programmazione ed è per questo che ho pensato che potresti volerlo sapere.

Ora, per utenti specifici di Python, il codice Python di seguito dovrebbe assegnare le parole dell'elenco in modo che abbiano il valore di ogni singola parola:

import re
file = open("/usr/share/dict/words", "r")
words = re.sub("[^\w]", " ",  file.read()).split()

def is_word(word):
    return word.lower() in words

is_word("tarts") ## Returns true
is_word("jwiefjiojrfiorj") ## Returns False

Spero che questo ti aiuti!!!