Word2Vec per il riconoscimento dell'entità denominata

Sto cercando di utilizzare l'implementazione di word2vec di Google per creare un sistema di riconoscimento delle entità denominato. Ho sentito che le reti neurali ricorsive con propagazione posteriore attraverso la struttura sono adatte per compiti di riconoscimento di entità nominate, ma non sono stato in grado di trovare un'implementazione decente o un tutorial decente per quel tipo di modello. Poiché sto lavorando con un corpus atipico, gli strumenti NER standard in NLTK e simili hanno funzionato molto male e sembra che dovrò addestrare il mio sistema.

In breve, quali risorse sono disponibili per questo tipo di problema? È disponibile un'implementazione di rete neurale ricorsiva standard?

Invece di "reti neurali ricorsive con propagazione alla schiena" potresti considerare l'approccio usato da Frantzi, et. al. al National Center for Text Mining (NaCTeM) dell'Università di Manchester per Termine (vedi: http://www.nactem.ac.uk/index.php e http://personalpages.manchester.ac.uk/staff/sophia. ananiadou / IJODL2000.pdf ) Invece di reti neurali profonde, "combinano informazioni linguistiche e statistiche".

Due articoli recenti utilizzano un'architettura di apprendimento profondo chiamata CharWNN per risolvere questo problema. CharWNN è stato utilizzato per la prima volta per ottenere risultati allo stato dell'arte (senza funzionalità artigianali) su tag Part of Speech (POS) su un corpus inglese.

Il secondo documento dello stesso autore utilizza la stessa (o simile) architettura per prevedere se una parola appartiene a 10 classi di entità nominate, con risultati apparenti sullo stato dell'arte.

Prova http://deeplearning4j.org/word2vec.html . Questo ha un'implementazione di Word2Vec utilizzata al posto di Bag of Words per NER e altre attività di NLP.

Ecco alcune idee su come utilizzare i vettori di parole per NER, che adotta un approccio incentrato su word2vec centric.

1. Dato un insieme di vettori di parole (o qualcosa che hai addestrato o qualcosa di pronto come GoogleNews-vectors-negative300.bin), scopri i cluster nello spazio vettoriale. Questi cluster sono fondamentalmente le tue definizioni per vari concetti senza nome.
2. Con una supervisione minima, è possibile mappare / convertire i cluster senza nome per abbinare la conoscenza umana, creando così concetti denominati basati su vettori di parole conosciute e concetti senza nome. Ad esempio, un metodo findCluster(['joy', 'surprise', 'disgust', 'trust', 'fear', 'sadness', 'anger', 'anticipation'])potrebbe restituire un elenco contenente centinaia di parole principalmente legate all'emozione. Se nominate questa lista "emozione", allora avete un concetto denominato "emozione" definito in base allo spazio vettoriale.
3. Puoi anche fare matematica vettoriale per trovare il concetto intermedio tra due dati. Ad esempio, la matematica vettoriale potrebbe dirti che quando vengono date due parole "sorpresa" e "disgusto", tra i due si trovano quanto segue: sgomento, stupore, delusione, stupore, stupore, esasperazione, incredulità, shock, ecc. Ciò consente per costruire relazioni tra concetti.
4. Puoi ripetere quanto sopra per creare vari tipi di nomi, come: giorni feriali, tutte le emozioni, emozioni felici, veicoli, ecc.
5. Dopo aver creato livelli di concetti denominati, è possibile quindi addestrare un RNN su un corpus di testo che è stato aumentato con i concetti denominati, quindi 'brown fox jumps' è anche '{color} {animal} {action}' ecc. In questo modo l'RNN dovrebbe essere in grado di apprendere un po 'di grammatica rudimentale in modo incustodito.
6. Se hai sviluppato una grammatica sufficientemente potente da quanto sopra, allora dovresti essere in grado di applicarla ad alcune delle tue attività NER.