Un modo per generare incorporamenti di parole è il seguente ( mirror ):
- Ottieni un corpora, ad es. "Mi piace volare. Mi piace la PNL. Mi piace l'apprendimento profondo."
- Costruisci la parola matrice di occorrenza da essa:
- Esegui SVD su e mantieni le prime colonne di U.
Tra i passaggi 2 e 3, talvolta vengono applicate informazioni reciproche puntuali (ad es. A. Herbelot e EM Vecchi. 2015. Costruire un mondo condiviso: mappare gli spazi semantici teorici-modello . In Atti della Conferenza 2015 sui metodi empirici nell'elaborazione del linguaggio naturale Lisbona, Portogallo .).
Quali sono i vantaggi e gli svantaggi di applicare informazioni reciproche puntuali su una matrice di occorrenze di parole prima di SVD?