Sto cercando di rimuovere le parole di arresto prima di eseguire la modellazione degli argomenti. Ho notato che alcune parole di negazione (no, né mai, nessuna, ecc.) Sono generalmente considerate parole di stop. Ad esempio, NLTK, spacy e sklearn includono "non" nei loro elenchi di parole di arresto. Tuttavia, se rimuoviamo "non" da queste frasi seguenti, perdono il significato significativo e ciò non sarebbe accurato per la modellazione degli argomenti o l'analisi dei sentimenti.
1). StackOverflow is helpful => StackOverflow helpful
2). StackOverflow is not helpful => StackOverflow helpful
Qualcuno può spiegare perché queste parole di negazione sono in genere considerate parole ferme?
2
Se stai facendo un'analisi semantica delle frasi, ovviamente i connettivi logici sono importanti: (1) iff not (2). Se si intende modellare la logica di queste frasi, tenerle fuori dalla borsa degli arresti. Di solito vengono gettati lì perché dal punto di vista del data mining, la presenza di "no" in un documento non ci dirà molto sull'argomento per aiutarci a distinguerlo dagli altri documenti; non è abbastanza raro. Probabilmente ci sono altri motivi per ignorarli nelle attività nlp.
—
Hunan Rostomyan,