Classificazione statistica del testo

Sono un programmatore senza background statistico e attualmente sto esaminando diversi metodi di classificazione per un gran numero di documenti diversi che voglio classificare in categorie predefinite. Ho letto di kNN, SVM e NN. Tuttavia, ho qualche problema ad iniziare. Quali risorse mi consigliate? Conosco abbastanza bene il calcolo a variabile singola e multi-variabile, quindi la mia matematica dovrebbe essere abbastanza forte. Possiedo anche il libro di Bishop su Neural Networks, ma ha dimostrato di essere un po 'denso come introduzione.

Consiglio questi libri: sono anche molto apprezzati su Amazon:

"Text Mining" di Weiss

"Programmazione di applicazioni di mining di testo", di Konchady

Per il software, consiglio RapidMiner (con il plugin di testo), gratuito e open-source.

Questo è il mio "processo di estrazione del testo":

• raccogliere i documenti (di solito una scansione web)
  • [campione se troppo grande]
  • timestamp
  • rimuovere il markup
• tokenize: suddivisione in caratteri, parole, n-grammi o finestre scorrevoli
• stemming (aka lemmatizzazione)
  • [includere sinonimi]
  • vedi algoritmo di portatore o fiocco di neve pronomi e articoli sono di solito cattivi predittori
• rimuovere le password
• vettorializzazione delle caratteristiche
  • binario (appare o no)
  • conteggio parole
  • frequenza relativa: tf-idf
  • guadagno di informazioni, chi quadrato
  • [hanno un valore minimo per l'inclusione]
• ponderazione
  • parole di peso in cima al documento più in alto?

Quindi puoi iniziare il lavoro di classificazione. kNN, SVM o Naive Bayes, a seconda dei casi.

Puoi vedere la mia serie di video di mining di testo qui

Un ottimo testo introduttivo che copre gli argomenti che hai citato è Introduzione al recupero delle informazioni , che è disponibile online in testo completo gratuitamente.

La rete neurale potrebbe rallentare per un gran numero di documenti (anche questo ora è praticamente obsoleto).
E puoi anche controllare Random Forest tra i classificatori; è abbastanza veloce, si adatta bene e non richiede una messa a punto complessa.

Se provieni dal punto di vista della programmazione, un'opzione è utilizzare Natural Language Toolkit (NLTK) per Python. C'è un libro di O'Reilly, disponibile gratuitamente , che potrebbe essere un'introduzione meno densa e più pratica alla costruzione di classificatori di documenti, tra le altre cose.

Se sei interessato a rafforzare il lato statistico, il libro di Roger Levy in corso, Probabilistic Models in Study of Language , potrebbe non essere male da esaminare. È scritto per studenti di laurea cogsci / compsci che iniziano con tecniche statistiche PNL.

In primo luogo posso consigliarvi il libro Fondamenti dell'elaborazione statistica del linguaggio naturale di Manning e Schütze.

I metodi che vorrei usare sono le distribuzioni di frequenza delle parole e i modelli di linguaggio ngram. Il primo funziona molto bene quando vuoi classificare un argomento e i tuoi argomenti sono specifici ed esperti (con parole chiave). La modellazione Ngram è il modo migliore per classificare stili di scrittura, ecc.

Naive Bayes è di solito il punto di partenza per la classificazione del testo, ecco un articolo del Dr. Dobbs su come implementarne uno. Spesso è anche il punto finale per la classificazione del testo perché è così efficiente e parallelizza bene, SpamAssassin e POPFile lo usano.