L'aumento del numero di funzioni comporta una riduzione della precisione ma un aumento del prec / richiamo

Sono nuovo di Machine Learning. Al momento sto usando un classificatore Naive Bayes (NB) per classificare piccoli testi in 3 classi come positivi, negativi o neutri, usando NLTK e python.

Dopo aver condotto alcuni test, con un set di dati composto da 300.000 istanze (16.924 positivi 7.477 negativi e 275.599 neutri) ho scoperto che quando aumento il numero di funzioni, l'accuratezza diminuisce ma la precisione / richiamo per le classi positive e negative aumenta. è un comportamento normale per un classificatore NB? Possiamo dire che sarebbe meglio usare più funzionalità?

Alcuni dati:

Features: 50    
Accuracy: 0.88199
F_Measure Class Neutral 0.938299
F_Measure Class Positive 0.195742
F_Measure Class Negative 0.065596

Features: 500   
Accuracy: 0.822573
F_Measure Class Neutral 0.904684
F_Measure Class Positive 0.223353
F_Measure Class Negative 0.134942

Grazie in anticipo...

Modifica 26/11/2011

Ho testato 3 diverse strategie di selezione delle funzionalità (MAXFREQ, FREQENT, MAXINFOGAIN) con il classificatore Naive Bayes. I primi qui sono la precisione e le misure F1 per classe:

Quindi ho tracciato l'errore del treno e l'errore di test con un set di addestramento incrementale, quando utilizzo MAXINFOGAIN con le prime 100 e le prime 1000 funzionalità:

Quindi, mi sembra che sebbene la massima precisione sia stata raggiunta con FREQENT, il miglior classificatore è quello che utilizza MAXINFOGAIN, giusto ? Quando si utilizzano le prime 100 funzioni, abbiamo una distorsione (l'errore del test è vicino all'errore del treno) e l'aggiunta di ulteriori esempi di allenamento non sarà di aiuto. Per migliorare ciò avremo bisogno di più funzionalità. Con 1000 funzioni, la distorsione si riduce ma l'errore aumenta ... Va bene? Devo aggiungere altre funzionalità? Non so davvero come interpretare questo ...

Grazie ancora...

Precisione vs misura F.

Prima di tutto, quando usi una metrica dovresti sapere come giocarla. La precisione misura il rapporto tra istanze correttamente classificate in tutte le classi. Ciò significa che se una classe si verifica più spesso di un'altra, l'accuratezza risultante è chiaramente dominata dall'accuratezza della classe dominante. Nel tuo caso, se si costruisce un modello M che prevede semplicemente "neutro" per ogni istanza, l'accuratezza risultante sarà

$acc=\frac{neutral}{(neutral + positive + negative)}=0.9188$

Bene, ma inutile.

Quindi l'aggiunta di funzionalità ha chiaramente migliorato la potenza di NB nel differenziare le classi, ma predicendo "positivo" e "negativo" si classificano erroneamente i neutri e quindi la precisione diminuisce (approssimativamente). Questo comportamento è indipendente da NB.

Più o meno funzionalità?

In generale non è meglio usare più funzioni, ma usare le giuste funzionalità. Più funzioni è meglio nella misura in cui un algoritmo di selezione delle caratteristiche ha più scelte per trovare il sottoinsieme ottimale (suggerisco di esplorare: selezione delle caratteristiche di crossvalidated ). Quando si tratta di NB, un approccio rapido e solido (ma meno che ottimale) è quello di utilizzare InformationGain (Ratio) per ordinare le caratteristiche in ordine decrescente e selezionare il k superiore.

Ancora una volta, questo consiglio (tranne InformationGain) è indipendente dall'algoritmo di classificazione.

MODIFICA 27.11.11

C'è stata molta confusione riguardo alla distorsione e alla varianza nel selezionare il numero corretto di funzioni. Consiglio quindi di leggere le prime pagine di questo tutorial: compromesso di bias-varianza . L'essenza chiave è:

• High Bias significa che il modello è meno che ottimale, ovvero che l'errore di test è elevato (insufficiente, come dice Simone)
• Alta varianza significa che il modello è molto sensibile al campione usato per costruire il modello . Ciò significa che l'errore dipende in larga misura dal set di allenamento utilizzato e quindi la varianza dell'errore (valutata su diverse pieghe di crossvalidation) sarà estremamente diversa. (overfitting)

Le curve di apprendimento tracciate indicano effettivamente il Bias, poiché l'errore è tracciato. Tuttavia, ciò che non è possibile visualizzare è la varianza, poiché l'intervallo di confidenza dell'errore non viene tracciato affatto.

Esempio: eseguendo una Crossvalidation 3 volte 6 volte (sì, si consiglia la ripetizione con partizionamento dati diverso, Kohavi suggerisce 6 ripetizioni), si ottengono 18 valori. Ora mi aspetto che ...

• Con un numero limitato di funzioni, l'errore medio (bias) sarà inferiore, tuttavia, la varianza dell'errore (dei 18 valori) sarà maggiore.
• con un numero elevato di funzioni, l'errore medio (bias) sarà maggiore, ma la varianza dell'errore (dei 18 valori) sarà inferiore.

Questo comportamento dell'errore / bias è esattamente quello che vediamo nei tuoi grafici. Non possiamo fare una dichiarazione sulla varianza. Il fatto che le curve siano vicine tra loro può essere un'indicazione che il set di test è abbastanza grande da mostrare le stesse caratteristiche del set di allenamento e quindi che l'errore misurato può essere affidabile, ma questo è (almeno per quanto ho capito esso) non è sufficiente per fare una dichiarazione sulla varianza (dell'errore!).

Quando si aggiungono sempre più esempi di addestramento (mantenendo fisse le dimensioni del set di test), mi aspetto che la varianza di entrambi gli approcci (piccolo e elevato numero di funzioni) diminuisca.

Oh, e non dimenticare di calcolare l'infogain per la selezione delle funzioni usando solo i dati nel campione di addestramento! Si è tentati di utilizzare i dati completi per la selezione delle funzionalità e quindi eseguire il partizionamento dei dati e applicare la convalida incrociata, ma ciò comporterà un overfitting. Non so cosa hai fatto, questo è solo un avvertimento che non dovresti mai dimenticare.

Per sapere se è utile utilizzare più funzioni, vorrei tracciare le curve di apprendimento. Penso che questo sia chiaramente spiegato nella decima unità del corso di Machine Learning di Stanford, chiamato "Consiglia per l'applicazione dell'apprendimento automatico", che puoi trovare qui: http://www.ml-class.org/course/video/preview_list .

Tracciando le curve di apprendimento puoi capire se il tuo problema è il bias elevato o l'alta varianza. Fintanto che aumenti il ​​numero di esempi di allenamento, dovresti tracciare l' errore di allenamento e l' errore di test (es. Precisione 1), quest'ultimo è l'errore del tuo classificatore stimato su un set di dati diverso. Se queste curve sono vicine l'una all'altra, si ha un problema di polarizzazione elevato e probabilmente sarebbe utile inserire più funzioni. D'altra parte, se le curve sono abbastanza separate se si aumenta il numero di esempi di allenamento, si ha un problema di varianza elevata. In questo caso, è necessario ridurre il numero di funzioni in uso.

modificare

Ho intenzione di aggiungere alcuni esempi di curve di apprendimento. Queste sono curve di apprendimento ottenute con una regressione logistica regolarizzata. Trame diverse sono correlate a diverse$\lambda$

$\lambda$ una varianza elevata .

$\lambda$ un bias elevato .

$\lambda=1$