Bassa precisione di classificazione, cosa fare dopo?

Quindi, sono un principiante nel campo ML e provo a fare un po 'di classificazione. Il mio obiettivo è prevedere il risultato di un evento sportivo. Ho raccolto alcuni dati storici e ora provo a formare un classificatore. Ho ottenuto circa 1200 campioni, 0,2 dei quali li ho suddivisi a scopo di test, altri li ho inseriti nella ricerca della griglia (validazione incrociata inclusa) con diversi classificatori. Ho provato SVM con kernel lineari, rbf e polinominali e foreste casuali al momento. Sfortunatamente, non riesco a ottenere una precisione significativamente maggiore di 0,5 (uguale alla scelta casuale della classe). Significa che non riesco proprio a prevedere l'esito di un evento così complesso? O posso ottenere una precisione di almeno 0,7-0,8? Se è fattibile, allora cosa dovrei esaminare dopo?

• Ricevi più dati? (Posso ingrandire il set di dati fino a 5 volte)
• Prova diversi classificatori? (Regressione logistica, kNN, ecc.)
• Rivalutare il mio set di funzionalità? Esistono strumenti ML da analizzare, quali caratteristiche hanno un senso e quali no? Forse dovrei ridurre il mio set di funzionalità (al momento ho 12 funzionalità)?

Prima di tutto, se il tuo classificatore non fa meglio di una scelta casuale, c'è il rischio che semplicemente non ci sia alcuna connessione tra funzionalità e classe. Una buona domanda da porsi in tale posizione, è il tempo che tu o un esperto di dominio potresti dedurre la classe (con una precisione maggiore di un classificatore casuale) in base a determinate caratteristiche. In caso contrario, ottenere più righe di dati o modificare il classificatore non aiuta. Quello che devi fare è ottenere più dati utilizzando diverse funzionalità.

Se d'altra parte pensi che le informazioni necessarie per dedurre la classe siano già nelle etichette, dovresti verificare se il tuo classificatore soffre di un bias elevato o di un problema di varianza elevata.

A tale scopo, rappresentare graficamente l'errore di convalida e l'errore del set di allenamento, in funzione degli esempi di allenamento.

Se le righe sembrano convergere allo stesso valore e sono vicine alla fine, allora il tuo classificatore ha un'inclinazione elevata e l'aggiunta di più dati non sarà di aiuto. Una buona idea in questo caso è quella di cambiare il classificatore per uno che ha una varianza maggiore o semplicemente abbassare il parametro di regolarizzazione di quello attuale.

Se d'altra parte le linee sono abbastanza distanti e si ha un errore del set di addestramento basso ma un errore di convalida elevato, il classificatore presenta una varianza troppo elevata. In questo caso è molto probabile che ottenere più dati aiuti. Se dopo aver ottenuto più dati la varianza sarà ancora troppo elevata, è possibile aumentare il parametro di regolarizzazione.

Queste sono le regole generali che userei di fronte a un problema come il tuo.

Saluti.

Suggerirei di fare un passo indietro e fare alcune analisi dei dati esplorativi prima di tentare la classificazione. Vale la pena esaminare le tue funzionalità su base individuale per vedere se c'è qualche relazione con il risultato di interesse - è possibile che le funzionalità che hai non abbiano alcuna associazione con le etichette della classe. Come fai a sapere se le funzionalità che hai saranno utili?

Potresti iniziare facendo test di ipotesi o analisi di correlazione per testare le relazioni. La generazione di istogrammi specifici per classe per le caratteristiche (ovvero la rappresentazione di istogrammi dei dati per ciascuna classe, per una determinata funzione sullo stesso asse) può anche essere un buon modo per mostrare se una caratteristica discrimina bene tra le due classi.

È importante ricordare però di non lasciare che i risultati della tua analisi esplorativa influenzino le tue scelte di classificazione. La scelta di funzionalità per la classificazione sulla base di un'analisi esplorativa precedente sugli stessi dati, può portare a stime di sovralimentazione eccessive e distorte (vedere la discussione qui ), ma un'analisi esplorativa ti darà almeno un'idea se il compito che stai cercando di fare è pari possibile.

È positivo che tu abbia separato i tuoi dati in dati di allenamento e dati di test.

Il tuo errore di allenamento è diminuito quando ti sei allenato? In caso contrario, potresti avere un bug nel tuo algoritmo di allenamento. Ti aspetti che l'errore nel tuo set di test sia maggiore dell'errore nel tuo set di allenamento, quindi se hai un errore inaccettabilmente alto nel tuo set di allenamento c'è poca speranza di successo.

Sbarazzarsi delle funzionalità può evitare alcuni tipi di overfitting. Tuttavia, non dovrebbe migliorare l'errore sul set di allenamento. Un errore basso sul set di allenamento e un errore elevato sul set di test potrebbero indicare che ci si allena utilizzando un set di funzioni eccessivamente flessibile. Tuttavia, è più sicuro verificarlo tramite la convalida incrociata rispetto al set di test. Una volta selezionato il set di funzionalità in base al set di test, non è più valido come set di test.

Perché non seguire il principio "guarda prima i grafici dei dati". Una cosa che puoi fare è un diagramma a dispersione 2 D delle densità condizionali di due classi per due covariate. Se li guardi e non vedi praticamente alcuna separazione che potrebbe indicare mancanza di prevedibilità e puoi farlo con tutte le covariate. Questo ti dà alcune idee sulla capacità di usare queste covariate per prevedere. Se vedi qualche speranza che queste variabili possano separarsi un po ', allora inizia a pensare a discriminanti lineari, discriminanti quadratici, discriminazione del kernel, regolarizzazione, classificazione dell'albero, SVM ecc.