L'accuratezza del modello è del 100% su un overfitting di dati fuori campione?

Ho appena completato l'apprendimento automatico per il corso R su cognitiveclass.ai e ho iniziato a sperimentare con foreste casuali.

Ho creato un modello usando la libreria "randomForest" in R. Il modello classifica per due classi, buono e cattivo.

So che quando un modello è sovralimentato, si comporta bene con i dati del proprio set di training ma male con i dati fuori campione.

Per addestrare e testare il mio modello ho mischiato e diviso il set di dati completo in 70% per l'allenamento e 30% per i test.

La mia domanda: sto ottenendo una precisione del 100% dalla previsione fatta sul set di test. È male? Sembra troppo bello per essere vero.

L'obiettivo è il riconoscimento della forma d'onda su quattro l'uno sull'altro a seconda delle forme d'onda. Le caratteristiche del set di dati sono i risultati di costo dell'analisi Dynamic Time Warping delle forme d'onda con la loro forma d'onda target.

Punteggi di convalida elevati come l'accuratezza in genere indicano che non si sta adattando eccessivamente, tuttavia dovrebbe portare a cautela e può indicare che qualcosa è andato storto. Potrebbe anche significare che il problema non è troppo difficile e che il modello funziona davvero bene. Due cose che potrebbero andare storte:

• Non hai diviso correttamente i dati e anche i dati di convalida si sono verificati nei tuoi dati di allenamento, il che significa che indica un overfitting perché non stai più misurando la generalizzazione
• Utilizzi un po 'di ingegneria delle funzionalità per creare funzionalità aggiuntive e potresti aver introdotto una perdita di target, in cui le tue righe utilizzano informazioni dal target attuale, non solo da altri nel tuo set di formazione

Indagare per vedere quali sono le funzionalità più predittive. A volte hai incluso accidentalmente il tuo obiettivo (o qualcosa di equivalente al tuo obiettivo) tra le tue funzionalità.