Quanti dati sono sufficienti per addestrare il mio modello di apprendimento automatico?

Ho lavorato sull'apprendimento automatico e la bioinformatica per un po ', e oggi ho avuto una conversazione con un collega sui principali problemi generali del data mining.

Il mio collega (che è un esperto di apprendimento automatico) ha affermato che, a suo avviso, l'aspetto pratico probabilmente più importante dell'apprendimento automatico è come capire se hai raccolto abbastanza dati per formare il tuo modello di apprendimento automatico .

Questa affermazione mi ha sorpreso, perché non avevo mai dato tanta importanza a questo aspetto ...

Ho quindi cercato ulteriori informazioni su Internet e ho trovato questo post sui rapporti di FastML.com come regola empirica di cui hai bisogno circa 10 volte più istanze di dati quante sono le funzionalità .

Due domande:

1 - Questo problema è davvero particolarmente rilevante nell'apprendimento automatico?

2 - La regola 10 volte funziona? Ci sono altre fonti pertinenti per questo tema?

La regola delle dieci volte mi sembra una regola empirica, ma è vero che le prestazioni dell'algoritmo di apprendimento automatico potrebbero diminuire se non le fornisci con dati di allenamento sufficienti.

Un modo pratico e basato sui dati per determinare se disponi di dati di allenamento sufficienti consiste nel tracciare una curva di apprendimento, come quella nell'esempio seguente:

La curva di apprendimento rappresenta l'evoluzione dell'addestramento e gli errori di test quando si aumenta la dimensione del set di allenamento.

• L'errore di allenamento aumenta all'aumentare della dimensione del set di dati, poiché diventa più difficile adattarsi a un modello che tiene conto della crescente complessità / variabilità del set di addestramento.
• L'errore del test diminuisce quando si aumenta la dimensione del set di dati, poiché il modello è in grado di generalizzare meglio da una maggiore quantità di informazioni.

Come puoi vedere nella parte più a destra della trama, le due linee nella trama tendono a raggiungere e asintotizzare. Pertanto, alla fine raggiungerai un punto in cui l'aumento delle dimensioni del set di dati non avrà alcun impatto sul modello addestrato.

La distanza tra l'errore del test e gli asintoti dell'errore di allenamento è una rappresentazione del sovradimensionamento del modello. Ma ancora più importante, questa trama sta dicendo se hai bisogno di più dati. Fondamentalmente, se rappresenti un errore di test e di allenamento per aumentare sottoinsiemi più grandi di dati di allenamento e le linee non sembrano raggiungere un asintoto, dovresti continuare a raccogliere più dati.

1. Sì, il problema è sicuramente rilevante, poiché la tua capacità di adattarsi al modello dipenderà dalla quantità di dati che hai, ma, soprattutto, dipende dalla qualità dei predittori.
2. Una regola di 10 volte potrebbe essere una regola empirica (e ce ne sono molte altre), ma dipende davvero dall'utilità predittiva delle tue funzionalità. Ad esempio, il set di dati dell'iride è piuttosto piccolo ma facilmente risolvibile, poiché le caratteristiche producono una buona separazione degli obiettivi. Al contrario, potresti avere 10 milioni di esempi e non adattarti se le funzionalità sono deboli.