Qual è la differenza tra set di test e set di validazione?

Ho trovato questo confuso quando uso la cassetta degli attrezzi della rete neurale in Matlab.
Ha diviso il set di dati non elaborati in tre parti:

1. set di allenamento
2. set di validazione
3. set di test

Noto in molti algoritmi di allenamento o di apprendimento, i dati sono spesso divisi in 2 parti, il set di allenamento e il set di test.

Le mie domande sono:

1. qual è la differenza tra set di validazione e set di test?
2. Il set di validazione è davvero specifico per la rete neurale? O è facoltativo.
3. Per andare oltre, c'è una differenza tra validazione e test nel contesto dell'apprendimento automatico?

Normalmente per eseguire l'apprendimento supervisionato sono necessari due tipi di set di dati:

1. In un set di dati (il tuo "gold standard") hai i dati di input insieme all'output corretto / previsto. Questo set di dati è solitamente debitamente preparato dagli umani o raccogliendo alcuni dati in modo semi-automatizzato. Ma è importante avere l'output previsto per ogni riga di dati qui, perché è necessario per l'apprendimento supervisionato.

2. I dati a cui applicherai il tuo modello. In molti casi questi sono i dati a cui sei interessato per l'output del tuo modello e quindi non hai ancora alcun output "previsto" qui.

Durante l'esecuzione dell'apprendimento automatico fai quanto segue:

1. Fase di addestramento: presentate i vostri dati dal vostro "gold standard" e formate il vostro modello, accoppiando l'input con l'output previsto.
2. Fase di validazione / test: per stimare quanto bene è stato addestrato il tuo modello (che dipende dalla dimensione dei tuoi dati, dal valore che desideri prevedere, inserire ecc.) E per stimare le proprietà del modello (errore medio per predittori numerici, errori di classificazione per classificatori, richiamo e precisione per modelli IR ecc.)
3. Fase di applicazione: ora applichi il tuo modello appena sviluppato ai dati del mondo reale e ottieni i risultati. Dal momento che normalmente non hai alcun valore di riferimento in questo tipo di dati (altrimenti, perché dovresti aver bisogno del tuo modello?), Puoi solo speculare sulla qualità dell'output del tuo modello usando i risultati della tua fase di validazione.

La fase di convalida è spesso suddivisa in due parti :

1. Nella prima parte dai un'occhiata ai tuoi modelli e seleziona l'approccio più performante usando i dati di validazione (= validazione)
2. Quindi si stima l'accuratezza dell'approccio selezionato (= test).

Da qui la separazione al 50/25/25.

Nel caso in cui non sia necessario scegliere un modello appropriato tra diversi approcci rivali, è possibile ripartizionare il set in modo da avere fondamentalmente solo set di allenamento e set di test, senza eseguire la convalida del modello addestrato. Allora li partiziono personalmente 70/30.

Vedi anche questa domanda .

Set di allenamento: un set di esempi utilizzati per l'apprendimento: per adattarsi ai parametri del classificatore Nel caso Multistrato Perceptron (MLP), utilizzeremmo il set di allenamento per trovare i pesi "ottimali" con la regola del back-prop

Set di convalida: un set di esempi utilizzati per ottimizzare i parametri di un classificatore Nel caso MLP, utilizzeremmo il set di convalida per trovare il numero "ottimale" di unità nascoste o determinare un punto di arresto per l'algoritmo di back-propagation

Set di test: un set di esempi utilizzato solo per valutare le prestazioni di un classificatore completamente addestrato Nel caso MLP, utilizzeremo il test per stimare il tasso di errore dopo aver scelto il modello finale (dimensioni MLP e pesi effettivi) Dopo aver valutato il modello finale sul set di test, NON DEVI mettere a punto il modello!

Perché separare set di test e validazione? La stima del tasso di errore del modello finale sui dati di convalida sarà distorta (inferiore alla percentuale di errore reale) poiché il set di convalida viene utilizzato per selezionare il modello finale Dopo aver valutato il modello finale sul set di test, NON DEVI mettere a punto il modello ulteriore!

fonte: Introduzione all'analisi dei modelli, Ricardo Gutierrez-OsunaTexas A&M University, Texas A&M University

La mia esperienza di 5 anni in Informatica mi ha insegnato che niente è meglio della semplicità.

Il concetto di set di dati "Formazione / Convalida incrociata / Test" è semplice come questo. Quando si dispone di un set di dati di grandi dimensioni, si consiglia di dividerlo in 3 parti:

++ Set di formazione (60% del set di dati originale): viene utilizzato per creare il nostro algoritmo di previsione. Il nostro algoritmo tenta di sintonizzarsi sulle stranezze dei set di dati di addestramento. In questa fase di solito creiamo algoritmi multipli per confrontare le loro prestazioni durante la fase di convalida incrociata.

++ Set di convalida incrociata (20% del set di dati originale): questo set di dati viene utilizzato per confrontare le prestazioni degli algoritmi di previsione creati in base al set di training. Scegliamo l'algoritmo che ha le migliori prestazioni.

++ Set di test (20% del set di dati originale): ora abbiamo scelto il nostro algoritmo di previsione preferito ma non sappiamo ancora come funzionerà su dati del mondo reale completamente invisibili. Quindi, applichiamo il nostro algoritmo di predizione prescelto sul nostro set di test per vedere come funzionerà in modo da poter avere un'idea delle prestazioni del nostro algoritmo su dati invisibili.

Appunti:

-È molto importante tenere presente che non è consigliabile saltare la fase di test, poiché l'algoritmo che ha funzionato bene durante la fase di convalida incrociata non significa che sia veramente il migliore, perché gli algoritmi vengono confrontati in base alla croce -validation set e sue stranezze e rumori ...

-Durante la fase di test, lo scopo è vedere come il nostro modello finale si occuperà in natura, quindi nel caso in cui le sue prestazioni siano molto scarse dovremmo ripetere l'intero processo a partire dalla fase di addestramento.

Ad ogni passaggio che ti viene chiesto di prendere una decisione (ad esempio, scegli un'opzione tra diverse opzioni), devi disporre di un set / partizione aggiuntivo per valutare l'accuratezza della tua scelta in modo da non scegliere semplicemente il risultato più favorevole di casualità e scambiare la coda della distribuzione per il centro ¹ . La sinistra è il pessimista. Il diritto è l'ottimista. Il centro è il pragmatico. Sii il pragmatico.

Passaggio 1) Formazione: ogni tipo di algoritmo ha le proprie opzioni di parametro (il numero di strati in una rete neurale, il numero di alberi in una foresta casuale, ecc.). Per ciascuno dei tuoi algoritmi, devi scegliere un'opzione. Ecco perché hai un set di allenamento.

Passaggio 2) Convalida: ora hai una raccolta di algoritmi. Devi scegliere un algoritmo. Ecco perché hai un set di test. Molte persone scelgono l'algoritmo che funziona meglio sul set di validazione (e va bene). Ma se non si misura il tasso di errore dell'algoritmo con le migliori prestazioni sul set di test e si va semplicemente con il suo tasso di errore sul set di validazione, allora si è erroneamente confuso lo "scenario migliore possibile" con lo "scenario più probabile". Questa è una ricetta per il disastro.

Passaggio 3) Test: suppongo che se i tuoi algoritmi non avessero parametri, non avresti bisogno di un terzo passaggio. In tal caso, il passaggio di convalida sarebbe il passaggio di test. Forse Matlab non ti chiede parametri o hai scelto di non usarli e questa è la fonte della tua confusione.

¹ È spesso utile andare in ciascuna fase con l'ipotesi (ipotesi nulla) che tutte le opzioni siano uguali (ad esempio, tutti i parametri sono uguali o tutti gli algoritmi sono uguali), quindi il mio riferimento alla distribuzione.

² Questa immagine non è mia. L'ho preso da questo sito: http://www.teamten.com/lawrence/writings/bell-curve.png

Non ne consegue che è necessario dividere i dati in alcun modo. Il bootstrap può fornire stime dell'errore al quadrato medio più piccole dell'accuratezza della previsione usando l'intero campione sia per lo sviluppo che per il test del modello.

Un'attività tipica di apprendimento automatico può essere visualizzata come il seguente ciclo nidificato:

while (error in validation set > X) {
    tune hyper-parameters
    while (error in training set > Y) {
        tune parameters
    }
}

Tipicamente, il ciclo esterno viene eseguito dall'essere umano , sul set di convalida , e il circuito interno da macchina , sul set di addestramento . È quindi necessario un terzo set di test per valutare le prestazioni finali del modello.

In altre parole, il set di validazione è il set di addestramento per umani.

Un modo di pensare a questi tre set è che due ( traininge validation) provengono dal passato, mentre il testset viene dal "futuro". Il modello dovrebbe essere costruito e messo a punto utilizzando i dati del "passato" ( training/ validationdati), ma mai i testdati che provengono dal "futuro".

Per fare un esempio pratico, supponiamo che stiamo costruendo un modello per prevedere quanto bene faranno i giocatori di baseball in futuro. Useremo i dati dal 1899-2014 per creare un teste validationimpostare. Una volta che il modello è stato costruito e ottimizzato su tali dati, utilizzeremo i dati del 2015 (in realtà in passato!) Come set di test, che dal punto di vista del modello appaiono come dati "futuri" e non hanno influenzato in alcun modo la creazione del modello . (Ovviamente, in teoria, potremmo aspettare i dati dal 2016 se vogliamo davvero!)

Ovviamente sto usando le virgolette dappertutto, perché l'attuale ordine temporale dei dati potrebbe non coincidere con il futuro reale (per definizione probabilmente tutta la generazione dei dati è avvenuta nel passato reale). In realtà, il testset potrebbe essere semplicemente un dato dello stesso periodo del training/ validationset, che "tieni". In questo modo, non ha avuto alcuna influenza sull'ottimizzazione del modello, ma questi dati non vengono effettivamente dal futuro.

La maggior parte degli algoritmi di data mining supervisionati segue questi tre passaggi:

1. Il set di addestramento viene utilizzato per costruire il modello. Questo contiene un set di dati che ha variabili target e predittive preclassificate.
2. In genere un set di dati o set di test di blocco viene utilizzato per valutare la capacità del modello con i dati al di fuori del set di addestramento. Il set di test contiene i dati dei risultati preclassificati ma non vengono utilizzati quando i dati del set di test vengono eseguiti attraverso il modello fino alla fine, quando i dati preclassificati vengono confrontati con i risultati del modello. Il modello è regolato per ridurre al minimo l'errore sul set di test.
3. Un altro set di dati di blocco o set di convalida viene utilizzato per valutare il modello corretto nella fase 2, dove, ancora una volta, i dati del set di convalida vengono eseguiti rispetto al modello modificato e ai risultati rispetto ai dati preclassificati non utilizzati.

Alcune persone sono confuse sul perché utilizziamo un set di convalida, quindi fornirò una spiegazione semplice e intuitiva di ciò che accadrà se non si utilizza un set di dati di convalida.

Se non si utilizza un set di convalida, sarà invece necessario selezionare gli iperparametri e decidere quando interrompere l'allenamento in base alle prestazioni del modello nel set di dati di test. Se si decide quando interrompere l'allenamento in base alle prestazioni del modello nel set di dati di test, è possibile interrompere l'allenamento quando il modello riesce a fare bene sul set di dati di test. Quindi, quando si segnalano i risultati, si segnala l'accuratezza sul set di dati di test. Il problema con questo è che potresti dire che il tuo modello ha funzionato davvero bene quando in realtà era solo una variazione casuale che lo ha fatto fare meglio solo sul set di test.

Se invece si utilizza un set di convalida per decidere quando interrompere l'allenamento, l'accuratezza del modello sul set di test riflette più in modo imparziale quanto bene si comporta sull'attività in generale e mostra che non è stato ottimizzato il modello solo per funzionare bene sul set di test.

Vorrei aggiungere altre ottime risposte qui indicando un approccio relativamente nuovo nell'apprendimento automatico chiamato "privacy differenziale" (vedi articoli di Dwork; il Blog di Win Vector per ulteriori informazioni). L'idea consente di riutilizzare effettivamente il set di test senza compromettere le prestazioni del modello finale. In un'impostazione tipica il set di test viene utilizzato solo per stimare le prestazioni finali; idealmente non è nemmeno permesso guardarlo.

Come è ben descritto in questo blog di Win Vector (vedi anche altre voci), è possibile "usare" il set di test senza influenzare le prestazioni del modello. Questo viene fatto usando la speciale procedura chiamata "privacy differenziale". Lo studente non avrà accesso diretto al set di test.

La mia idea è che quelle opzioni nella casella degli strumenti della rete neurale sono per evitare un eccesso di adattamento. In questa situazione i pesi sono specificati solo per i dati di allenamento e non mostrano la tendenza globale. Avendo un set di convalida, le iterazioni sono adattabili a dove diminuzioni dell'errore dei dati di addestramento causano diminuzioni nei dati di convalida e aumenti dell'errore dei dati di convalida; insieme alla diminuzione dell'errore dei dati di allenamento, questo dimostra il fenomeno del sovradimensionamento.