Perché non addestrare il modello finale su tutti i dati dopo aver eseguito i dati di test della base di sintonizzazione dell'iperparametro e i dati di convalida della base di selezione del modello?

Per dati interi intendo train + test + validation

Una volta che ho risolto il mio iperparametro usando i dati di validazione e scelto il modello usando i dati di test, non sarebbe meglio avere un modello addestrato su tutti i dati in modo che i parametri siano meglio addestrati piuttosto che avere il modello addestrato solo su dati del treno

La domanda è errata. Molte persone fanno quello che dici che "non possono" fare.

In effetti, l' implementazione della ricerca della griglia nel pacchetto sklearn ampiamente distribuito fa proprio questo. A meno refit=Falseche, riqualificherà il modello finale utilizzando tutti i dati.

Penso che per alcuni iperparametri questo potrebbe non essere molto desiderabile, perché sono relativi al volume di dati. Ad esempio, considera la min_samples_leaftattica di pre-potatura per un albero decisionale . Se disponi di più dati, la pre-potatura potrebbe non funzionare come desideri.

Ma ancora una volta, molte persone riescono a riutilizzare tutti i dati dopo la convalida incrociata, in modo da ottenere il miglior modello possibile.

Addendum: @NeilSlater dice di seguito che alcune persone eseguono partecipazioni in cima al CV. In altre parole, hanno una divisione test treno e quindi eseguono la selezione del modello sull'allenamento. Secondo lui, si allenano nuovamente utilizzando la divisione del set di allenamento originale, ma non il set di test. Il set di test viene quindi utilizzato per eseguire una stima del modello finale. Personalmente, vedo tre difetti su questo: (a) non risolve il problema che ho menzionato con alcuni iperparametri che dipendono dal volume di allenamento poiché ti stai ri-allenando comunque, (b) quando collaudi molti modelli, preferisco più sofisticati metodi come la validazione incrociata nidificata in modo che nessun dato vada sprecato, e (c) il hold-out è un metodo terribile per dedurre come un modello si generalizzerà quando si hanno pochi dati.

Si, puoi.

Poiché i dati di test dovrebbero provenire da una distribuzione simile per addestrare i dati, non si romperà il modello. Se il modello è stato addestrato correttamente, non si noterà alcun cambiamento significativo (eccetto una migliore metrica di precisione sui dati di test / validazione precedenti).

Ma è raramente vero che i dati dei test provengano esattamente dalla stessa distribuzione dei dati del treno, quindi nello scenario di un caso applicativo reale potresti ottenere una migliore generalizzabilità del tuo modello.

La risposta a questa domanda dipende dall'algoritmo di training (tecnologia) che si utilizza. Ad esempio, ho visto alcuni approcci nella classificazione degli ensemble in cui alla fine vengono combinati set di training e validazione (ma non test). È molto importante sapere che anche la convalida viene utilizzata principalmente per decidere gli iperparametri, alcuni di questi iperparametri possono essere una funzione dei dati utilizzati per l'allenamento. Ad esempio, nella convalida DNN era abituato a sapere quando fermarsi, poiché un eccesso di adattamento può verificarsi a seguito della regolazione continua dei parametri (pesi) della rete, abbiamo bisogno di un modo per sapere quando fermarsi. Senza il set di validazione camminerai ciecamente nel processo di allenamento. D'altra parte, se si utilizza esattamente lo stesso numero di iterazioni specificato in precedenza, esiste un'alta probabilità che non si otterrà da questi campioni aggiuntivi. Il set di test non deve essere toccato affatto, come indicato sopra senza il set di test non si avrà alcun metodo per valutare il modello. Questo è il gioco d'azzardo, NON PUOI fornire alcun modello o soluzione senza la stima della sua accuratezza sulla vera distribuzione dei dati (rappresentata dai dati dei test).