Convalida incrociata (generalizzazione degli errori) dopo la selezione del modello

Nota: il caso è n >> p

Sto leggendo Elements of Statistical Learning e ci sono varie menzioni sul modo "giusto" di fare la validazione incrociata (es. Pagina 60, pagina 245). In particolare, la mia domanda è come valutare il modello finale (senza un set di test separato) usando k-fold CV o bootstrap quando c'è stata una ricerca del modello? Sembra che nella maggior parte dei casi (algoritmi ML senza selezione di funzionalità incorporate) ci saranno

1. Una fase di selezione delle funzionalità
2. Una fase di selezione dei meta parametri (ad es. Il parametro di costo in SVM).

Le mie domande:

1. Ho visto che la fase di selezione delle funzioni può essere eseguita laddove la selezione delle funzioni viene eseguita sull'intero set di allenamento e tenuta da parte. Quindi, usando il CV di k-fold, l'algoritmo di selezione delle caratteristiche viene usato in ogni piega (ottenendo ogni volta diverse caratteristiche eventualmente scelte) e la media dell'errore. Quindi, useresti le funzionalità scelte usando tutti i dati (che erano stati messi da parte) per addestrare la modalità finale, ma avresti usato l'errore della validazione incrociata come stima delle prestazioni future del modello. È CORRETTO?
2. Quando si utilizza la convalida incrociata per selezionare i parametri del modello, quindi come stimare le prestazioni del modello in seguito? È LO STESSO PROCESSO N ° 1 SOPRA O DOVREBBE UTILIZZARE IL CV NIDATO COME VISUALIZZATO A PAGINA 54 ( pdf ) O QUALCOSA ALTRO?
3. Quando si eseguono entrambi i passaggi (impostazione di funzionalità e parametri) ..... quindi cosa si fa? loop nidificati complessi?
4. Se si dispone di un campione di controllo separato, la preoccupazione scompare e è possibile utilizzare la convalida incrociata per selezionare funzionalità e parametri (senza preoccupazioni poiché la stima delle prestazioni verrà da un set di controllo)?

La cosa fondamentale da ricordare è che, affinché la convalida incrociata fornisca una stima delle prestazioni (quasi) imparziale, ogni passaggio coinvolto nell'adattamento del modello deve essere eseguito indipendentemente in ogni piega della procedura di convalida incrociata. La cosa migliore da fare è visualizzare la selezione delle caratteristiche, l'impostazione dei meta / iperparametri e l'ottimizzazione dei parametri come parti integranti del fitting del modello e non eseguire mai nessuno di questi passaggi senza eseguire gli altri due.

La distorsione ottimistica che può essere introdotta partendo da quella ricetta può essere sorprendentemente grande, come dimostrato da Cawley e Talbot , dove la distorsione introdotta da una partenza apparentemente benigna era maggiore della differenza di prestazioni tra classificatori concorrenti. I protocolli ancora peggio ancora favorevoli favoriscono fortemente i modelli cattivi, poiché sono più sensibili all'ottimizzazione degli iperparametri e quindi sono più inclini a sovra-adattarsi al criterio di selezione del modello!

Risposte a domande specifiche:

La procedura nel passaggio 1 è valida perché la selezione della funzione viene eseguita separatamente in ogni piega, quindi ciò che si sta validando in modo incrociato è l'intera procedura utilizzata per adattarsi al modello finale. La stima di convalida incrociata avrà una leggera inclinazione pessimistica poiché il set di dati per ogni piega è leggermente più piccolo dell'intero set di dati utilizzato per il modello finale.

Per 2, poiché la convalida incrociata viene utilizzata per selezionare i parametri del modello, è necessario ripetere tale procedura in modo indipendente in ogni piega della convalida incrociata utilizzata per la stima delle prestazioni, si finisce con la convalida incrociata nidificata.

Per 3, in sostanza, sì, è necessario eseguire la convalida incrociata nidificata. In sostanza, è necessario ripetere in ogni piega della convalida incrociata più esterna (utilizzata per la stima delle prestazioni) tutto ciò che si intende fare per adattarsi al modello finale.

Per 4 - sì, se si dispone di un set di controllo separato, ciò fornirà una stima imparziale delle prestazioni senza necessità di una convalida incrociata aggiuntiva.

Ho fatto un'analisi approfondita di convalida incrociata su un set di dati che è costato milioni di acquisizioni e non è disponibile alcun set di convalida esterno. In questo caso, ho eseguito un'ampia convalida incrociata nidificata per garantire la validità. Ho selezionato funzionalità e parametri ottimizzati solo dai rispettivi set di allenamento. Questo è computazionalmente costoso per grandi set di dati, ma è quello che dovevo fare per mantenere la validità. Tuttavia, ci sono complicazioni che ne derivano ... ad esempio, in ogni set di allenamento vengono selezionate diverse funzionalità.

Quindi la mia risposta è che nei casi in cui non si ha accesso fattibile a un set di dati esterno, questa è una strada ragionevole da percorrere. Quando hai un set di dati esterno, puoi praticamente andare in città come desideri sul set di dati principale e quindi testare una volta sul set di dati esterno.