Convalida incrociata e ottimizzazione dei parametri

Ho una domanda sull'ottimizzazione dei parametri quando utilizzo la convalida incrociata 10 volte.

Voglio chiedere se i parametri devono essere corretti o meno durante l'allenamento del modello di ogni piega, ovvero (1) selezionare un set di parametri ottimizzati per la precisione media di ogni piega.

o

(2) Dovrei trovare il parametro ottimizzato per ogni piega e quindi ogni piega utilizza diversi parametri ottimizzati per addestrare il suo modello, quindi testare i dati di test della piega rispettivamente e infine calcolare la precisione di ogni piega come risultato?

Qual è il metodo corretto per la convalida incrociata? Molte grazie.

Distinguiamo innanzitutto tra due serie di parametri: parametri del modello (ad es. Pesi per le funzioni in regressione) e parametri dell'algoritmo di apprendimento (e iperparametri). Lo scopo della convalida incrociata è identificare i parametri di apprendimento che si generalizzano bene tra i campioni di popolazione da cui apprendiamo in ogni piega.

Più specificamente: cerchiamo globalmente nello spazio i parametri di apprendimento, ma all'interno di ogni piega fissiamo i parametri di apprendimento e apprendiamo i parametri del modello. Il risultato dovrebbe essere l'apprendimento di parametri che producono in media le migliori prestazioni in tutte le pieghe. Possiamo quindi usarli per addestrare un modello sull'intero set di dati.

Penso che la risposta attualmente accettata sia incompleta in modo sfortunato. Non sono d'accordo con la frase

Lo scopo della convalida incrociata è identificare i parametri di apprendimento che si generalizzano bene tra i campioni di popolazione da cui apprendiamo in ogni piega.

Questa è davvero un'applicazione molto importante della validazione incrociata, ma non l'unica. Di solito, vuoi fare due cose:

1. Costruisci il modello migliore che puoi
2. Ottieni un'impressione accurata di come si comporta bene

Ora, per completare l'obiettivo 1 a seconda dell'algoritmo, potrebbe essere necessario ottimizzare alcuni iperparametri e ciò viene effettivamente spesso eseguito mediante convalida incrociata. Ma questo non ti aiuta ancora con l'obiettivo 2. Per questo devi sostanzialmente nidificare la validazione incrociata, in questo modo:

• Separare interi dati in n pieghe
• Per ognuno, piega nuovamente i dati di allenamento in sottocartelle
• Usa la validazione incrociata sulle sottocartelle per imparare buoni iperparametri
• Con questi iperparametri costruisci un modello sui dati di allenamento di quella piega
• Testare il modello sui dati di test
• Ripetere alla piega successiva

Per costruire un buon modello è sufficiente la validazione incrociata interna. Dovrai comunque farlo per ottenere un buon modello. Ma per ottenere una buona stima delle prestazioni del modello è necessario eseguire l'intero processo di creazione del modello all'interno di uno schema di convalida incrociata. Ciò include anche passaggi come imputazione, ecc.