A parte le considerazioni sulla potenza di calcolo, ci sono dei motivi per ritenere che aumentare il numero di pieghe nella convalida incrociata porta a una migliore selezione / convalida del modello (vale a dire che maggiore è il numero di pieghe meglio è)?

Portando l'argomento all'estremo, la convalida incrociata senza esclusione di risultati porta necessariamente a modelli migliori rispetto alla convalida incrociata di $K$ ?

Alcuni retroscena di questa domanda: sto lavorando a un problema con pochissimi casi (ad es. 10 positivi e 10 negativi), e temo che i miei modelli potrebbero non generalizzare bene / si adatterebbero troppo a pochi dati.

La convalida incrociata senza esclusione di solito non porta a prestazioni migliori rispetto a K-fold ed è più probabile che sia peggiore , poiché presenta una varianza relativamente elevata (ovvero il suo valore cambia di più per diversi campioni di dati rispetto al valore per k-fold cross-validation). Ciò è negativo in un criterio di selezione del modello in quanto significa che il criterio di selezione del modello può essere ottimizzato in modi che sfruttano semplicemente la variazione casuale nel particolare campione di dati, piuttosto che apportare autentici miglioramenti nelle prestazioni, vale a dire che è più probabile che si adattino troppo il criterio di selezione del modello. Il motivo per cui nella pratica viene utilizzata la convalida incrociata "one-out-one-out" è che per molti modelli può essere valutato in modo molto economico come sottoprodotto dell'adattamento del modello.

Se la spesa computazionale non è principalmente un problema, un approccio migliore consiste nell'eseguire ripetute convalide incrociate k-fold, in cui la procedura di convalida incrociata k-fold viene ripetuta con diverse partizioni casuali in k sottoinsiemi disgiunti ogni volta. Questo riduce la varianza.

Se hai solo 20 modelli, è molto probabile che sperimenterai un adattamento eccessivo del criterio di selezione del modello, che è una trappola molto trascurata nelle statistiche e nell'apprendimento automatico (spina spudorata: vedi il mio articolo sull'argomento). Potresti stare meglio scegliendo un modello relativamente semplice e cercare di non ottimizzarlo in modo molto aggressivo, o adottare un approccio bayesiano e una media su tutte le scelte del modello, ponderato per la loro plausibilità. L'ottimizzazione IMHO è la radice di tutto il male nelle statistiche, quindi è meglio non ottimizzare se non è necessario e ottimizzare con cautela ogni volta che lo fai.

Nota anche se hai intenzione di eseguire la selezione del modello, devi usare qualcosa come la convalida incrociata nidificata se hai anche bisogno di una stima delle prestazioni (cioè devi considerare la selezione del modello come parte integrante della procedura di adattamento del modello e convalidare in modo incrociato che anche).

Scegliendo il numero K si piega considerando la curva di apprendimento

Vorrei sostenere che la scelta del numero appropriato di pieghe dipende molto dalla forma e dalla posizione della curva di apprendimento, principalmente a causa del suo impatto sulla distorsione . Questo argomento, che si estende al CV "one-out-out", è ampiamente tratto dal libro "Elements of Statistical Learning" capitolo 7.10, pagina 243.$K$

Per discussioni sull'impatto di sulla varianza vedere qui$K$

Riassumendo, se la curva di apprendimento ha una pendenza considerevole alla dimensione del set di allenamento dato, la convalida incrociata di cinque o dieci volte sovrastimerà il vero errore di previsione. Se questo pregiudizio sia uno svantaggio nella pratica dipende dall'obiettivo. D'altra parte, la convalida incrociata con esclusione di dati ha una propensione bassa ma può avere una varianza elevata.

Una visualizzazione intuitiva usando un esempio di giocattolo

Per comprendere visivamente questo argomento, considera il seguente esempio di giocattolo in cui stiamo adattando un polinomio di grado 4 a una curva sinusoidale rumorosa:

Intuitivamente e visivamente, prevediamo che questo modello non funzionerà correttamente per piccoli set di dati a causa di un overfitting. Questo comportamento si riflette nella curva di apprendimento in cui tracciamo Errore quadrato medio vs Dimensione dell'allenamento insieme a una deviazione standard di 1. Si noti che ho scelto di tracciare 1 - MSE qui per riprodurre l'illustrazione utilizzata in ESL pagina 243$1 -$$\pm$

Discutere l'argomento

Le prestazioni del modello migliorano significativamente all'aumentare della dimensione dell'allenamento fino a 50 osservazioni. Aumentare ulteriormente il numero a 200, ad esempio, porta solo piccoli benefici. Considera i seguenti due casi:

1. Se il nostro set di training avesse 200 osservazioni, una validazione incrociata di volte stimerebbe le prestazioni su una dimensione di training di 160 che è praticamente la stessa delle prestazioni per le dimensioni del set di training 200. Pertanto la validazione incrociata non soffrirebbe di molti pregiudizi e aumentando a valori più grandi non porteranno molto beneficio ( diagramma a sinistra )$5$$K$

2. Tuttavia, se il set di training avesse osservazioni, una validazione incrociata di volte stimerebbe le prestazioni del modello rispetto a set di training di dimensioni 40, e dalla curva di apprendimento questo porterebbe a un risultato distorto. Quindi aumentare in questo caso tenderà a ridurre il bias. ( trama a destra ).5 $50$$5$$K$

[Aggiornamento] - Commenti sulla metodologia

Puoi trovare il codice per questa simulazione qui . L'approccio era il seguente:

1. Genera 50.000 punti dalla distribuzione cui è nota la vera varianza di$sin(x) + \epsilon$$\epsilon$
2. Iterate volte (ad es. 100 o 200 volte). Ad ogni iterazione, modifica il set di dati ricampionando punti dalla distribuzione originale$i$$N$
3. Per ogni set di dati : $i$
   • Esegue la convalida incrociata K-fold per un valore di$K$
   • Memorizza l'errore medio quadrato medio (MSE) attraverso le pieghe K.
4. Una volta completato il loop over , calcolare la deviazione media e standard dell'MSE attraverso set di dati per lo stesso valore dii $i$$i$$K$
5. Ripeti i passaggi precedenti per tutti i nell'intervallo fino a LOOCV{ 5 , . . . , N $K$$\{ 5,...,N\}$

Un approccio alternativo consiste nel non ricampionare un nuovo set di dati ad ogni iterazione e invece rimpasto lo stesso set di dati ogni volta. Questo sembra dare risultati simili.