La convalida incrociata ripetuta dovrebbe essere utilizzata per valutare i modelli predittivi?

Mi sono imbattuto in questo articolo del 2012 di Gitte Vanwinckelen e Hendrik Blockeel mettendo in discussione l'utilità della ripetuta convalida incrociata, che è diventata una tecnica popolare per ridurre la varianza della convalida incrociata.

Gli autori hanno dimostrato che mentre la ripetuta convalida incrociata riduce la varianza delle previsioni del modello, poiché lo stesso set di dati campione viene ricampionato, la media delle stime ricondizionate di convalida converge in una stima distorta della vera precisione predittiva e quindi non è utile.

Dovrebbero essere utilizzate ripetute convalide incrociate nonostante queste limitazioni?

cross-validation

— robertf
fonte

Nella mia esperienza, la convalida incrociata (ripetuta o meno) non fornisce un'ottima stima dell'accuratezza predittiva. Ma è molto utile per confrontare le prestazioni predittive di diversi modelli. È un buon modo di scegliere tra i modelli ma non un buon modo per stimare le prestazioni di un singolo modello.

— Flounderer,

@Flounderer Questo è un buon punto. La mia interpretazione dell'articolo è che non possiamo fare confronti significativi di modelli basati su convalida incrociata ripetuta rispetto a convalida incrociata non ripetuta. Stai cercando di spremere una quantità irragionevole di informazioni dai dati. O è sbagliato?

— RobertF,

L'argomento che il documento sembra stia facendo mi sembra strano.

Secondo il giornale, l'obiettivo del CV è quello di stimare , la performance predittiva atteso del modello su nuovi dati, dato che il modello è stato addestrato sul set di dati osservati . Quando effettuiamo CV -fold, si ottiene una stima di questo numero. A causa della suddivisione casuale di in pieghe, questa è una variabile casuale con media e varianza . Al contrario, $\alpha_2$ $S$ $k$ $\hat A$ $S$ $k$ $\hat A \sim f(A)$ $\mu_k$ $\sigma^2_k$ $n$ -volte ripetuto CV produce una stima con la stessa media ma varianza minore . $\mu_k$ $\sigma^2_k/n$

Ovviamente, . Questo pregiudizio è qualcosa che dobbiamo accettare. $\alpha_2\ne \mu_k$

Tuttavia, l'errore previsto sarà maggiore per piccole , e sarà il più grande per , almeno con la stima ragionevole , ad esempio quando . In altre parole, il CV ripetuto consente di ottenere una stima più precisa di $\mathbb E\big[|\alpha_2-\hat A|^2\big]$ $n$ $n=1$ $f(A)$ $\hat A\mathrel{\dot\sim} \mathcal N(\mu_k,\sigma^2_k/n)$ $\mu_k$ ed è una buona cosa perché fornisce una stima più precisa di $\alpha_2$ .

Pertanto, il CV ripetuto è strettamente più preciso del CV non ripetuto.

Gli autori non ne discutono! Invece sostengono, in base alle simulazioni, che

ridurre la varianza [ripetendo CV] è, in molti casi, non molto utile ed essenzialmente uno spreco di risorse computazionali.

Questo significa solo che nelle loro simulazioni era piuttosto basso; e in effetti, la dimensione del campione più bassa che usavano era , che è probabilmente abbastanza grande da produrre piccoli $\sigma^2_k$ $200$ $\sigma^2_k$ . (La differenza nelle stime ottenute con CV non ripetuto e CV ripetuto 30 volte è sempre piccola.) Con campioni di dimensioni più piccole ci si può aspettare una maggiore varianza tra le ripetizioni.

CAVEAT: intervalli di confidenza!

Un altro punto che gli autori stanno facendo è quello

la segnalazione di intervalli di confidenza [in ripetute convalide incrociate] è fuorviante.

$\mu_k$ $\alpha_2$

$k$ pieghe. Direi che anche questi EC sono praticamente insignificanti!

adult $\mu_k$

PIÙ CAVEAT GENERALE: varianza del CV.

Hai scritto quel CV ripetuto

è diventata una tecnica popolare per ridurre la varianza della convalida incrociata.

$\mu_k$ $k=N$ $k$

$\alpha_1$ $S$

— ameba dice Reinstate Monica
fonte

Spero che @cbeleites noterà questo thread e commenterà qui o lascerà la sua risposta: so che sta (o stava) usando molto CV ripetuto e penso che sia sostenuta per la variabilità del calcolo rispetto alle ripetizioni come misura della stabilità del modello. Ma non penso che calcolerebbe un elemento della configurazione rispetto alle ripetizioni.

— ameba dice di reintegrare Monica

μ_{k}

$\mu_k$

α_{2}

$\alpha_2$

μ_{k}

$\mu_k$

α_{2}

$\alpha_2$

μ_{k}

$\mu_k$

@RobertF: Stavo parlando (seguendo il documento di V&B) sulla stima delle prestazioni del modello. La mia tesi è che il CV ripetuto è più preciso del CV non ripetuto e penso che sia indubbio (V&R sostiene che la differenza nella precisione tende a non essere così importante nella pratica). Confrontare due modelli è molto più complicato, perché diciamo che esegui CV e ottieni il 70% per un modello e il 71% per un altro modello. È una differenza "significativa"? Bene, questo è un problema difficile senza una risposta definitiva. Ed è indipendente dal problema ripetuto / non ripetuto.

— ameba dice di reintegrare Monica

Spunti di riflessione: appliedpredictivemodeling.com/blog/2014/11/27/…

— shadowtalker

Bel lavoro. Premio assegnato. Immagino che riassumerei la morale della storia come: ripetute convalide incrociate possono essere utili solo quando

σ_{k}

$\sigma_k$ è piccolo, il che è più probabile per campioni relativamente piccoli. Il problema di come la convalida incrociata stima l'errore di test utilizzando il set di dati di training fornito , rispetto all'errore di test previsto utilizzando un set di dati di training casuale della stessa dimensione, è discusso nella sezione 7.12 di Hastie, Tibshirani e Friedman (2009). Hastie et al. Concludo che è meglio a quest'ultimo.

— Kodiologo