Segnalazione della varianza della ripetuta convalida incrociata di k-fold

Ho usato ripetute convalide incrociate di k-fold e ho riportato la media (della metrica di valutazione, ad es. Sensibilità, specificità) calcolata come media media attraverso le pieghe di diverse serie di convalide incrociate.

Tuttavia, non sono sicuro di come segnalare la varianza. Ho trovato qui molte domande relative alla ripetuta convalida incrociata, tuttavia nessuna delle quali sono a conoscenza risponde esplicitamente alla domanda di varianza nei test ripetuti di convalida incrociata.

Comprendo che la varianza totale è dovuta a: 1) instabilità del modello e 2) dimensioni del campione limitate.

Sembra che ci siano 4 approcci diversi per calcolare la varianza per la convalida incrociata ripetuta di k-fold:

1) la varianza della metrica della prestazione media stimata (ad es. Accuratezza) tra le serie della convalida incrociata è una stima valida della varianza?

2) la varianza aggregata raggruppando le varianze specifiche della corsa (che vengono calcolate su diverse pieghe di una serie di test di convalida incrociata).

3) concatenare i risultati della classificazione da diverse pieghe di una corsa di convalida incrociata in un vettore grande. Ad esempio, se il numero di dati di test in ciascuna piega è 10 e ho un CV di 10 volte, il vettore risultante per una ripetizione sarà della dimensione 100. Ora, se ripeto il test di convalida incrociata 10 volte, lo farò hanno 10 vettori della dimensione 100, ognuno dei quali contenente i risultati della classificazione da una serie di CV di 10 volte. Ora, calcolerei la media e la varianza come nel caso del CV a corsa singola.

4) Ho anche letto (equazioni 2 e 3 in 1 ) che la varianza è la somma della varianza esterna e della varianza interna prevista. Se capisco correttamente, la varianza esterna è la varianza delle prestazioni medie specifiche della ripetizione e la varianza interna è la varianza tra le diverse pieghe di una serie di convalide incrociate.

Apprezzerei molto il tuo aiuto e la tua guida su quale varianza sarebbe quella appropriata da segnalare per il test di convalida incrociata ripetuto.

Grazie,

1 e 3 mi sembrano non validi poiché non tengono conto delle dipendenze tra ripetizioni. In altre parole, le ripetute ripetizioni di k-fold sono più simili tra loro rispetto alle reali ripetizioni dell'esperimento con dati indipendenti.

2 non tiene conto delle dipendenze tra le pieghe all'interno della stessa corsa.

Non ne so 4.

Un riferimento potenzialmente rilevante (e scoraggiante) è Bengio & Grandvalet, 2004, "Nessun stimatore non distorto della varianza della K-Fold Cross-Validation"