Calcolo degli intervalli di previsione quando si utilizza la convalida incrociata

Le stime di deviazione standard sono calcolate tramite:

$s_N = \sqrt{\frac{1}{N} \sum_{i=1}^N (x_i - \overline{x})^2}.$

( http://en.wikipedia.org/wiki/Standard_deviation#Sample_standard_deviation )

per la precisione delle previsioni campionata da 10 volte la convalida incrociata? Sono preoccupato che l'accuratezza della previsione calcolata tra ciascuna piega dipenda dalla sostanziale sovrapposizione tra le serie di allenamento (sebbene le serie di previsioni siano indipendenti). Qualsiasi risorsa che ne discute sarebbe molto utile.

Sono preoccupato che l'accuratezza della previsione calcolata tra ciascuna piega dipenda dalla sostanziale sovrapposizione tra le serie di allenamento (sebbene le serie di previsioni siano indipendenti).

IMHO la sovrapposizione tra i set di allenamento non deve essere una grande preoccupazione qui. Cioè, è ovviamente importante verificare se i modelli sono stabili. Stabile implica che le previsioni dei modelli surrogati di validazione incrociata sono equivalenti (cioè un caso indipendente otterrebbe la stessa previsione da tutti quei modelli), e infatti la validazione incrociata di solito rivendica l'equivalenza non solo tra i modelli surrogati ma anche al modello addestrato su tutti casi. Quindi questa dipendenza è piuttosto una conseguenza di ciò che vogliamo avere.

Questo vale per la tipica domanda: se alleno un modello su questi dati, quali sono gli intervalli di previsione? Se la domanda è invece, se formiamo un modello su casi di questa popolazione, quali sono gli intervalli di previsione? Non possiamo rispondere perché quella sovrapposizione nei set di addestramento significa che sottovalutiamo la varianza di un importo sconosciuto.$n$

Quali sono le conseguenze rispetto ai test con un set di test indipendente?

• Le stime di convalida incrociata possono presentare una varianza maggiore rispetto al test del modello finale con un set di test indipendente della stessa dimensione, perché oltre alla varianza dovuta ai casi di test affrontiamo la varianza a causa dell'instabilità dei modelli surrogati.

• Tuttavia, se i modelli sono stabili, questa varianza è piccola / trascurabile. Inoltre questo tipo di stabilità può essere misurato.

• Ciò che non può essere misurato è quanto sia rappresentativo l'intero set di dati rispetto alla popolazione da cui è stato tratto. Ciò include parte del bias del modello finale (tuttavia, anche un piccolo set di test indipendenti può avere un bias) e significa che la varianza corrispondente non può essere stimata mediante validazione incrociata.

• Nella pratica applicativa (prestazioni del modello addestrato su questi dati), il calcolo dell'intervallo di previsione affronta i problemi che l'IMHO è più importante di quale parte della validazione incrociata della varianza non può rilevare: ad es.

  • la validazione incrociata non può testare le prestazioni per casi indipendenti nel tempo (le previsioni sono generalmente necessarie per casi che verranno misurati in futuro)
  • i dati possono contenere cluster sconosciuti e le prestazioni fuori cluster possono essere importanti. I dati cluster sono in principio qualcosa di cui si può tenere conto nella convalida incrociata, ma è necessario conoscere il clustering.

  Questi sono più di una semplice convalida incrociata rispetto a una serie di test indipendenti: in pratica dovresti sederti e progettare uno studio di validazione, altrimenti c'è un alto rischio che il set di test "indipendente" non sia poi così indipendente. Una volta fatto ciò, si può pensare a quali fattori sono probabilmente di importanza pratica e quali possono essere trascurati. Si può arrivare alla conclusione che, dopo un'attenta valutazione, la valutazione incrociata è abbastanza buona e la cosa ragionevole da fare perché la convalida indipendente sarebbe troppo costosa rispetto al possibile guadagno di informazioni.

Tutto la solita formula per la deviazione standard, la chiamerei in analogia a e in dettaglio come è stato eseguito il test.$s_{CV}$$RMSE_{CV}$