Come funziona la convalida incrociata Leave-one-out? Come selezionare il modello finale da modelli diversi?

Ho alcuni dati e voglio costruire un modello (per esempio un modello di regressione lineare) da questi dati. Nel prossimo passaggio, voglio applicare il modello di convalida incrociata (LOOCV) Leave-One-Out sul modello, quindi guarda quanto funziona bene.

Se ho capito bene LOOCV, ho creato un nuovo modello per ciascuno dei miei campioni (il set di test) usando ogni campione tranne questo campione (il set di addestramento). Quindi utilizzo il modello per prevedere il set di test e calcolare gli errori . $(\text{predicted} - \text{actual})$

Nel passaggio successivo aggregherò tutti gli errori generati utilizzando una funzione scelta, ad esempio errore quadratico medio. Posso usare questi valori per giudicare la qualità (o la bontà di adattamento) del modello.

Domanda: a quale modello si applicano i valori di qualità, quindi quale modello devo scegliere se trovo le metriche generate da LOOCV appropriate per il mio caso? LOOCV ha esaminato diversi modelli (dove è la dimensione del campione); quale è il modello che dovrei scegliere? $n$ $n$

È il modello che utilizza tutti i campioni? Questo modello non è mai stato calcolato durante il processo LOOCV!
È il modello che presenta il minor errore?

cross-validation

— theomega
fonte

Correlato: stats.stackexchange.com/questions/11602 .

— ameba dice di reintegrare Monica il

È meglio pensare alla convalida incrociata come un modo per stimare le prestazioni di generalizzazione dei modelli generati da una particolare procedura, piuttosto che dal modello stesso. La convalida incrociata senza esclusione di dati è essenzialmente una stima delle prestazioni di generalizzazione di un modello addestrato su campioni di dati , che è generalmente una stima leggermente pessimistica delle prestazioni di un modello addestrato su campioni. $n-1$ $n$

Invece di scegliere un modello, la cosa da fare è adattare il modello a tutti i dati e utilizzare LOO-CV per fornire una stima leggermente conservativa delle prestazioni di quel modello.

Si noti tuttavia che LOOCV ha una varianza elevata (il valore che si ottiene varia molto se si utilizza un diverso campione casuale di dati) che spesso lo rende una cattiva scelta dello stimatore per la valutazione delle prestazioni, anche se è approssimativamente imparziale. Lo uso sempre per la selezione del modello, ma in realtà solo perché è economico (quasi gratuito per i modelli del kernel su cui sto lavorando).

— Dikran Marsupial
fonte

Grazie per la risposta. Non è la frase "usa LOO-CV per fornire una stima leggermente conservativa delle prestazioni di quel modello". sbagliato è il caso generale? Il modello potrebbe peggiorare se aggiungo un altro punto, in tal caso il LOO-CV potrebbe essere un. stima ottimistica

— theomega

Maggiore è il numero di dati utilizzati per creare il modello, generalmente migliore sarà il modello. Mentre il punto aggiuntivo può rendere il modello un po 'peggio, è più probabile che lo faccia un po' meglio. Quindi, in generale, il loocv ha una leggera inclinazione pessimistica, ma è solo molto leggero, la varianza dello stimatore LOOCV è di solito una considerazione molto più ampia.

— Dikran Marsupial,

Cosa dovresti usare per la valutazione delle prestazioni allora? (Supponendo che la raccolta dei dati sia costosa, quindi si desidera utilizzare tutti i dati disponibili per adattarsi al modello).

— Suston Bob

Bootstrap probabilmente. La maggior parte dei modelli che utilizzo hanno parametri di regolarizzazione, ecc. Che devono essere sintonizzati, quindi uso spesso LOOCV per ottimizzare i modelli e il bootstrap o l'aggancio ripetuto per la valutazione delle prestazioni.

— Dikran Marsupial,

@DikranMarsupial Sei sicuro del fatto che il CV Leave-One-Out offra una propensione pessimistica? Per quanto ne so, di solito fornisce una stima dell'errore inferiore rispetto a K-Fold, ad esempio. Inoltre, LOOCV non ha 0 varianza? Puoi eseguire LOOCV solo una volta, quindi "esaurisci il campione". L'unica variazione che mi viene in mente è quella prodotta dagli algoritmi di training utilizzati per adattarsi al modello. Ma ciò dovrebbe essere associato alla varianza con la varianza dei parametri ottimali, non con l'errore del modello stesso. Grazie.

— D1X,