Selezione del modello originale (?) Con CV piega a k

Quando utilizzo CV di k-fold per selezionare tra i modelli di regressione, di solito computo l'errore CV separatamente per ciascun modello, insieme al suo errore standard SE, e seleziono il modello più semplice entro 1 SE dal modello con l'errore CV più basso (il 1 regola di errore standard, vedere ad esempio qui ). Tuttavia, recentemente mi è stato detto che in questo modo sto sopravvalutando la variabilità e che nel caso specifico della selezione tra due modelli A e B, dovrei davvero procedere in un modo diverso:

per ogni piega di lunghezza , calcola le differenze puntuali tra le previsioni dei due modelli, quindi calcola la differenza quadrata media per la piega $K$ $N_K$ $M S D_{K} = \sqrt{\frac{Σ_{io = 1}^{N_{K}} {({\hat{y}}_{UN io} - {\hat{y}}_{B io})}^{2}}{N_{K}}}$ $MSD_K=\sqrt{\frac{\sum_{i=1}^{N_K}\left(\hat{y}_{Ai}-\hat{y}_{Bi}\right)^2}{N_K}}$
medio attraverso le pieghe come al solito e usa questo errore di differenza CV (insieme al suo errore standard) come stimatore per l'errore di generalizzazione. $MSD_K$

Domande:

Questo ha senso per te? So che ci sono ragioni teoriche dietro l'uso dell'errore CV come uno stimatore dell'errore di generalizzazione (non so quali sono questi motivi, ma so che esistono!). Non ho idea se ci siano ragioni teoriche dietro l'uso di questo errore CV "differenza".
Non so se questo possa essere generalizzato ai confronti di più di due modelli. Il calcolo delle differenze per tutte le coppie di modelli sembra rischioso (confronti multipli?): Cosa faresti se avessi più di due modelli?

EDIT: la mia formula è totalmente sbagliata, la metrica corretta è descritta qui ed è molto più complicata. Bene, sono felice di averlo chiesto qui prima di applicare la formula in modo accecante! Ringrazio @Bay per avermi aiutato a capire con la sua risposta illuminante. La misura corretta descritta è piuttosto sperimentale, quindi mi atterrò al mio cavallo di lavoro fidato, l'errore CV!

regression cross-validation model-selection

— DeltaIV
fonte

$MSD_K$

Ad esempio, potrei inventare una coppia stupida di predittori:

{\hat{y}}_{UN} (X, θ) = 1 + \frac{⟨ X, 1 ⟩}{θ}

$\hat y_A(\mathbf{x},\theta)= 1+\frac{\langle \mathbf{x},1\rangle}\theta$

{\hat{y}}_{B} (X, θ) : = 1 + \frac{⟨ X, 1 ⟩}{θ^{2}}

$\hat y_B(\mathbf{x},\theta):= 1+\frac{\langle \mathbf{x},1\rangle}{\theta^2}$

$\theta$ $MSD_K$

$MSD_K$ $MSD_K$

Risposta al commento OP

La formula presentata nel tuo commento richiede un po 'di contesto:

È una misura bayesiana di accuratezza, in quanto eldd è la densità predittiva logaritmica prevista - piuttosto un boccone, ma fondamentalmente, è la somma dei valori attesi del logaritmo della densità predittiva posteriore valutata in ciascun punto di dati in base a un predittivo precedente densità stimata usando la validazione incrociata.
La misura di cui sopra (elpd) viene calcolata utilizzando la validazione incrociata con un criterio one-out, in cui la densità predittiva viene presa nel punto omesso.
Quello che sta facendo la loro formula (19) è calcolare l'errore standard della differenza nella precisione predittiva (misurata usando elpd) tra due modelli. L'idea è che la differenza tra elpd è asintoticamente normale, quindi l'errore standard ha un significato inferenziale (e può essere usato per testare se la differenza sottostante è zero), oppure il modello A ha un errore di previsione più piccolo del modello B.

Quindi, ci sono molte parti mobili in questa misura: è necessario aver eseguito un algoritmo di campionamento MCMC per ottenere punti dalla densità dei parametri posteriori. È quindi necessario integrarlo per ottenere densità predittive. Quindi è necessario prendere i valori previsti di ciascuno di questi (su molti sorteggi). È piuttosto un processo, ma alla fine dovrebbe dare un utile errore standard.

Nota: nel terzo paragrafo completo sotto l'equazione (19), gli autori affermano che sono necessarie ulteriori ricerche per determinare se questo approccio funziona bene per il confronto tra modelli ... quindi, non è ancora ben testato (altamente sperimentale). Pertanto, stai sostanzialmente confidando nell'utilità di questo metodo fino a quando gli studi di follow-up non verificheranno che identifichi in modo affidabile il modello migliore (in termini di elpd ).

s e ({\hat{e l p d}}_{L O O}^{A} - {\hat{e l p d}}_{L O O}^{B})

$se(\widehat{elpd}_{LOO}^A-\widehat{elpd}_{LOO}^B)$

@DeltaIV Ok ... controllerò la sezione di riferimento e proverò a decomprimere quella formula per te.

@DeltaIV ok, ho avuto una modifica da rivedere. Ho ampliato il mio post. Questo sembra essere un metodo molto sperimentale (e non verificato) per confrontare due modelli di predizione. Starei attento a usarlo a meno che tu non possa verificarne le prestazioni con i tuoi studi Monte Carlo (ad esempio, può scegliere il modello più predittivo quando conosci la risposta giusta?).