Convalida incrociata vs Bayes empirici per la stima di iperparametri

Dato un modello gerarchico , voglio che un processo in due fasi si adatti al modello. Innanzitutto, correggi una manciata di iperparametri , quindi fai l'inferenza bayesiana sul resto dei parametri . Per correggere gli iperparametri sto prendendo in considerazione due opzioni.$p(x|\phi,\theta)$$\theta$$\phi$

1. Usa Empirical Bayes (EB) e massimizza la probabilità marginale (integrando il resto del modello che contiene parametri dimensionali elevati).$p(\mbox{all data}|\theta)$
2. Usa tecniche di convalida incrociata (CV) come -fold cross validation per scegliere che massimizza la probabilità .$k$$\theta$$p(\mbox{test data}|\mbox{training data}, \theta)$

Il vantaggio di EB è che posso usare tutti i dati contemporaneamente, mentre per CV devo (potenzialmente) calcolare la probabilità del modello più volte e cercare . Le prestazioni di EB e CV sono comparabili in molti casi (*) e spesso EB è più veloce da stimare.$\theta$

Domanda: esiste una base teorica che collega i due (diciamo, EB e CV sono gli stessi nel limite dei dati di grandi dimensioni)? O collega EB ad alcuni criteri di generalizzabilità come il rischio empirico? Qualcuno può indicare un buon materiale di riferimento?

(*) A titolo di illustrazione, ecco una figura del Machine Learning di Murphy , Sezione 7.6.4, in cui afferma che per la regressione della cresta entrambe le procedure producono risultati molto simili:

Murphy afferma anche che il principale vantaggio pratico dell'empirico Bayes (lo chiama "procedura di prova") rispetto al CV è quando costituito da molti iperparametri (ad esempio penalità separata per ogni caratteristica, come nella determinazione automatica della pertinenza o ARD). Lì non è possibile utilizzare CV.$\theta$

Dubito che ci sarà un collegamento teorico che afferma che la massimizzazione delle prove e del CV sono asintoticamente equivalenti poiché l'evidenza ci dice la probabilità dei dati dati i presupposti del modello . Pertanto, se il modello non viene specificato correttamente, le prove potrebbero essere inaffidabili. La convalida incrociata d'altra parte fornisce una stima della probabilità dei dati, indipendentemente dal fatto che le ipotesi di modellazione siano corrette o meno. Ciò significa che l'evidenza può essere una guida migliore se le ipotesi di modellazione sono corrette utilizzando meno dati, ma la convalida incrociata sarà robusta rispetto alle specifiche errate del modello. Il CV è assintoticamente imparziale, ma suppongo che le prove non lo siano a meno che le ipotesi del modello non siano esattamente corrette.

Questa è essenzialmente la mia intuizione / esperienza; Sarei anche interessato a conoscere la ricerca al riguardo.

Si noti che per molti modelli (ad es. Regressione della cresta, processi gaussiani, regressione della cresta del kernel / LS-SVM ecc.) È possibile eseguire una convalida incrociata con una sola uscita almeno in modo efficiente quanto la stima delle prove, quindi non esiste necessariamente un calcolo vantaggio lì.

Addendum: Sia la probabilità marginale che le stime delle prestazioni di convalida incrociata sono valutate su un campione finito di dati, e quindi c'è sempre la possibilità di un adattamento eccessivo se un modello è ottimizzato ottimizzando entrambi i criteri. Per piccoli campioni, la differenza nella varianza dei due criteri può decidere quale funziona meglio. Vedi il mio documento

Gavin C. Cawley, Nicola LC Talbot, "Sull'adattamento eccessivo nella selezione dei modelli e conseguente pregiudizio nella selezione delle prestazioni", Journal of Machine Learning Research, 11 (lug): 2079-2107, 2010. ( pdf )

$k$$k$