Il miglior approccio per la selezione del modello bayesiano o cross-validation?

Quando provo a scegliere tra vari modelli o il numero di funzioni da includere, diciamo che posso pensare a due approcci.

1. Dividi i dati in training e set di test. Meglio ancora, usa bootstrap o k-fold cross-validation. Allenarsi sul set di allenamento ogni volta e calcolare l'errore sul set di test. Traccia errore di test vs. numero di parametri. Di solito, ottieni qualcosa del genere:
2. Calcola la probabilità del modello integrando i valori dei parametri. vale a dire, calcolare , e tracciare questo con il numero di parametri. Quindi otteniamo qualcosa del genere:$\int_\theta P(D|\theta)P(\theta)d \theta$

Quindi le mie domande sono:

1. Questi approcci sono adatti per risolvere questo problema (decidere quanti parametri includere nel modello o selezionare tra un numero di modelli)?
2. Sono equivalenti? Probabilmente no. Daranno lo stesso modello ottimale sotto certe ipotesi o in pratica?
3. A parte la solita differenza filosofica di specificare le conoscenze pregresse nei modelli bayesiani ecc., Quali sono i pro e i contro di ogni approccio? Quale sceglieresti?

Aggiornamento: ho anche trovato la domanda correlata sul confronto tra AIC e BIC. Sembra che il mio metodo 1 sia asintoticamente equivalente all'AIC e il metodo 2 sia asintoticamente correlato al BIC. Ma ho anche letto lì che BIC è equivalente al CV Leave-One-Out. Ciò significherebbe che il minimo dell'errore di addestramento e il massimo della probabilità bayesiana sono equivalenti quando il CV LOO è equivalente al CV K-fold. Un articolo forse molto interessante " Una teoria asintotica per la selezione di modelli lineari " di Jun Shao si riferisce a questi temi.

1. Questi approcci sono adatti per risolvere questo problema (decidere quanti parametri includere nel modello o selezionare tra un numero di modelli)?

O uno potrebbe essere, sì. Se sei interessato ad ottenere un modello che predice meglio, dall'elenco dei modelli che consideri, l'approccio di suddivisione / convalida incrociata può fare altrettanto. Se sei interessato a sapere quale dei modelli (nel tuo elenco di modelli putativi) è in realtà quello che genera i tuoi dati, allora il secondo approccio (valutare la probabilità posteriore dei modelli) è quello che desideri.

2. Sono equivalenti? Probabilmente no. Daranno lo stesso modello ottimale sotto certe ipotesi o in pratica?

No, non sono generalmente equivalenti. Ad esempio, l'utilizzo di AIC (An Information Criterion, di Akaike) per scegliere il modello "migliore" corrisponde approssimativamente alla validazione incrociata. L'uso del BIC (Bayesian Information Criterion) corrisponde all'utilizzo delle probabilità posteriori, ancora approssimativamente. Questi non sono lo stesso criterio, quindi ci si dovrebbe aspettare che conducano a scelte diverse, in generale. Essi possono dare le stesse risposte - ogni volta che il modello che predice meglio anche sembra essere la verità - ma in molte situazioni il modello che meglio si adatta in realtà è uno che overfits, che porta al disaccordo tra gli approcci.

Sono d'accordo nella pratica? Dipende da cosa comporta la tua "pratica". Provalo in entrambi i modi e scoprilo.

3. A parte la solita differenza filosofica di specificare le conoscenze pregresse nei modelli bayesiani ecc., Quali sono i pro e i contro di ogni approccio? Quale sceglieresti?

• In genere è molto più semplice eseguire i calcoli per la convalida incrociata, piuttosto che calcolare le probabilità posteriori
• Spesso è difficile dimostrare in modo convincente che il modello "vero" è compreso nell'elenco da cui si sta scegliendo. Questo è un problema per l'uso delle probabilità posteriori, ma non per la convalida incrociata
• Entrambi i metodi tendono a comportare l'uso di costanti abbastanza arbitrarie; quanto vale un'unità aggiuntiva di previsione, in termini di numero di variabili? Quanto crediamo a ciascuno dei modelli, a priori ?
  • Probabilmente sceglierei la convalida incrociata. Ma prima di impegnarmi, vorrei sapere molto sul motivo per cui questa selezione del modello era in corso, vale a dire per cosa doveva essere utilizzato il modello scelto. Nessuna delle due forme di selezione dei modelli può essere appropriata, se per esempio è richiesta l'inferenza causale.

L'ottimizzazione è la radice di tutto il male nelle statistiche! ; O)

Ogni volta che si tenta di selezionare un modello basato su un criterio che viene valutato su un campione finito di dati, si introduce il rischio di un eccesso di adattamento del criterio di selezione del modello e si finisce con un modello peggiore di quello che si è iniziato. Sia la convalida incrociata che la probabilità marginale sono criteri di selezione dei modelli sensibili, ma dipendono entrambi da un campione finito di dati (come lo sono AIC e BIC: la penalità di complessità può aiutare, ma non risolve questo problema). Ho trovato che questo è un problema sostanziale nell'apprendimento automatico, vedi

GC Cawley e NLC Talbot, Over-fitting nella selezione dei modelli e conseguente bias nella selezione delle prestazioni, Journal of Machine Learning Research, 2010. Research, vol. 11, pp. 2079-2107, luglio 2010. ( www )

Da un punto di vista bayesiano, è meglio integrarsi su tutte le scelte e i parametri del modello. Se non ottimizzi o scegli nulla, diventa più difficile adattarsi troppo. Il rovescio della medaglia è che si finisce con integrali difficili, che spesso devono essere risolti con MCMC. Se si desidera la migliore performance predittiva, suggerirei un approccio completamente bayesiano; se vuoi capire i dati, spesso è utile scegliere un modello migliore. Tuttavia, se si ricampionano i dati e si finisce con un modello diverso ogni volta, significa che la procedura di adattamento è instabile e nessuno dei modelli è affidabile per la comprensione dei dati.

Si noti che un'importante differenza tra convalida incrociata e prove è che il valore della probabilità marginale presuppone che il modello non sia erroneamente specificato (essenzialmente la forma di base del modello è appropriata) e può dare risultati fuorvianti se lo è. La convalida incrociata non fa tale ipotesi, il che significa che può essere un po 'più robusto.