Convalida incrociata per modelli misti?

9

Io e il mio collega stiamo montando una serie di modelli di effetti misti lineari e non lineari in R. Ci viene chiesto di eseguire una convalida incrociata sui modelli adattati in modo da poter verificare che gli effetti osservati siano relativamente generalizzabili. Questo è normalmente un compito banale, ma nel nostro caso, dobbiamo dividere tutti i dati in una parte di addestramento e una parte di test (ai fini del CV) che non condividono livelli comuni. Per esempio,

I dati di addestramento possono essere basati sui gruppi 1,2,3,4; Il modello montato viene quindi validato in modo incrociato sul gruppo 5.

Quindi questo crea un problema poiché gli effetti casuali basati su gruppo stimati sui dati di allenamento non si applicano ai dati di test. Pertanto, non possiamo CV il modello.

C'è una soluzione relativamente semplice a questo? O qualcuno ha ancora scritto un pacchetto per affrontare questo problema? Qualsiasi suggerimento è il benvenuto!

Grazie!

mixed-model cross-validation

— Ting Qian
fonte

2

Nella stima di piccole aree, hai lo stesso problema con piccole aree "fuori campione". Ciò che di solito viene fatto è stimare gli effetti casuali fuori campione da zero (il loro valore più probabile - supponendo che gli effetti casuali siano normalmente distribuiti). In effetti, si utilizza la parte "sintetica" o fissa del modello solo per la previsione.

— Probislogic,

chanceislogic / Ting Qian, sto affrontando questo problema ora e vorrei vedere come hai specificato effetti fuori campione come 0. È possibile modificare la tua risposta qui e mostrare il codice R? Grazie!

— Pradeep Babu,

3

Fang (2011) ha dimostrato l'equivalenza asintotica tra AIC applicato a modelli misti e validazione incrociata con un cluster in uscita. Forse questo soddisfarrebbe il tuo recensore, permettendoti di calcolare semplicemente AIC come un'approssimazione più facile da calcolare a ciò che hanno richiesto?

— Mike Lawrence
fonte

Grazie! Questo sembra utile. In realtà abbiamo già calcolato il BIC, ma il revisore desidera vedere i risultati della convalida incrociata. ;-) Alcuni dei set di dati che abbiamo sono relativamente piccoli. Quindi, si può sostenere che non è previsto tale comportamento asintotico. Ma sì, potremmo certamente citare Fang (2011) quando presentiamo i risultati del BIC, dal momento che anche AIC e BIC sono asintoticamente equivalenti?

— Ting Qian,

2

Non credo che AIC e BIC siano asintoticamente equivalenti nel tentativo di rispondere a domande fondamentalmente diverse. Vedi: stats.stackexchange.com/questions/577/…

— Mike Lawrence,

Ed ecco un confronto più dettagliato di AIC e BIC: smr.sagepub.com/cgi/doi/10.1177/0049124103262065

— Mike Lawrence,

0

Colby e Bair (2013) avevano sviluppato un approccio di validazione incrociata che può essere applicato a modelli di effetti misti non lineari. Puoi visitare questo link per saperne di più.

— Api Hounzandji
fonte

1

Benvenuto in Crossvalidated. Aggiungi ulteriori informazioni alla tua risposta. Forse puoi delineare le parti più importanti dell'articolo.

— Ferdi,