Come devono essere confrontati e / o validati i modelli di effetti misti?

In che modo i modelli di effetti misti (lineari) vengono normalmente confrontati tra loro? So che è possibile utilizzare i test del rapporto di verosimiglianza, ma ciò non funziona se un modello non è un "sottoinsieme" dell'altro corretto?

La stima dei modelli df è sempre semplice? Numero di effetti fissi + numero di componenti di varianza stimati? Ignoriamo le stime degli effetti casuali?

Che dire della convalida? Il mio primo pensiero è la convalida incrociata, ma le pieghe casuali potrebbero non funzionare a causa della struttura dei dati. È appropriata una metodologia di "esclusione di un soggetto / gruppo"? Che dire di lasciare un'osservazione fuori?

Mallows Cp può essere interpretato come una stima dell'errore di predizione dei modelli. La selezione del modello tramite AIC tenta di minimizzare l'errore di previsione (quindi Cp e AIC dovrebbero scegliere lo stesso modello se gli errori sono gaussiani credo). Questo significa che AIC o Cp possono essere usati per scegliere un modello di effetti misti lineari 'ottimale' da una raccolta di alcuni modelli non annidati in termini di errore di predizione? (purché adatti agli stessi dati) Il BIC è ancora più propenso a scegliere il modello "vero" tra i candidati?

Ho anche l'impressione che quando confrontiamo i modelli di effetti misti tramite AIC o BIC contiamo solo gli effetti fissi come "parametri" nel calcolo, non i modelli effettivi df.

Esiste una buona letteratura su questi argomenti? Vale la pena indagare su cAIC o mAIC? Hanno un'applicazione specifica al di fuori di AIC?

Il problema principale nella selezione dei modelli nei modelli misti è quello di definire i gradi di libertà (df) di un modello, veramente. Per calcolare df di un modello misto, è necessario definire il numero di parametri stimati inclusi effetti fissi e casuali. E questo non è semplice. Questo articolo di Jiming Jiang e altri (2008) intitolato "Metodi di recinzione per la selezione di modelli misti" potrebbe essere applicato in tali situazioni. Un nuovo lavoro relativo è questo uno da Greven, S. & Kneib, T. (2010) dal titolo "Sul comportamento di AIC marginali e condizionate in modelli misti lineari". Spero che questo possa essere utile.

Un modo per confrontare i modelli (combinati o meno) è quello di tracciare i risultati. Supponiamo che tu abbia il modello A e il modello B; produrre i valori adattati da ciascuno e rappresentarli graficamente uno contro l'altro in un diagramma a dispersione. Se i valori sono molto simili (usando il tuo giudizio sul fatto che lo siano), scegli il modello più semplice. Un'altra idea è trovare le differenze tra i valori adattati e rappresentarli graficamente rispetto ai valori indipendenti; puoi anche creare un diagramma di densità delle differenze. In generale, sono un sostenitore del non usare test statistici per confrontare i modelli (sebbene l'AIC e le sue varianti abbiano certamente delle virtù) ma piuttosto usare il giudizio. Naturalmente, questo ha il (dis) vantaggio di non dare risposte precise.