Sto usando AIC (Akaike's Information Criterion) per confrontare i modelli non lineari in R. È valido confrontare gli AIC di diversi tipi di modello? In particolare, sto confrontando un modello montato da glm rispetto a un modello con un termine a effetto casuale montato da glmer (lme4).
In caso contrario, esiste un modo per fare un simile confronto? O l'idea è completamente invalida?
Risposte:
Dipende. AIC è una funzione della probabilità di log. Se entrambi i tipi di modello calcolano la probabilità del log allo stesso modo (ovvero includono la stessa costante), sì, è possibile, se i modelli sono nidificati .
Ne sono abbastanza sicuro glm()e lmer()non uso verosimili log comparabili.
Anche il punto sui modelli nidificati è in discussione. Alcuni sostengono che l'AIC sia valido solo per i modelli nidificati poiché è così che la teoria viene presentata / elaborata. Altri lo usano per tutti i tipi di confronti.
Questa è una grande domanda di cui sono stato curioso per un po '.
Per i modelli della stessa famiglia (es. Modelli auto-regressivi di ordine k o polinomi) AIC / BIC ha molto senso. In altri casi è meno chiaro. Calcolare esattamente la verosimiglianza (con i termini costanti) dovrebbe funzionare, ma probabilmente è meglio usare un confronto tra modelli più complicato come Bayes Factors (http://www.jstor.org/stable/2291091).
Se i modelli hanno la stessa funzione di perdita / errore, un'alternativa è semplicemente confrontare le probabilità di log convalidate in modo incrociato. Di solito è quello che cerco di fare quando non sono sicuro che AIC / BIC abbia senso in una determinata situazione.
Si noti che in alcuni casi AIC non può nemmeno confrontare modelli dello stesso tipo, come i modelli ARIMA con un diverso ordine di differenziazione. Citazione delle previsioni: principi e pratica di Rob J Hyndman e George Athanasopoulos: