Quando è appropriato selezionare i modelli minimizzando l'AIC?

È accertato, almeno tra gli statistici di qualche livello superiore, che i modelli con i valori della statistica AIC entro una certa soglia del valore minimo dovrebbero essere considerati appropriati come il modello che minimizza la statistica AIC. Ad esempio, in [1, p.221] troviamo

Quindi i modelli con GCV di piccole dimensioni o AIC sarebbero considerati i migliori. Ovviamente non si dovrebbe semplicemente minimizzare alla cieca GCV o AIC. Piuttosto, tutti i modelli con valori GCV o AIC ragionevolmente piccoli dovrebbero essere considerati potenzialmente appropriati e valutati in base alla loro semplicità e rilevanza scientifica.

Allo stesso modo, in [2, p.144] abbiamo

È stato suggerito (Duong, 1984) che i modelli con valori AIC entro c del valore minimo debbano essere considerati competitivi (con c = 2 come valore tipico). La selezione tra i modelli della concorrenza può quindi basarsi su fattori quali il candore dei residui (sezione 5.3) e la semplicità del modello.

Riferimenti:

1. Ruppert, D .; Wand, MP & Carrol, RJ Semiparametric Regression , Cambridge University Press, 2003
2. Brockwell, PJ & Davis, RA Introduzione alle serie storiche e previsioni , John Wiley & Sons, 1996

Quindi, dato quanto sopra, quale dei due modelli seguenti dovrebbe essere preferito?

print( lh300 <- arima(lh, order=c(3,0,0)) )
# ... sigma^2 estimated as 0.1787:  log likelihood = -27.09,  aic = 64.18
print( lh100 <- arima(lh, order=c(1,0,0)) )
# ... sigma^2 estimated as 0.1975:  log likelihood = -29.38,  aic = 64.76

Più in generale, quando è appropriato selezionare i modelli minimizzando ciecamente l'AIC o le relative statistiche?

Parafrasando dagli appunti delle lezioni di Cosma Shalizi sulla verità sulla regressione lineare , non sceglierai mai un modello solo perché è accaduto per minimizzare una statistica come AIC , perché

Every time someone solely uses an AIC statistic for model selection, an angel loses its
wings. Every time someone thoughtlessly minimises it, an angel not only loses its wings,
but is cast out of Heaven and falls in most extreme agony into the everlasting fire.

Direi che spesso è appropriato usare l'AIC nella selezione dei modelli, ma raramente è giusto usarlo come unica base per la selezione dei modelli. Dobbiamo anche usare conoscenze sostanziali.

Nel tuo caso particolare, stai confrontando un modello con un AR del 3 ° ordine con uno con un AR del 1 ° ordine. Oltre ad AIC (o qualcosa di simile) esaminerei i grafici di autocorrelazione e di autocorrelazione parziale. Vorrei anche prendere in considerazione ciò che un modello di 3 ° ordine avrebbe significato . Ha senso? Si aggiunge alla conoscenza sostanziale? (Oppure, se sei interessato solo alla previsione, aiuta a prevedere?)

Più in generale, a volte è interessante trovare una dimensione di effetto molto piccola.

$P$$P$