AIC, BIC, CIC, DIC, EIC, FIC, GIC, HIC, IIC - Posso usarli in modo intercambiabile?

A pag. 34 del suo PRNN Brian Ripley commenta che "L'AIC è stato nominato da Akaike (1974) come" An Information Criterion "anche se sembra comunemente creduto che A sia l'acronimo di Akaike". Infatti, quando si introduce la statistica AIC, Akaike (1974, p. 719) lo spiega

"IC stands for information criterion and A is added so that similar statistics, BIC, DIC
etc may follow".

Considerando questa citazione come una previsione fatta nel 1974, è interessante notare che in soli quattro anni due tipi di statistica BIC (Bayesian IC) furono proposti da Akaike (1977, 1978) e Schwarz (1978). Ci sono voluti Spiegelhalter et al. (2002) molto più a lungo per presentare DIC (Deviance IC). Sebbene l'apparizione del criterio CIC non fosse stata predetta da Akaike (1974), sarebbe ingenuo credere che non sia mai stato contemplato. È stato proposto da Carlos C. Rodriguez nel 2005. (Notare che il CIC (Covariance Inflation Criterion) di R. Tibshirani e K. Knight è diverso).

Sapevo che EIC (Empirical IC) fu proposto da persone della Monash University intorno al 2003. Ho appena scoperto il Criterio informativo focalizzato (FIC). Alcuni libri si riferiscono a Hannan e Quinn IC come HIC, vedi ad esempio questo ). So che dovrebbe esserci GIC (Generalized IC) e ho appena scoperto l'Information Investing Criterion (IIC). C'è NIC, TIC e altro ancora.

Penso che potrei eventualmente coprire il resto dell'alfabeto, quindi non sto chiedendo dove si ferma la sequenza AIC, BIC, CIC, DIC, EIC, FIC, GIC, HIC, IIC, ... o quali lettere dell'alfabeto hanno non è stato utilizzato o è stato usato almeno due volte (ad es. E in EIC può essere esteso o empirico). La mia domanda è più semplice e spero sia praticamente utile. Posso usare queste statistiche in modo intercambiabile, ignorando le ipotesi specifiche in cui sono state derivate, le situazioni specifiche in cui avrebbero dovuto essere applicabili e così via?

Questa domanda è in parte motivata da Burnham & Anderson (2001) scrivendo che:

...the comparison of AIC and BIC model selection ought to be based on their performance 
properties such as mean square error for parameter estimation (includes prediction) and 
confidence interval coverage: tapering effects or not, goodness-of-fit issues, 
derivation of theory is irrelevant as it can be frequentist or Bayes. 

Il capitolo 7 della monografia di Hyndman et al. Sul livellamento esponenziale sembra seguire il consiglio BA quando si esamina il modo in cui i cinque circuiti integrati alternativi (AIC, BIC, AICc, HQIC, LEIC) si comportano nel selezionare il modello che prevede meglio (come misurato con una misura di errore recentemente proposta chiamata MASE) per concludere che l'AIC era un'alternativa migliore più spesso. (L'HQIC è stato segnalato come il miglior selettore di modelli solo una volta.)

Non sono sicuro di quale sia lo scopo utile degli esercizi di ricerca che trattano implicitamente tutti gli ICc come se fossero derivati ​​per rispondere alla stessa domanda sotto serie equivalenti di ipotesi. In particolare, non sono sicuro di quanto sia utile investigare le prestazioni predittive del criterio coerente per determinare l'ordine di un'autoregressione (che Hannan e Quinn hanno derivato per sequenze stazionarie ergodiche) utilizzandolo nel contesto esponenziale non stazionario modelli di livellamento descritti e analizzati nella monografia di Hyndman et al. Mi sto perdendo qualcosa qui?

Riferimenti:

Akaike, H. (1974), Un nuovo sguardo all'identificazione del modello statistico, IEEE Transactions on Automatic Control 19 (6), 716-723.

Akaike, H. (1977), Principio di massimizzazione dell'entropia, in PR Krishnaiah, ed., Applicazioni di statistiche , vol. 27, Amsterdam: Olanda Settentrionale, pagg. 27-41.

Akaike, H. (1978), Un'analisi bayesiana della procedura minima AIC, Annals of the Institute of Statistical Mathematics 30 (1), 9-14.

Burnham, KP & Anderson, DR (2001) Le informazioni di Kullback-Leibler come base per una forte inferenza negli studi ecologici, Wildlife Research 28, 111-119

Hyndman, RJ, Koehler, AB, Ord, JK & Snyder, RD Previsione con livellamento esponenziale: l'approccio dello spazio degli stati. New York: Springer, 2008

Ripley, BD Pattern Recognition e reti neurali . Cambridge: Cambridge University Press, 1996

Schwarz, G. (1978), Stima della dimensione di un modello, Annals of Statistics 6 (2), 461-464.

Spiegelhalter, DJ, Best, NG, Carlin, BP e van der Linde, A. (2002), misure bayesiane della complessità del modello et (con discussione), Journal of the Royal Statistical Society. Serie B (metodologia statistica) 64 (4), 583-639.

La mia comprensione è che AIC, DIC e WAIC stanno tutti stimando la stessa cosa: l'attesa deviazione fuori campione associata a un modello. Questa è anche la stessa cosa che stimano le convalide incrociate. In Gelman et al. (2013), lo dicono esplicitamente:

Un modo naturale per stimare l'errore di predizione fuori campione è la convalida incrociata (vedi Vehtari e Lampinen, 2002, per una prospettiva bayesiana), ma i ricercatori hanno sempre cercato misure alternative, poiché la convalida incrociata richiede ripetuti adattamenti e incorrere in problemi con dati sparsi. Solo per motivi pratici, rimane un posto per semplici correzioni di distorsione come AIC (Akaike, 1973), DIC (Spiegelhalter, Best, Carlin e van der Linde, 2002, van der Linde, 2005) e, più recentemente, WAIC (Watanabe, 2010) e tutti questi possono essere visti come approssimazioni a diverse versioni di convalida incrociata (Stone, 1977).

BIC stima qualcosa di diverso, che è correlato alla lunghezza minima della descrizione. Gelman et al. dire:

BIC e le sue varianti differiscono dagli altri criteri informativi considerati qui motivati ​​non da una stima del fattore predittivo ma dall'obiettivo di approssimare la densità di probabilità marginale dei dati, p (y), secondo il modello, che può essere utilizzato per stimare le probabilità relative posteriori in un contesto di confronto discreto dei modelli.

Purtroppo non so nulla degli altri criteri informativi che hai elencato.

Riesci a utilizzare in modo intercambiabile i criteri di informazione di tipo AIC? Le opinioni possono essere diverse, ma dato che AIC, DIC, WAIC e la convalida incrociata stimano tutte la stessa cosa, quindi sì, sono più o meno intercambiabili. BIC è diverso, come notato sopra. Non so degli altri.

Perché ne hai più di uno?

• AIC funziona bene quando si dispone di una stima della massima verosimiglianza e di priorità piatte, ma in realtà non ha nulla da dire su altri scenari. La penalità è anche troppo piccola quando il numero di parametri si avvicina al numero di punti dati. AICc corregge troppo questo problema, che può essere positivo o negativo a seconda della prospettiva.

• DIC utilizza una penalità minore se parti del modello sono fortemente vincolate da priori (ad esempio in alcuni modelli multilivello in cui sono stimati i componenti di varianza). Ciò è positivo, poiché i parametri fortemente vincolati non costituiscono in realtà un pieno grado di libertà. Sfortunatamente, le formule di solito utilizzate per DIC presumono che il posteriore sia essenzialmente gaussiano (cioè che sia ben descritto dalla sua media), e quindi si possono ottenere strani risultati (ad esempio penalità negative) in alcune situazioni.

• WAIC utilizza l'intera densità posteriore in modo più efficace rispetto a DIC, quindi Gelman et al. preferirlo anche se in alcuni casi può essere una seccatura calcolare.

• La convalida incrociata non si basa su alcuna formula particolare, ma può essere proibitiva dal punto di vista computazionale per molti modelli.

A mio avviso, la decisione su quale dei criteri di tipo AIC utilizzare dipende interamente da questo tipo di problemi pratici, piuttosto che da una prova matematica che uno farà meglio dell'altro.

Riferimenti :

Gelman et al. Comprensione dei criteri di informazione predittiva per i modelli bayesiani. Disponibile da http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.295.3501&rep=rep1&type=pdf

"Intercambiabile" è una parola troppo forte. Tutti sono criteri che cercano di confrontare i modelli e di trovare un modello "migliore", ma ognuno definisce "il migliore" in modo diverso e può identificare modelli diversi come "il migliore".

"Proponi un referendum". Solo per votare! ;-) Mi è piaciuto il CAIC (Bozdogan, 1987) e il BIC puramente dalla mia pratica personale, perché questi criteri danno una grave penalità per la complessità, abbiamo ottenuto più parsimonia, ma ho sempre visualizzato l'elenco di buoni modelli - delta 4-6 -8 (invece di 2). Nella fase di studio dei parametri (perché abbiamo un "buon allungamento dei modelli candidati"), la media MM (B&A) spesso non cambia quasi nulla. Sono leggermente scettico sia nei confronti dell'AIC classico che dell'AICc (H&T, reso popolare da B&A), poiché spesso danno uno strato molto spesso di crema. ;-)