Diverse definizioni AIC

12

Da Wikipedia esiste una definizione di Information Criterion (AIC) di Akaike come , dove è il numero di parametri e è la probabilità logaritmica del modello. $AIC = 2k -2 \log L$ $k$ $\log L$

Tuttavia, le nostre note di Econometria presso un'università molto rispettata affermano che . Qui è la varianza stimata per gli errori in un modello ARMA e è il numero di osservazioni nel set di dati delle serie temporali. $AIC = \log (\hat{\sigma}^2) + \frac{2 \cdot k}{T}$ $\hat{\sigma}^2$ $T$

Quest'ultima definizione è equivalente alla prima, ma è semplicemente sintonizzata per i modelli ARMA? O esiste una sorta di conflitto tra le due definizioni?

— pir
fonte

3

Per la cronaca: criterio singolare, criteri plurale. (Modificato di conseguenza.)

— Nick Cox,

15

La formula che citi dalle tue note non è esattamente AIC.

AIC è . $-2\log\mathcal{L}+2k$

Qui darò uno schema di una derivazione approssimativa che chiarisce abbastanza cosa sta succedendo.

Se hai un modello con errori normali indipendenti con varianza costante,

L \propto σ^{- n} e^{- \frac{1}{2 σ^{2}} \sum ε_{i}^{2}}

$\mathcal{L}\propto \sigma^{-n} \: e^{-\frac{1}{2\sigma^2}\sum \varepsilon_i^2}$

che può essere stimato con la massima probabilità come

\begin{array}{rcl} \propto & ({\hat{σ}}^{2})^{- n / 2} e^{- \frac{1}{2} n {\hat{σ}}^{2} / {\hat{σ}}^{2}} \\ \propto & ({\hat{σ}}^{2})^{- n / 2} e^{- \frac{1}{2} n} \\ \propto & ({\hat{σ}}^{2})^{- n / 2} \end{array}

$\begin{eqnarray} & \propto &(\hat{\sigma}^2)^{-n/2} e^{-\frac12 n\hat{\sigma}^2/\hat{\sigma}^2}\\ & \propto &(\hat{\sigma}^2)^{-n/2} e^{-\frac12 n}\\ & \propto &(\hat{\sigma}^2)^{-n/2} \end{eqnarray}$

(supponendo che la stima di sia la stima ML) $\sigma^2$

Quindi (fino allo spostamento di una costante) $-2\log\mathcal{L} +2k = n\log{\hat{\sigma}^2} + 2k$

Ora nel modello ARMA, se è davvero grande rispetto a e , allora la probabilità può essere approssimata da un tale quadro gaussiano (ad esempio puoi scrivere l'ARMA approssimativamente come un AR più lungo e condizionare a condizioni sufficienti per scrivere quell'AR come modello di regressione), quindi con al posto di : $T$ $p$ $q$ $T$ $n$

$AIC \approx T\log{\hat{\sigma}^2} + 2k$

quindi

$AIC/T \approx \log{\hat{\sigma}^2} + 2k/T$

Ora, se stai semplicemente confrontando AIC, quella divisione per non ha alcuna importanza, dal momento che non cambia l'ordine dei valori AIC. $T$

Tuttavia, se stai usando AIC per qualche altro scopo che si basa sul valore effettivo delle differenze in AIC (come fare l'inferenza multimodel come descritto da Burnham e Anderson), allora è importante.

Numerosi testi di econometria sembrano utilizzare questo modulo AIC / T. Stranamente, alcuni libri sembrano fare riferimento a Hurvich e Tsai 1989 o Findley 1985 per quel modulo, ma Hurvich & Tsai e Findley sembrano discutere della forma originale (anche se ho solo un'indicazione indiretta di ciò che Findley fa in questo momento, quindi forse c'è qualcosa in Findley su di esso).

Tale ridimensionamento potrebbe essere fatto per una serie di ragioni - ad esempio, le serie temporali, in particolare le serie temporali ad alta frequenza, possono essere molto lunghe e gli AIC ordinari potrebbero avere la tendenza a diventare ingombranti, specialmente se è molto piccolo. (Ci sono alcune altre possibili ragioni, ma dal momento che davvero non conosco la ragione per cui ciò è stato fatto, non inizierò a scendere un elenco di tutte le possibili ragioni.) $\sigma^2$

Potresti dare un'occhiata all'elenco di fatti e fallimenti dell'AIC di Rob Hyndman , in particolare i punti da 3 a 7. Alcuni di questi punti potrebbero portarti ad essere almeno un po 'cauto nel fare troppo affidamento sull'approssimazione della probabilità gaussiana, ma forse c'è una giustificazione migliore di quella che offro qui.

Non sono sicuro che ci sia una buona ragione per usare questa approssimazione alla probabilità logaritmica piuttosto che all'AIC reale poiché molti pacchetti di serie temporali oggigiorno tendono a calcolare (/ massimizzare) la verosimiglianza effettiva per i modelli ARMA. Sembra che ci siano poche ragioni per non usarlo.

— Glen_b -Restate Monica
fonte

1

Prima o poi, ogni discussione su qualsiasi * IC si trasforma in "Questo è il criterio che dovresti usare, tranne per il fatto che spesso dà la risposta sbagliata in circostanze del genere". Solo essere ironico, per nulla critico di una risposta tipicamente utile. Questo è proprio come nella vita reale, in cui una massima generica come "ama tutti" di solito deve essere temporaneamente annullata da altri consigli se qualcuno sta cercando di picchiarti o derubarti.

— Nick Cox,

1

@Nick Non sono infastidito dai testi che usano AIC / piuttosto che AIC, ma ciò che mi preoccupa è che così tanti libri di econometria che ho visto lo chiamano semplicemente "AIC" senza alcun commento . Per me è irresponsabilmente irresponsabile. Chiunque fosse stato il primo a farlo, ma non a dirlo, è stato copiato più volte.

n

$n$

— Glen_b -Restate Monica

2

Credo che questo si basi sul presupposto di errori normali. In econometria, operi usando asintotici, specialmente nelle applicazioni di serie temporali che usano AIC. Di conseguenza, l'assunzione normale dovrebbe essere asintotica per giustificare questo schema di selezione del modello (asintotico).

Ricordiamo che il logaritmo della verosimiglianza normale è , dove utilizziamo e se i tuoi dati sono tratti da X. Di seguito trascuriamo il primo termine, come il campione osservato non lo influenza. $ln(L) = -(T/2)ln(2\pi) -(T/2)ln(\sigma^2) - (1/2\sigma^2)\sum(x_i - \mu)$ $\mathbb{E}(X) = \mu$ $Var(X) = \sigma^2$ $x_1, ..., x_T$

Usa semplicemente la formula più generale (prima) e collega per la normale probabilità. Il primo termine può essere ignorato (è una costante indipendentemente dalla scelta del regressore). Il secondo termine diventa . Il terzo termine diventa , dove abbiamo usato . Ancora una volta, non usare una correzione del campione finita è giustificato qui perché questo stimatore è valido asintoticamente solo se gli errori non sono normali. Dato che non conosciamo , dobbiamo stimare il terzo termine come = T. $L$ $Tln(\sigma^2)$ $(1/\sigma^2)(T\hat{\sigma}^2)$ $\hat{\sigma}^2 = T^{-1} \sum(x_i - \bar{x})$ $\sigma^2$ $(1/\sigma^2)(T\hat{\sigma}^2) = (1/\hat{\sigma}^2)(T\hat{\sigma}^2)$

In sintesi, ciò significa che otteniamo per la normale probabilità che . Inutile dire che la minimizzazione non viene influenzata ignorando la costante . Il termine è ora semplicemente diviso da , poiché non cambia il problema di minimizzazione per adattare tutti componenti additivi da . Questo ti porta al secondo risultato, perché e sono identici ai fini della minimizzazione. $AIC = 2k + Tln(\sigma^2) + 1$ $1$ $T$ $T$ $AIC$ $AIC/T$

— Jeremias K
fonte