Calcolo dell'AIC "a mano" in R

Ho provato a calcolare l'AIC di una regressione lineare in R ma senza usare la AICfunzione, in questo modo:

lm_mtcars <- lm(mpg ~ drat, mtcars)

nrow(mtcars)*(log((sum(lm_mtcars$residuals^2)/nrow(mtcars))))+(length(lm_mtcars$coefficients)*2)
[1] 97.98786

Tuttavia, AICfornisce un valore diverso:

AIC(lm_mtcars)
[1] 190.7999

Qualcuno potrebbe dirmi cosa sto facendo di sbagliato?

r aic information-theory

— Luciano
fonte

(senza ancora controllare la risposta): non stai necessariamente facendo nulla di male, poiché la probabilità è in realtà definita solo fino a una costante moltiplicativa; due persone possono calcolare la verosimiglianza e ottenere numeri diversi (ma le differenze nella verosimiglianza sono le stesse).

— Glen_b -Restate Monica

Hong OOI risposta è legata a questa domanda, credo. La formula utilizzata dalla funzione AICè -2*as.numeric(logLik(lm_mtcars))+2*(length(lm_mtcars$coefficients)+1).

— COOLSerdash,

luciano: il "+1" in quella formula @COOLSerdash punta a derivare dal termine del parametro varianza. Si noti inoltre che la funzione logLikdice che per i lmmodelli include "tutte le costanti" ... quindi ci sarà un log(2*pi)

— elemento

@Glen_b: Perché dire che la probabilità è definita solo fino a una costante moltiplicativa? Dopotutto, quando si confrontano modelli non nidificati di diverse famiglie di distribuzione (ad esempio con AIC o con il test Cox), è necessario ricordare quella costante.

— Scortchi - Ripristina Monica

@Scortchi la definizione non è mia! Dovrai prenderlo con RAFisher. È stato così fin dall'inizio, credo (1921). Che sia ancora definito in questo modo, almeno nel caso continuo, vedere qui , ad esempio, all'inizio della frase "Più precisamente".

— Glen_b -Restate Monica

Risposte:

Si noti che l'aiuto sulla funzione logLikin R dice che per i lmmodelli include "tutte le costanti" ... quindi ci sarà un log(2*pi)in là da qualche parte, così come un altro termine costante per l'esponente nella probabilità. Inoltre, non puoi dimenticare di contare il fatto che è un parametro. $\sigma^2$

$\cal L(\hat\mu,\hat\sigma)=(\frac{1}{\sqrt{2\pi s_n^2}})^n\exp({-\frac{1}{2}\sum_i (e_i^2/s_n^2)})$

$-2\log \cal{L} = n\log(2\pi)+n\log{s_n^2}+\sum_i (e_i^2/s_n^2)$

$= n[\log(2\pi)+\log{s_n^2}+1]$

$\text{AIC} = 2p -2\log \cal{L}$

ma nota che per un modello con 1 variabile indipendente, p = 3 (il coefficiente x, la costante e ) $\sigma^2$

Ciò significa che è così che ottieni la loro risposta:

nrow(mtcars)*(log(2*pi)+1+log((sum(lm_mtcars$residuals^2)/nrow(mtcars))))
       +((length(lm_mtcars$coefficients)+1)*2)

— Glen_b -Restate Monica
fonte

Perché nel tuo calcolo di

stai solo dividendo per

e non per

s^{2}

$s^2$

n

$n$

n - p

$n-p$

— Luke Thorburn,

Vedere la definizione di AIC:

dove il vettore di parametri,

sono valutati al massimo (cioè tutti gli elementi di

sono MLE); ad es. vedere il criterio informativo di Wikipedia Akaike: definizione . Se non stai dividendo per

lì nel calcolo di

, non si sta calcolando il MLE di

e in modo non proprio calcolo AIC - in effetti si sarebbe regolando due volte per l'effetto di parametri adatto. (Sì, molte persone lo fanno male)

- 2 \log L (\hat{θ}) + 2 p

$-2\log\mathcal{L}(\hat\theta)+2p$

θ

$\theta$

\hat{θ}

$\hat\theta$

n

$n$

{\hat{σ}}^{2}

$\hat{\sigma}^2$

σ^{2}

$\sigma^2$

— Glen_b - Ripristina Monica il

C'è un refuso nella seconda equazione? Dovrebbe essere

Ok vedo, stai usando

- 2 \log L = n \log (2 π) + n \log s_{n} + \sum_{i} (e_{i}^{2} / s_{n}^{2})

$-2\log \cal{L} = n\log(2\pi)+n\log{s_n}+\sum_i (e_i^2/s_n^2)$

\sqrt{2 π s_{n}^{2}}

$\sqrt{2\pi s^2_n}$

— rhody

AIC $2k -2 \log L$ $L$ $k$ $n \log \frac{S_{\mathrm{r}}}{n} + 2(k-1)$ $S_{\mathrm{r}}$ $n$

— Scortchi - Ripristina Monica
fonte