Significato di "numero di parametri" in AIC

21

Quando si calcola AIC,

$AIC = 2k - 2 ln L$

k significa "numero di parametri". Ma cosa conta come parametro? Quindi ad esempio nel modello

$y = ax + b$

A e b sono sempre conteggiati come parametri? Cosa succede se non mi interessa il valore dell'intercetta, posso ignorarlo o conta ancora?

Cosa succede se

$y = a f(c,x) + b$

dove $f$ è una funzione di c e x, ora conto 3 parametri?

aic

— Bob Baraccone
fonte

9

Questa è una buona domanda, perché esiste una sottigliezza:

è il numero di parametri identificabili da stimare. Ad esempio, sebbene nel modello di regressione

sono scritti cinque parametri, tuttavia

. (Questo modello è equivalente a

k

$k$

Y \sim N (β_{0} + β_{1} X_{1} + β_{2} X_{2} + β_{3} (X_{1} + X_{2}), σ^{2})

$Y\sim\mathcal{N}(\beta_0+\beta_1X_1+\beta_2X_2+\beta_3(X_1+X_2), \sigma^2)$

k = 4

$k=4$

con

e

, che richiede esplicitamente solo quattro parametri.)

Y \sim N (β_{0} + α_{1} X_{1} + α_{2} X_{2}, σ^{2})

$Y\sim\mathcal{N}(\beta_0+\alpha_1X_1+\alpha_2X_2, \sigma^2)$

α_{1} = β_{1} + β_{3}

$\alpha_1=\beta_1+\beta_3$

α_{2} = β_{2} + β_{3}

$\alpha_2=\beta_2+\beta_3$

— whuber

3

Rigorosamente, si contano tutti i parametri identificabili e liberi - parametri medi, parametri di forma e scala, qualunque cosa (e importa per AIC

), ma per AIC non ha alcuna conseguenza se si omettono parametri comuni ai modelli da confrontare. Quindi, ad esempio, nella regressione, dovresti contare il parametro varianza. Quindi, secondo il mio conteggio, tutti i conteggi dei parametri nella tua domanda sono uno breve - ma se ce n'è esattamente uno in tutti i modelli, non fa male lasciarlo cadere per AIC. R conta esplicitamente il parametro varianza durante il calcolo dell'AIC nei modelli di regressione.

_{C}

$_C$

— Glen_b

@whuber Perché questo eccellente commento non è stato pubblicato come risposta? :)

— Alexis,

Grazie @Alexis. Ho pubblicato questo pensiero come un commento perché l'idea è adeguatamente trattata nella risposta di P Schnell: volevo solo enfatizzarlo un po 'di più.

— whuber

17

Come menzionato Mugen, rappresenta il numero di parametri stimati . In altre parole, è il numero di quantità aggiuntive che è necessario conoscere per specificare completamente il modello. Nel modello di regressione lineare semplice è possibile stimare , o entrambi. Qualunque quantità non stimata è necessario correggere. Non c'è "ignorare" un parametro nel senso che non lo conosci e non ti interessa. Il modello più comune che non stima sia che è il modello di non intercettazione, dove ripariamo $k$

y = a x + b

$y=ax+b$

a

$a$

b

$b$

a

$a$

b

$b$

b = 0

$b=0$ . Questo avrà 1 parametro. Potresti altrettanto facilmente correggere

o

se hai qualche motivo per credere che rifletta la realtà. (Punto

:

è anche un parametro in una semplice regressione lineare, ma poiché è presente in ogni modello è possibile rilasciarlo senza influire sui confronti di AIC.)

a = 2

$a=2$

b = 1

$b=1$

σ

$\sigma$

Se il tuo modello è il numero di parametri dipende dal fatto che tu correggi uno di questi valori e dalla forma di . Ad esempio, se vogliamo stimare e sapere che , quando scriviamo il modello abbiamo con tre parametri sconosciuti. Se, tuttavia,

y = a f (c, x) + b

$y=af(c,x)+b$

f

$f$

a, b, c

$a, b, c$

f (c, x) = x^{c}

$f(c,x)=x^c$

y = a x^{c} + b

$y=ax^c+b$

, quindi abbiamo il modello

che in realtà ha solo due parametri:

e

.

f (c, x) = c x

$f(c,x)=cx$

y = a c x + b

$y=acx+b$

a c

$ac$

b

$b$

È fondamentale che sia una famiglia di funzioni indicizzata da . Se tutto ciò che sai è che è continuo e dipende da e , allora sei sfortunato perché ci sono innumerevoli funzioni continue. $f(c,x)$ $c$ $f(c,x)$ $c$ $x$

— P Schnell
fonte

2

(+1) Forse vale la pena ricordare che per "stima" si intende "stima per massima verosimiglianza".

— Scortchi - Ripristina Monica

f (c, x)

$f(c,x)$

c

$c$

c

$c$

r^{2}

$r^2$

c

$c$

2

@SideshowBob: Sì - quando si confrontano due modelli, la differenza nelle probabilità di log massimizzate è uno stimatore distorto della differenza nella perdita prevista di informazioni di Kullback-Leibler e il termine di penalità in AIC corregge approssimativamente tale pregiudizio.

— Scortchi - Ripristina Monica

1

@SideshowBob: dovrei menzionare che ci sono modifiche dell'AIC per equazioni di stima generalizzate e simili - usano la quasi-verosimiglianza massimizzata e un termine di penalità piuttosto più complesso.

— Scortchi - Ripristina Monica

4

$\mathit{AIC} = 2k - 2\ln(L)$

(vedi qui )

$k$

Non mi sento abbastanza informato per rispondere alla tua seconda domanda, la lascerò per un altro membro della comunità.

— mugen
fonte

1

λ

$\lambda$

1

Sì certamente.

— PA6OTA,

1

In primo luogo, per coloro che potrebbero non avere familiarità con AIC: l'Akaike Information Criterion (AIC) è una semplice metrica progettata per confrontare la "bontà" dei modelli.

Secondo AIC, quando si tenta di scegliere tra due diversi modelli che si applicano alle stesse variabili di input e risposta , ovvero modelli progettati per risolvere lo stesso problema, il modello con AIC inferiore viene considerato "migliore".

$k$

c $f(c, x)$ $k$

— arielf
fonte