È possibile calcolare AIC e BIC per i modelli di regressione del lazo?

31

È possibile calcolare i valori AIC o BIC per i modelli di regressione del lazo e altri modelli regolarizzati in cui i parametri entrano solo parzialmente nell'equazione. Come si determinano i gradi di libertà?

Sto usando R per adattare i modelli di regressione del lazo con la glmnet()funzione del glmnetpacchetto e mi piacerebbe sapere come calcolare i valori AIC e BIC per un modello. In questo modo potrei confrontare i valori con i modelli adatti senza regolarizzazione. È possibile farlo?

— Jota
fonte

1

Sì, puoi farlo, ma molto probabilmente ti richiederà di ottenere la correzione corretta. La correzione è derivata in questo documento ncbi.nlm.nih.gov/pmc/articles/PMC2629611 nel contesto della modellizzazione della miscela finita penalizzata, ma un argomento analogo sarebbe sufficiente in altri modelli penalizzati.

— Macro

12

Potresti anche trovare interessanti i seguenti documenti:

RJ Tibshirani e J. Taylor (2011), Gradi di libertà nei problemi di lazo , prestampa arXiv: 1111.0653 .

H. Zou, T. Hastie e R. Tibshirani (2007), Sui gradi di libertà del lazo , Annals of Statistics 35 (5), 2173–2192.

— Alexandra
fonte

14

sarebbe stato carino se ci fosse stato un po 'di spiegazione sulla risposta finale;

— user4581

10

Stavo lottando molto con un modo per calcolare AIC e BIC per i modelli glmnet. Tuttavia, dopo parecchie ricerche, ho trovato nella terza pagina dei risultati di Google la risposta. Esso può essere trovato qui . Lo sto postando qui per i futuri lettori poiché credo di non poter essere l'unico.

Alla fine, ho implementato AIC e BIC nel modo seguente:

fit <- glmnet(x, y, family = "multinomial") 

tLL <- fit$nulldev - deviance(fit)
k <- fit$df
n <- fit$nobs
AICc <- -tLL+2*k+2*k*(k+1)/(n-k-1)
AICc

BIC<-log(n)*k - tLL
BIC

— johnnyheineken
fonte

2

Nel link a cui fa riferimento johnnyheineken, l'autore afferma:

Temo che le due quantità disponibili dall'oggetto glmnet (dev.ratio, nulldev) non siano sufficienti per ottenere la probabilità per il modello, che è necessario calcolare AICc. Hai due equazioni in tre incognite: verosimiglianza (nulla), verosimiglianza (modello) e verosimiglianza (saturata). Non riesco a ottenere la probabilità (modello) libera dalla probabilità (nulla).

Mi sembra che se si confronta l'AIC tra due modelli, il fatto che non si possa separare la deviazione nulla non dovrebbe importare. Dal momento che esiste su entrambi i "lati" della disuguaglianza, mostrerebbe quale modello deve avere l'AIC inferiore. Questo dipende da due cose:

I dati sono gli stessi in entrambi i modelli (necessari comunque per il confronto AIC)
Non sto dimenticando nulla di Stat101 né dell'algebra del liceo (un forte presupposto dato il mio attuale consumo di caffeina)

— naturalBlogarithm
fonte