È possibile che AIC e BIC offrano selezioni di modelli totalmente diverse?

Sto eseguendo un modello di regressione di Poisson con 1 variabile di risposta e 6 covariate. La selezione del modello mediante AIC produce un modello con tutte le covariate e 6 termini di interazione. Il BIC risulta tuttavia in un modello con solo 2 covariate e senza termini di interazione. È possibile che i due criteri, che sembrano molto simili, producano selezioni di modelli totalmente diverse?

— WBM
fonte

Se non fosse possibile ottenere consigli sui modelli diversi dalle due metriche, non ci sarebbero due metriche, ne utilizzeremmo sempre una.

— Gregor Thomas,

La parola "totalmente diverso" è difficile da interpretare quando i modelli sono il risultato della scelta da una serie di parametri discreti.

— BallpointBen,

Risposte:

È possibile davvero. Come spiegato in https://methodology.psu.edu/AIC-vs-BIC , "BIC penalizza la complessità del modello in modo più pesante. L'unico modo in cui dovrebbero essere in disaccordo è quando AIC sceglie un modello più grande di BIC."

Se il tuo obiettivo è identificare un buon modello predittivo, dovresti usare l'AIC. Se il tuo obiettivo è identificare un buon modello esplicativo, dovresti usare il BIC. Rob Hyndman riassume bene questa raccomandazione su
https://robjhyndman.com/hyndsight/to-explain-or-predict/ :

"L'AIC è più adatto alla selezione del modello per la previsione in quanto è asintoticamente equivalente alla validazione incrociata one-out in regressione o alla validazione incrociata one-step in serie temporali. D'altra parte, si potrebbe sostenere che il BIC è più adatto alla selezione del modello per la spiegazione, in quanto è coerente. "

La raccomandazione viene dal documento di Galit Shmueli "Per spiegare o prevedere?", Statistical Science, 25 (3), 289-310 ( https://projecteuclid.org/euclid.ss/1294167961 ).

Addendum:

Esiste un terzo tipo di modellazione - la modellazione descrittiva - ma non conosco alcun riferimento su quale AIC o BIC sia più adatto per identificare un modello descrittivo ottimale. Spero che altri qui possano entrare con le loro intuizioni.

— Isabella Ghement
fonte

“ L'unico modo in cui dovrebbero essere in disaccordo è quando AIC sceglie un modello più grande di BIC. "Tecnicamente BIC potrebbe scegliere un modello più grande se , ovvero . Speriamo che i campioni di dimensioni 7 non costituiscano un grosso problema. : p

\ln n < 2

$\ln n < 2$

n \leq 7

$n \le 7$

— Dougal,

Buon punto! Con una dimensione del campione di 7 o inferiore, immagino che la selezione del modello sia fuori dal tavolo. 😀

— Isabella Ghement,

— Subhash C. Davar,

@ subhashc.davar: Nessuna risposta ancora - Sono tentato di inviare un'e-mail a Galit Shmueli e chiederle di pensarci.

— Isabella Ghement,

Se comprendiamo il significato di "descrittivo" e lo prendiamo sul serio, non sono sicuro che abbia senso parlare dell'identificazione del modello descrittivo ottimale.

— gung - Ripristina Monica

Risposta breve: sì, è molto possibile. I due applicano penalità diverse in base al numero di parametri stimati (2k per AIC vs ln (n) xk per BIC, dove k è il numero di parametri stimati e n è la dimensione del campione). Pertanto, se il guadagno di probabilità derivante dall'aggiunta di un parametro è ridotto, BIC può selezionare diversi modelli in AIC. Questo effetto dipende tuttavia dalla dimensione del campione.

— NatWH
fonte

sarebbe bello chiarire che n è la dimensione del campione nell'equazione sopra

— fabiob