Interpretazione dei numeri AIC e BIC

23

Sto cercando esempi su come interpretare le stime AIC (criterio di informazione Akaike) e BIC (criterio di informazione bayesiano).

La differenza negativa tra i BIC può essere interpretata come la probabilità posteriore di un modello rispetto all'altro? Come posso dirlo a parole? Ad esempio il BIC = -2 può implicare che le probabilità del modello migliore rispetto all'altro modello sono approssimativamente ? $e^2= 7.4$

Qualsiasi consiglio di base è apprezzato da questo neofita.

interpretation aic bic

— Juan
fonte

Dai un'occhiata al capitolo 2. La sezione 2.6, che è parzialmente disponibile su Google Libri, potrebbe in particolare aiutarti. books.google.se/… (Rif .: Selezione del modello e inferenza multi-modello di Kenneth P. Burnham e David R. Anderson. Springer Verlag)

— boscovich,

6

per il modello di unset di modelli aprioripuò essere riportato a dove il miglior modello del set di modelli avrà . Possiamo usare valori per stimare la forza delle prove ( ) per tutti i modelli nel set di modelli in cui: $AIC$ $i$ $\mathsf{\Delta}_i=AIC_i-minAIC$ $\mathsf{\Delta}=0$ $\mathsf{\Delta}_i$ $w_i$ Questo è spesso indicato come il "peso dell'evidenza" per il modello chedato l'insieme del modello apriori. Comeaumenta,decrementi suggerendo modelloè meno plausibile. Questivalori possono essere interpretati come la probabilità che modellaè il miglior modello datoa priorimodello set. Potremmo anche calcolare la probabilità relativa del modellorispetto al modellocome

w_{io} = \frac{e^{(- 0.5 Δ_{io})}}{Σ_{r = 1}^{R} e^{(- 0.5 Δ_{io})}} .

$w_i = \frac{e^{(-0.5\mathsf{\Delta}_i)}}{\sum_{r=1}^Re^{(-0.5\mathsf{\Delta}_i)}}.$

i

$i$

Δ_{i}

$\mathsf{\Delta}_i$

w_{i}

$w_i$

i

$i$

w_{i}

$w_i$

i

$i$

i

$i$

j

$j$

. Ad esempio, se

e

allora potremmo dire che il modello

è 8 volte più probabile del modello

.

w_{i} / w_{j}

$w_i/w_j$

w_{i} = 0.8

$w_i = 0.8$

w_{j} = 0.1

$w_j = 0.1$

i

$i$

j

$j$

Nota, quando il modello 1 è il modello migliore ( più piccolo ). Burnham e Anderson (2002) lo definiscono il rapporto di prova. Questa tabella mostra come cambia il rapporto di evidenza rispetto al modello migliore. $w_1/w_2 = e^{0.5\Delta_2}$ $AIC$

Information Loss (Delta)    Evidence Ratio
0                           1.0
2                           2.7
4                           7.4
8                           54.6
10                          148.4
12                          403.4
15                          1808.0

Riferimento

Burnham, KP e DR Anderson. 2002. Selezione del modello e inferenza multimodello: un approccio pratico di teoria dell'informazione. Seconda edizione. Springer, New York, Stati Uniti.

Anderson, DR 2008. Inferenza basata sul modello nelle scienze della vita: un primer sull'evidenza. Springer, New York, Stati Uniti.

— RioRaider
fonte

r

$r$

R

$R$

Ci sono modelli R nel set di modelli.

— RioRaider,

3

Non penso che ci sia una semplice interpretazione di AIC o BIC del genere. Sono entrambe le quantità che prendono la probabilità di log e applicano una penalità per il numero di parametri stimati. Le penalità specifiche sono spiegate per l'AIC da Akaike nei suoi articoli a partire dal 1974. BIC è stato selezionato da Gideon Schwarz nel suo articolo del 1978 ed è motivato da un argomento bayesiano.

— Michael R. Chernick
fonte

2

Tuttavia, la penalità può essere interpretata come un precedente modello favorente di una dimensione particolare. Se ti capita di adottare quel precedente (che ha alcune giustificazioni teorico-informative), puoi calcolare un rapporto di probabilità posteriore direttamente dai valori IC. Inoltre, @RioRaider menziona i pesi Akaike, che danno la probabilità che un determinato modello sia il miglior modello dall'insieme in termini di divergenza KL. ( rif. vedi p. 800).

— David J. Harris,

1

Probabilmente usi il BIC come risultato dell'approssimazione al fattore Bayes. Pertanto non si considera (più o meno) una distribuzione precedente. Il BIC in una fase di selezione del modello è utile quando si confrontano i modelli. Per comprendere appieno il BIC, il fattore Bayes consiglio vivamente di leggere un articolo (sec. 4): http://www.stat.washington.edu/raftery/Research/PDF/socmeth1995.pdf per integrare la conoscenza con: http: // www .stat.washington.edu / Raftery / ricerca / PDF / kass1995.pdf

— Roberto
fonte