Linee guida AIC nella selezione del modello

Di solito uso il BIC perché intendo che apprezza la parsimonia più fortemente di quanto non faccia l'AIC. Tuttavia, ho deciso di utilizzare un approccio più completo ora e vorrei usare anche AIC. So che Raftery (1995) ha presentato buone linee guida per le differenze BIC: 0-2 è debole, 2-4 è una prova positiva per un modello migliore, ecc.

Ho guardato nei libri di testo e sembrano strani su AIC (sembra che una differenza maggiore sia debole e una differenza minore in AIC significa che un modello è migliore). Questo va contro ciò che so di essere stato insegnato. La mia comprensione è che si desidera un AIC inferiore.

Qualcuno sa se le linee guida di Raftery si estendono anche all'AIC, o dove potrei citare alcune linee guida per "la forza delle prove" per un modello contro un altro?

E sì, i tagli non sono grandi (li trovo irritanti) ma sono utili quando si confrontano diversi tipi di prove.

AIC e BIC hanno la stessa interpretazione in termini di confronto tra modelli. Cioè, la maggiore differenza tra AIC o BIC indica prove più forti per un modello rispetto all'altro (minore è il migliore). È solo che l'AIC non penalizza il numero di parametri tanto quanto BIC. Esiste anche una correzione per l'AIC (AICc) che viene utilizzato per campioni di dimensioni inferiori. Ulteriori informazioni sul confronto tra AIC / BIC sono disponibili qui .

$AIC_1$$AIC_2$$AIC_1< AIC_2$
$(1, 2, ..., n)$$\Delta_i= AIC_i- AIC_{min}$$AIC_i$$i$$AIC_{min}$$\Delta_i >10$$\Delta_i$$\Delta_i\equiv\Delta_{min}\equiv0.$

In genere non uso mai AIC o BIC in modo obiettivo per descrivere l'adattamento adeguato per un modello. Io non uso questi circuiti integrati per confrontare la misura relativa di due modelli predittivi. Per quanto riguarda un AIC di "2" o "4", è completamente contestuale. Se vuoi avere un'idea di come si adatta un modello "buono", puoi (dovresti) usare sempre una simulazione. La tua comprensione dell'AIC è giusta. L'AIC riceve un contributo positivo dai parametri e un contributo negativo dalla probabilità. Quello che stai cercando di fare è massimizzare la probabilità senza caricare il tuo modello con un mucchio di parametri. Quindi, la mia idea di scoppio della bolla è che le interruzioni per AIC non vanno bene fuori contesto.

Ecco una domanda correlata quando-è-appropriato-selezionare-modelli-minimizzando-l'aic? . Ti dà un'idea generale di ciò che le persone non irriconoscibili nel mondo accademico considerano appropriato scrivere e quali riferimenti lasciare importanti.

In generale, sono le differenze tra le probabilità o gli AIC che contano, non i loro valori assoluti. Hai perso la parola importante "differenza" nel tuo "BIC: 0-2 è debole" nella domanda - controlla la TABELLA 6 di Raftery - ed è strano che nessuno voglia correggerlo.

Io stesso mi è stato insegnato a cercare MAICE (stima minima AIC - come la chiamava Akaike). E allora? Ecco cosa ha scritto una persona famosa a una signora sconosciuta:

Dear Miss -- 
I have read about sixteen pages of your manuscript ... I suffered exactly the same 
treatment at the hands of my teachers who disliked me for my independence and passed 
over me when they wanted assistants ... keep your manuscript for your sons and
daughters, in order that they may derive consolation from it and not give a damn for
what their teachers tell them or think of them. ... There is too much education
altogether.

I miei insegnanti non hanno mai sentito parlare di articoli con titoli come "Un test se due AIC differiscono in modo significativo" e non ricordo nemmeno che abbiano mai definito AIC una statistica, che avrebbe una distribuzione campionaria e altre proprietà. Mi è stato insegnato che l'AIC è un criterio da minimizzare, se possibile in qualche modo automatico.

Ancora un altro problema importante, che penso sia stato espresso qui alcuni anni fa da IrishStat (dalla memoria, quindi mi scuso se sbaglio perché non sono riuscito a trovare quella risposta) è che AIC, BIC e altri criteri sono stati derivati ​​per scopi diversi e in condizioni diverse (ipotesi), quindi spesso non è possibile utilizzarle in modo intercambiabile se il proprio scopo è la previsione, ad esempio. Non puoi semplicemente preferire qualcosa di inappropriato.

Le mie fonti mostrano che ho usato una citazione di Burnham e Anderson (2002, p. 70) per scrivere che il delta (differenze AIC) in 0-2 ha un sostanziale supporto; delta entro 4-7 supporto considerevolmente meno e delta maggiore di 10 essenzialmente nessun supporto. Inoltre, ho scritto che "gli autori hanno anche discusso delle condizioni in cui queste linee guida possono essere utili". Il libro è citato nella risposta di Stat, che ho ritenuto più pertinente.

Per quanto riguarda i criteri di informazione, ecco cosa dice SAS :

"Si noti che criteri di informazione come Akaike (AIC), Schwarz (SC, BIC) e QIC possono essere utilizzati per confrontare modelli non nidificati concorrenti, ma non forniscono un test di confronto. Di conseguenza, non possono indicare se un modello è significativamente meglio di un altro. GENMOD, LOGISTIC, GLIMMIX, MIXED e altre procedure forniscono misure relative ai criteri di informazione ".

Esistono due procedure di test del modello comparativo: a) test di Vuong eb) test di Clarke non parametrico. Vedi questo documento per i dettagli.