Perché applicare la selezione del modello usando AIC mi dà valori p non significativi per le variabili

Ho alcune domande sull'AIC e spero che tu mi possa aiutare. Ho applicato la selezione del modello (indietro o avanti) in base all'AIC sui miei dati. E alcune delle variabili selezionate hanno finito con un p-value> 0,05. So che le persone stanno dicendo che dovremmo selezionare modelli basati sull'AIC anziché sul valore p, quindi sembra che l'AIC e il valore p siano due concetti di differenza. Qualcuno potrebbe dirmi qual è la differenza? Quello che ho capito finora è che:

1. Per la selezione all'indietro utilizzando l'AIC, supponiamo di avere 3 variabili (var1, var2, var3) e l'AIC di questo modello è AIC *. Se l'esclusione di una di queste tre variabili non si tradurrebbe in un AIC significativamente inferiore a AIC * (in termini di distribuzione ch-square con df = 1), si direbbe che queste tre variabili sono i risultati finali.

2. Un valore p significativo per una variabile (ad es. Var1) in un modello a tre variabili significa che la dimensione dell'effetto standardizzata di quella variabile è significativamente diversa da 0 (secondo Wald, o t-test).

Qual è la differenza fondamentale tra questi due metodi? Come posso interpretarlo se ci sono alcune variabili che hanno valori p non significativi nel mio modello migliore (ottenuto tramite l'AIC)?

AIC e le sue varianti sono più vicine alle variazioni su e sui valori di p di ciascun regressore. Più precisamente, sono versioni penalizzate della verosimiglianza.$R^2$

Non vuoi testare le differenze di AIC usando il chi-quadrato. È possibile verificare le differenze della verosimiglianza usando il chi-quadrato (se i modelli sono nidificati). Per AIC, inferiore è meglio (nella maggior parte delle implementazioni, comunque). Non sono necessari ulteriori aggiustamenti.

Volete davvero evitare metodi di selezione automatica dei modelli, se possibile. Se devi usarne uno, prova LASSO o LAR.

$\chi^2_1$ oltre 2 ... che è il 15,7%)

Quindi non sorprende se lo confronti con l'uso di un valore soglia più piccolo per i valori p che a volte include variabili con valori p più alti di quel valore soglia.

Si noti che né i valori p né AIC sono stati progettati per la selezione del modello graduale, in realtà le assunzioni alla base di entrambi (ma ipotesi diverse) vengono violate dopo il primo passo di una regressione graduale. Come menzionato da @PeterFlom, LASSO e / o LAR sono alternative migliori se si sente la necessità di una selezione automatica del modello. Quei metodi riportano le stime che sono grandi per caso (che ricompensa gradualmente per caso) indietro verso 0 e quindi tendono ad essere meno distorte rispetto a quelle graduali (e il pregiudizio rimanente tende ad essere più conservativo).

Un grosso problema con AIC che viene spesso trascurato è la dimensione della differenza nei valori AIC, è tutto comune vedere "abbassare è meglio" e fermarsi lì (e i procedimenti automatizzati sottolineano solo questo). Se stai confrontando 2 modelli e hanno valori AIC molto diversi, allora c'è una chiara preferenza per il modello con AIC inferiore, ma spesso avremo 2 (o più) modelli con valori AIC vicini l'uno all'altro, in in questo caso, usando solo il modello con il valore AIC più basso, si perderanno informazioni preziose (e dedurre cose sui termini che sono o meno in questo modello ma differiscono negli altri modelli simili sarà insignificante o peggiore). Le informazioni al di fuori dei dati stessi (come quanto sia difficile / costoso) raccogliere l'insieme delle variabili predittive) possono rendere un modello con AIC leggermente superiore più desiderabile da usare senza molta perdita di qualità. Un altro approccio consiste nell'utilizzare una media ponderata dei modelli simili (ciò comporterà probabilmente previsioni finali simili ai metodi penalizzati come la regressione della cresta o il lazo, ma il processo di pensiero che porta al modello potrebbe aiutare a comprendere).

La mia esperienza con l'AIC è che se le variabili sembrano non significative, ma appaiono ancora nel modello con il più piccolo AIC, quelle risultano essere possibili confondenti.

Ti suggerisco di controllare se c'è confusione. La rimozione di tali variabili non significative dovrebbe modificare la magnetude di alcuni coefficienti stimati rimanenti di oltre il 25%.

Penso che la migliore selezione del modello sia usando il pacchetto MuMIn. Questo sarà il risultato immediato e non dovrai cercare i valori AIC più bassi. Esempio:

d<-read.csv("datasource")
library(MuMIn)
fit<-glm(y~x1+x2+x3+x4,family=poisson,data=d)
get.models(dredge(fit,rank="AIC"))[1]