Comprensione del criterio AIC e Schwarz

Sto gestendo un modello logistico. Il set di dati del modello effettivo ha più di 100 variabili ma sto scegliendo un set di dati di prova in cui ci sono circa 25 variabili. In precedenza ho anche creato un set di dati con 8-9 variabili. Mi è stato detto che i valori AIC e SC possono essere usati per confrontare il modello. Ho osservato che il modello aveva valori SC più alti anche quando la variabile aveva valori p bassi (es. 0053). A mio avviso, un modello che presenta variabili con un buon livello di significatività dovrebbe risultare in valori SC e AIC bassi. Ma ciò non sta accadendo. Qualcuno può chiarire questo. In breve, voglio porre le seguenti domande:

Il numero di variabile ha a che fare con SC AIC?
Dovrei concentrarmi su valori p o valori SC AIC bassi?
Quali sono i modi tipici per ridurre i valori di SC AIC?

model-selection logistic aic

— ayush biyani
fonte

Risposte:

$-2\log(\ell)+2k$ $k$ $p$

Suggerirei di esaminare la regressione penalizzata , che consente di eseguire la selezione variabile per evitare problemi di overfitting. Questo è discusso in Regressione Modeling Strategies di Frank Harrell (p. 207 ss.), O Moons et al., Stima della massima probabilità penalizzata per regolare direttamente i modelli diagnostici e di previsione prognostica per l'overoptimismo: un esempio clinico , J Clin Epid (2004) 57 ( 12).

Vedi anche i pacchetti Design ( lrm) e stepPlr ( step.plr) R o il pacchetto penalizzato . Puoi consultare le domande correlate sulla selezione delle variabili su questo SE.

— CHL
fonte

Ciao chl, grazie per la risposta ... Ammetto che ho ricevuto alcune informazioni dalla tua risposta ... Fammi capire e quindi puoi commentare per favore. (1) Ho un indizio che i valori di P possono scendere se la dimensione del campione è grande ...-- È così ?? Secondo la mia comprensione, i valori di p possono solo mostrare se la tua ipotesi nulla è respinta. (2) Ora capisco che ho bisogno di vedere la differenza nei valori AIC solo con intercetta e con covariate. Suppongo che quando diciamo che vogliamo un AIC inferiore intendiamo per lo stesso set di dati. Ricevo il personaggio nel mio commento, quindi commenterò di nuovo una volta che rispondi per favore,

— ayush biyani,

@ayush (1) le statistiche del test (ad es. Wald) dipendono dalla dimensione del campione (l'errore standard diminuisce con l'aumentare della dimensione del campione e probabilmente si otterranno valori p più bassi con un campione più grande). (2) sì, sebbene AIC possa essere usato per confrontare modelli non nidificati, qui lo stavo pensando come un modo per confrontare diversi modelli di crescente complessità.

— chl

grazie ancora..ho subito l'essenza del valore p. Alcuni minuti fa ho eseguito un modello che mi sta dando valori di p inferiori a 0,05 per tutte le variabili tranne AIC di 28238,407 con solo intercettazione e con covariate 21507.933. Ho anche un caso in cui AIC è 16035.xy con solo intercettazione e con covariate 4234.xy. Qual è la tua opinione confrontando due casi? Si noti che il secondo modello aveva diverse variabili 25 var mentre il primo aveva 20. quindi il secondo aveva più variabili (25 rispetto a 20) con AIC inferiore. Sebbene i valori di p siano stati 0,05 per tutti. Per favore, suggerisci ... più per chiedere dopo questo ... Grazie.

— Ayush Biyani,

@ayush È difficile rispondere della qualità del modello senza sapere come sono state selezionate le variabili. Il divario in AIC tra un modello che include solo un'intercettazione e alcune covariate ti dà un'indicazione sul "potere esplicativo" di quei predittori (la devianza residua sembra diminuire in misura maggiore nel secondo caso che hai mostrato, e AIC penalizza per il # parametri come ho detto nella mia risposta). Non è affatto una risposta completa sulla rilevanza di questi predittori. Ti suggerirei di fare una domanda più specifica (IMO), ad esempio sulla selezione delle variabili nei GLM per il tuo studio specifico.

— chl

Raggruppare SC e AIC insieme È SBAGLIATO . Sono cose molto diverse, anche se le persone le abusano pesantemente. AIC è significativo quando si prevedono le cose, l'utilizzo di SC in questo scenario può portare (non tutte le volte) a risultati errati. Allo stesso modo, se sei interessato a fare la selezione del modello con il principio di parsimonia (Occam's Razor) SC è meglio. Non voglio entrare nei dettagli teorici, ma in poche parole: SC - buono per modelli parsimoniosi quando vuoi qualcosa di equivalente al modello più semplice possibile per spiegare i tuoi dati, AIC - Quando vuoi predire. AIC non presume che il tuo vero modello risieda nello spazio del modello come fa SC.

In secondo luogo, l'utilizzo di valori p e criteri di informazione insieme può anche essere fuorviante, come spiegato da chl .

— suncoolsu
fonte