Come funziona la "regressione graduale"?


11

Ho usato il seguente codice R per adattarsi a un modello probit:

p1 <- glm(natijeh ~ ., family=binomial(probit), data=data1)
stepwise(p1, direction='backward/forward', criterion='BIC')

Voglio sapere cosa significa stepwisee backward/forwardfare esattamente e come selezionare le variabili?


7
Alcuni commenti di Frank Harrell ( stats.stackexchange.com/users/4253/frank-harrell ) sul perché la regressione graduale è errata: stata.com/support/faqs/statistics/stepwise-regression-problems

4
Oltre ai link di BabakP, dai un'occhiata anche a questo post dal sito.
COOLSerdash

3
Ancora un altro post sui problemi con stepwise (e anche avanti e indietro) è un articolo che ho scritto con David Cassell: Stopping Stepwise
Peter Flom - Reinstate Monica

@PeterFlom, per fare riferimento a questo documento, sto riscontrando alcuni problemi nel comprendere la citazione corretta. Potresti elencarlo qui? Grazie.
doug.numbers,

2
@ doug.numbers È stato presentato in vari luoghi e pubblicato nell'ambito degli atti della conferenza. Se si utilizza Google "Flom, Cassell, Stepwise", si otterranno i luoghi in cui è stata presentata e si può formattare comunque si formattano citazioni a presentazioni pubblicate.
Peter Flom - Ripristina Monica

Risposte:


10

Principio della selezione graduale

  1. Adatti un modello con tutte le variabili che desideri. Questo è il tuo miglior modello attuale.
  2. Si rimuove una variabile (o ne si aggiunge una, tra le variabili non utilizzate nel modello migliore corrente) e per ognuna si adatta il nuovo modello e li si confronta con ciascuno sopra e con quello originale, secondo BIC (o qualsiasi altro criterio, come AIC ). Ottieni un altro "miglior modello attuale".

Ripetete 2. fino a quando non vi è alcuna riduzione del BIC. Hai solo un minimo locale di BIC, il che significa che potresti non ottenere il modello migliore tra tutte le possibili scelte di sottoinsiemi di variabili. Ma comunque ce ne sono di solito troppi, quindi questo è un modo per ottimizzare un po ', senza troppo lavoro.

Vedi anche regressione graduale e selezione del modello su Wikipedia.


5

La regressione graduale si adatta sostanzialmente al modello di regressione aggiungendo / rilasciando le covariate una alla volta in base a un criterio specificato (nel tuo esempio sopra il criterio sarebbe basato sul BIC).

Specificando in avanti stai dicendo Rche vorresti iniziare con il modello più semplice (cioè una covariata) e quindi aggiungere una covariata una alla volta mantenendo solo quelli che comportano un miglioramento dei modelli BIC.

Specificando all'indietro stai dicendo Rche vuoi iniziare con il modello completo (cioè il modello con tutte le covariate) e poi rilasciare le covariate, una volta alla volta, che si traducono in un miglioramento del BIC.

La regressione graduale può essere una procedura statistica molto pericolosa perché non è una procedura di selezione del modello ottimale. Il metodo può portare a una selezione del modello molto scadente perché e non ti protegge da problemi come confronti multipli.


Grazie. E che dire di "indietro / avanti"?
Mahmoud,

Cosa intendi con indietro / avanti?

Uno dei metodi di stpewise () in R è 'indietro / avanti'! È una combinazione di entrambi?
Mahmoud,

2
Oh scusa, ora capisco cosa stai chiedendo. Sì, se si specificano entrambi, si applica sia in avanti che all'indietro e sceglie quello con il criterio migliore.
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.