Come funziona la "regressione graduale"?

Ho usato il seguente codice R per adattarsi a un modello probit:

p1 <- glm(natijeh ~ ., family=binomial(probit), data=data1)
stepwise(p1, direction='backward/forward', criterion='BIC')

Voglio sapere cosa significa stepwisee backward/forwardfare esattamente e come selezionare le variabili?

Principio della selezione graduale

1. Adatti un modello con tutte le variabili che desideri. Questo è il tuo miglior modello attuale.
2. Si rimuove una variabile (o ne si aggiunge una, tra le variabili non utilizzate nel modello migliore corrente) e per ognuna si adatta il nuovo modello e li si confronta con ciascuno sopra e con quello originale, secondo BIC (o qualsiasi altro criterio, come AIC ). Ottieni un altro "miglior modello attuale".

Ripetete 2. fino a quando non vi è alcuna riduzione del BIC. Hai solo un minimo locale di BIC, il che significa che potresti non ottenere il modello migliore tra tutte le possibili scelte di sottoinsiemi di variabili. Ma comunque ce ne sono di solito troppi, quindi questo è un modo per ottimizzare un po ', senza troppo lavoro.

Vedi anche regressione graduale e selezione del modello su Wikipedia.

La regressione graduale si adatta sostanzialmente al modello di regressione aggiungendo / rilasciando le covariate una alla volta in base a un criterio specificato (nel tuo esempio sopra il criterio sarebbe basato sul BIC).

Specificando in avanti stai dicendo Rche vorresti iniziare con il modello più semplice (cioè una covariata) e quindi aggiungere una covariata una alla volta mantenendo solo quelli che comportano un miglioramento dei modelli BIC.

Specificando all'indietro stai dicendo Rche vuoi iniziare con il modello completo (cioè il modello con tutte le covariate) e poi rilasciare le covariate, una volta alla volta, che si traducono in un miglioramento del BIC.

La regressione graduale può essere una procedura statistica molto pericolosa perché non è una procedura di selezione del modello ottimale. Il metodo può portare a una selezione del modello molto scadente perché e non ti protegge da problemi come confronti multipli.