Regressione di residui di regressione logistica su altri regressori

Con la regressione OLS applicata alla risposta continua, si può costruire l'equazione di regressione multipla eseguendo sequenzialmente le regressioni dei residui su ciascuna covariata. La mia domanda è: c'è un modo per farlo con la regressione logistica tramite i residui della regressione logistica ?

Cioè, se voglio stimare usando l'approccio di modellazione lineare generalizzata standard, c'è un modo per eseguire la regressione logistica contro x e ottenere pseudo-residui R_1 , quindi regredire R_1 su z per ottenere uno stimatore imparziale dei coefficienti di regressione logistica. Sarebbero apprezzati riferimenti a libri di testo o letteratura.$\Pr(Y = 1 | x, z)$$x$$R_1$$R_1$$z$

Nella regressione lineare multipla standard, la capacità di adattare le stime dei minimi quadrati (OLS) in due fasi deriva dal teorema di Frisch – Waugh – Lovell . Questo teorema mostra che la stima di un coefficiente per un particolare predittore in un modello lineare multiplo è uguale alla stima ottenuta regredendo i residui di risposta (residui di una regressione della variabile di risposta rispetto alle altre variabili esplicative) rispetto ai residui di predittore (residui da una regressione della variabile predittore rispetto alle altre variabili esplicative). Evidentemente, stai cercando un'analogia con questo teorema che può essere usato in un modello di regressione logistica.

Per questa domanda, è utile ricordare la caratterizzazione variabile latente della regressione logistica :

$$Y_i = \mathbb{I}(Y_i^* > 0) \quad \quad \quad Y_i^* = \beta_0 + \beta_X x_i + \beta_Z z_i + \varepsilon_i \quad \quad \quad \varepsilon_i \sim \text{IID Logistic}(0,1).$$

In questa caratterizzazione del modello, la variabile di risposta latente non è osservabile, e invece osserviamo l'indicatore che ci dice se la risposta latente è positiva. Questa forma del modello è simile alla regressione lineare multipla, tranne per il fatto che utilizziamo una distribuzione dell'errore leggermente diversa (la distribuzione logistica invece della distribuzione normale) e, cosa più importante, osserviamo solo un indicatore che mostra se la risposta latente è positiva .$Y_i^*$$Y_i$

Ciò crea un problema per qualsiasi tentativo di creare un adattamento in due passaggi del modello. Questo teorema di Frisch-Waugh-Lovell dipende dalla capacità di ottenere residui intermedi per la risposta e il predittore di interesse, confrontati con le altre variabili esplicative. Nel caso presente, possiamo ottenere solo residui da una variabile di risposta "classificata". La creazione di un processo di adattamento in due fasi per la regressione logistica richiederebbe l'utilizzo di residui di risposta da questa variabile di risposta categorizzata, senza accesso alla risposta latente sottostante. Questo mi sembra un grosso ostacolo e, sebbene non si riveli impossibile, sembra improbabile che sia possibile adattare il modello in due fasi.

Di seguito ti darò un resoconto di ciò che sarebbe necessario per trovare un processo in due fasi per adattarsi a una regressione logistica. Non sono sicuro se esiste una soluzione a questo problema o se esiste una prova di impossibilità, ma il materiale qui dovrebbe portarti in qualche modo verso la comprensione di ciò che è richiesto.

---

Come sarebbe una regressione logistica in due fasi? Supponiamo di voler costruire un adattamento in due fasi per un modello di regressione logistica in cui i parametri sono stimati mediante la stima della massima verosimiglianza in ogni fase. Vogliamo che il processo comporti un passaggio intermedio che si adatti ai seguenti due modelli:

$$\begin{matrix} Y_i = \mathbb{I}(Y_i^{**} > 0) & & & Y_i^{**} = \alpha_0 + \alpha_X x_i + \tau_i & & & \tau_i \sim \text{IID Logistic}(0,1), \\[6pt] & & & \text{ } \text{ } Z_i = \gamma_0 + \gamma_X x_i + \delta_i & & & \delta_i \sim \text{IID } g. \quad \quad \quad \quad \quad \\ \end{matrix}$$

Stimiamo i coefficienti di questi modelli (tramite MLE) e questo produce valori adattati intermedi . Quindi, nel secondo passaggio, inseriamo il modello:$\hat{\alpha}_0, \hat{\alpha}_X, \hat{\gamma}_0, \hat{\gamma}_X$

$$Y_i = \text{logistic}(\hat{\alpha}_0 + \hat{\alpha}_1 x_i) + \beta_Z (z_i - \hat{\gamma}_0 - \hat{\gamma}_X x_i) + \epsilon_i \quad \quad \quad \epsilon_i \sim \text{IID } f.$$

Come specificato, la procedura ha un sacco di elementi fissi, ma la funzioni di densità ed in questi passaggi sono lasciato non specificato (se dovrebbero essere distribuzioni a media nulla che non dipendono dai dati). Per ottenere un metodo di montaggio in due fasi sotto questi vincoli bisogna scegliere ed per garantire che la SMV per in questo due fasi algoritmo modello-forma è la stessa come la SMV ottenuto dal modello di regressione logistica one-step sopra.$g$$f$$g$$f$$\beta_Z$

Per vedere se questo è possibile, scriviamo prima tutti i parametri stimati dal primo passo:

$$\begin{equation} \begin{aligned} \ell_{\mathbf{y}| \mathbf{x}} (\hat{\alpha}_0, \hat{\alpha}_X) &= \underset{\alpha_0, \alpha_X}{\max} \sum_{i=1}^n \ln \text{Bern}(y_i | \text{logistic}(\alpha_0 + \alpha_X x_i)), \\[10pt] \ell_{\mathbf{z}| \mathbf{x}} (\hat{\gamma}_0, \hat{\gamma}_X) &= \underset{\gamma_0, \gamma_X}{\max} \sum_{i=1}^n \ln g( z_i - \gamma_0 - \gamma_X x_i ). \end{aligned} \end{equation}$$

Let modo che la funzione di probabilità logaritmica per il secondo passaggio sia:$\epsilon_i = y_i - \text{logistic}(\hat{\alpha}_0 - \hat{\alpha}_1 x_i) + \beta_Z (z_i - \hat{\gamma}_0 - \hat{\gamma}_X x_i)$

$$\ell_{\mathbf{y}|\mathbf{z}|\mathbf{x}}(\beta_Z) = \sum_{i=1}^n \ln f(y_i - \text{logistic}(\hat{\alpha}_0 - \hat{\alpha}_1 x_i) + \beta_Z (z_i - \hat{\gamma}_0 - \hat{\gamma}_X x_i)).$$

Richiediamo che il valore massimo di questa funzione sia l'MLE del modello di regressione logistica multipla. In altre parole, richiediamo:

$$\underset{\beta_X}{\text{arg max }} \ell_{\mathbf{y}|\mathbf{z}|\mathbf{x}}(\beta_Z) = \underset{\beta_X}{\text{arg max }} \underset{\beta_0, \beta_Z}{\max} \sum_{i=1}^n \ln \text{Bern}(y_i | \text{logistic}(\beta_0 + \beta_X x_i + \beta_Z z_i)).$$

Lascio ad altri la possibilità di determinare se esiste una soluzione a questo problema o una prova della mancanza di una soluzione. Sospetto che la "categorizzazione" della variabile di risposta latente in una regressione logistica renderà impossibile trovare un processo in due fasi.

Potrei interpretare male la domanda. Dubito che tu possa costruire l'equazione di regressione lineare mediante regressione sui residui nel modo specificato da OP . Il metodo di OP funzionerebbe solo se i predittori fossero indipendenti l'uno dall'altro.

Per farlo funzionare, supponiamo che sia il vettore di risultato, sia la matrice del modello per i predittori già presenti nel modello e desideri includere . È necessario regredire il residuo della regressione di su rispetto al residuo della regressione di su per ottenere il coefficiente OLS per .$y$$X$$x_1$$y$$X$$x_1$$X$$x_1$

Ecco un semplice esempio:

set.seed(12345)
n <- 5000
x1 <- rnorm(n)
x2 <- .5 * x1 + rnorm(n) # Correlated predictors
y <- x1 + x2 + rnorm(n)

Modello adatto con OLS:

coef(lm(y ~ x1 + x2))
(Intercept)          x1          x2 
0.001653707 1.037426007 0.996259446 

Regressione sui residui:

coef(lm(residuals(lm(y ~ x1)) ~ x2))
(Intercept)          x2 
0.001219232 0.818774874 

Questo è sbagliato, devi adattarti:

coef(lm(residuals(lm(y ~ x1)) ~ residuals(lm(x2 ~ x1))))
           (Intercept) residuals(lm(x2 ~ x1)) 
         -6.707350e-17           9.962594e-01 

Che restituisce il giusto coefficiente per x2, questo si allinea alle differenze attese in y date le differenze in x2, mantenendo costante x1 (togliendolo da ye x1).

A parte questo, nella regressione logistica, sarebbe persino più problematico perché i coefficienti di regressione logistica soffrono di distorsioni variabili omesse anche in assenza di relazioni confuse, vedi qui e qui , quindi a meno che tutti i predittori del risultato non siano nel modello, non si può ottenere stime imparziali dei parametri reali della popolazione. Inoltre, non conosco alcun residuo del modello suscettibile di una seconda regressione logistica con tutti i valori compresi tra 0 e 1.

Alcuni riferimenti sulla regressione sui residui:

• Maxwell, SE, Delaney, HD e Manheimer, JM (1985). Anova di residui e Ancova: correzione di un'illusione usando confronti di modelli e grafici. Journal of Educational Statistics, 10 (3), 197–209. Estratto da http://journals.sagepub.com/doi/pdf/10.3102/10769986010003197
• Freckleton, RP (2002), Sull'abuso di residui in ecologia: regressione di residui vs. regressione multipla. Journal of Animal Ecology, 71 , 542-545. DOI: 10,1046 / j.1365-2656.2002.00618.x

Spero di non interpretare male la tua domanda, poiché la mia risposta cambierà in qualche modo la formulazione di come hai formulato il tuo argomento.

Penso che quello che stai cercando di fare sia costruire il tuo modello di regressione aggiungendo una variabile indipendente alla volta. E lo fai osservando quale variabile prospettica ha la più alta correlazione con il residuo della tua prima regressione tra Y e X1. Quindi, la variabile con la più alta correlazione con questo primo residuo sarà X2. Quindi, ora hai un modello con due variabili indipendenti X1 e X2. E continui questo esatto processo per selezionare X3, X4, ecc. Questo è un processo di avanzamento graduale.

Puoi fare esattamente la stessa cosa con la regressione logistica per il semplice motivo che la regressione logistica è praticamente una regressione OLS in cui la variabile dipendente è il registro di dispari (o logit). Ma se Y è un logit o meno non influisce sul processo di avanzamento graduale sopra menzionato.

OLS minimizza la somma degli errori quadrati per adattarsi ai dati effettivi. La regressione del logit utilizza un processo di massima verosimiglianza che genera un adattamento non molto diverso da OLS. E anche quello (il meccanismo di adattamento) non dovrebbe influire sul processo di avanzamento graduale che consente di costruire il modello di regressione multipla, sia che si tratti di una regressione OLS o di una regressione Logit.