Perché l'utilizzo del metodo di Newton per l'ottimizzazione della regressione logistica si chiama minimi quadrati iterativi ripesati?

Perché l'utilizzo del metodo di Newton per l'ottimizzazione della regressione logistica si chiama minimi quadrati iterativi ripesati?

Non mi sembra chiaro perché la perdita logistica e la perdita dei minimi quadrati sono cose completamente diverse.

Riepilogo: I GLM si adattano al punteggio di Fisher che, come osserva Dimitriy V. Masterov, è invece Newton-Raphson con l'attesa Assia (ovvero usiamo una stima delle informazioni di Fisher invece delle informazioni osservate). Se stiamo usando la funzione di collegamento canonico si scopre che l'Assia osservata è uguale all'Assia attesa, quindi il punteggio NR e Fisher sono gli stessi in quel caso. Ad ogni modo, vedremo che il punteggio di Fisher si adatta effettivamente a un modello lineare ponderato dei minimi quadrati e le stime dei coefficienti da questo convergono * su un massimo della probabilità di regressione logistica. Oltre a ridurre l'adattamento di una regressione logistica a un problema già risolto, otteniamo anche il vantaggio di poter utilizzare la diagnostica di regressione lineare sull'adattamento WLS finale per conoscere la nostra regressione logistica.

Terrò questo focalizzato sulla regressione logistica, ma per una prospettiva più generale sulla massima verosimiglianza nei GLM raccomando la sezione 15.3 di questo capitolo che tratta questo e deriva IRLS in un contesto più generale (penso che provenga da John Fox's Applied Analisi di regressione e modelli lineari generalizzati ).

$^*$ vedere i commenti alla fine

---

La probabilità e la funzione di punteggio

Adatteremo il nostro GLM ripetendo qualcosa della forma

$$b^{(m+1)} = b^{(m)} - J^{-1}_{(m)}\nabla \ell(b^{(m)})$$ dove $\ell$ è la probabilità di log e $J_{m}$ sarà l'Assia osservata o attesa della probabilità del tronco.

La nostra funzione di collegamento è una funzione $g$ che mappa la media condizionale $\mu_i = E(y_i | x_i)$ al nostro predittore lineare, quindi il nostro modello per la media è $g(\mu_i) = x_i^T\beta$ . Sia $h$ la funzione di collegamento inverso che mappa il predittore lineare sulla media.

Per una regressione logistica abbiamo una probabilità di Bernoulli con osservazioni indipendenti quindi

$$\ell(b; y) = \sum_{i=1}^n y_i\log h(x_i^T b) + (1 - y_i) \log(1 - h(x_i^Tb)).$$ Assunzione di derivati, $$\frac{\partial \ell}{\partial b_j} = \sum_{i=1}^n \frac{y_i}{h(x_i^T b)} h'(x_i^T b) x_{ij} - \frac{1 - y_i}{1 - h(x_i^T b)} h'(x_i^T b) x_{ij}$$ =∑ixijh′(x T i b $$= \sum_{i=1}^n x_{ij} h'(x_i^T b) \left(\frac{y_i}{h(x_i^T b)} - \frac{1 - y_i}{1 - h(x_i^T b)} \right)$$ $$= \sum_i x_{ij} \frac{h'(x_i^T b)}{h(x_i^T b)(1 - h(x_i^T b))}(y_i - h(x_i^T b)).$$

---

Utilizzando il collegamento canonico

Supponiamo ora di utilizzare la funzione di collegamento canonico . Quindi g - 1 c ( x ) : = h c ( x ) = $g_c = \text{logit}$ soh ′ c =hc⋅(1-hc)che significa che questo semplifica a ∂$g^{-1}_c(x) := h_c(x) = \frac{1}{1+e^{-x}}$$h_c' = h_c \cdot (1-h_c)$ in modo ∇ℓ(b;y)=XT(y - y ). Inoltre, usando ancorahc, ∂2

$$\frac{\partial \ell}{\partial b_j} = \sum_i x_{ij} (y_i - h_c(x_i^T b))$$ $$\nabla \ell (b; y) = X^T (y - \hat y).$$ $h_c$ $$\frac{\partial^2 \ell}{\partial b_k \partial b_j} = - \sum_i x_{ij} \frac{\partial}{\partial b_k} h_c(x_i^T b) = - \sum_i x_{ij}x_{ik} \left[h_c(x_i^T b) (1 - h_c(x_i^T b))\right].$$

Sia Quindi abbiamo H = - X T W X e nota come questo non abbia più y i in esso, quindi E ( H ) = H (stiamo vedendo questo come una funzione di b, quindi l'unica cosa casuale è y si). Quindi abbiamo dimostrato che il punteggio di Fisher equivale a Newton-Raphson quando usiamo il collegamento canonico nella regressione logistica. Anche in virtù

$$W = \text{diag}\left(h_c(x_1^T b)(1 - h_c(x_1^T b)), \dots, h_c(x_n^T b)(1 - h_c(x_n^T b))\right) = \text{diag}\left(\hat y_1(1 - \hat y_1), \dots, \hat y_n (1 - \hat y_n)\right).$$ $$H = -X^TWX$$ $y_i$$E(H) = H$$b$$y$- X T W X sarà sempre rigorosamente definita negativa, sebbene numericamente se y i diventa troppo vicino a 0 o 1 allora possiamo avere pesi arrotondare a 0 che può rendere H semidefinita negativa e quindi computazionalmente singolare.$\hat y_i \in (0,1)$ $-X^TWX$$\hat y_i$$0$$1$$0$$H$

Ora creare la risposta di lavoro e nota che ∇ ℓ = X T ( y - y ) = X T W z $z = W^{-1}(y - \hat y)$

$$\nabla \ell = X^T(y - \hat y) = X^T W z.$$

Tutti insieme ciò significa che possiamo ottimizzare la verosimiglianza del log ripetendo e ( X T W ( m ) X ) - 1 X T W ( m ) z (

$$b^{(m+1)} = b^{(m)} + (X^T W_{(m)} X)^{-1}X^T W_{(m)} z_{(m)}$$ $(X^T W_{(m)} X)^{-1}X^T W_{(m)} z_{(m)}$$\hat \beta$$z_{(m)}$$X$

Controllando questo in R:

set.seed(123)
p <- 5
n <- 500
x <- matrix(rnorm(n * p), n, p)
betas <- runif(p, -2, 2)
hc <- function(x) 1 /(1 + exp(-x)) # inverse canonical link
p.true <- hc(x %*% betas)
y <- rbinom(n, 1, p.true)

# fitting with our procedure
my_IRLS_canonical <- function(x, y, b.init, hc, tol=1e-8) {
  change <- Inf
  b.old <- b.init
  while(change > tol) {
    eta <- x %*% b.old  # linear predictor
    y.hat <- hc(eta)
    h.prime_eta <- y.hat * (1 - y.hat)
    z <- (y - y.hat) / h.prime_eta

    b.new <- b.old + lm(z ~ x - 1, weights = h.prime_eta)$coef  # WLS regression
    change <- sqrt(sum((b.new - b.old)^2))
    b.old <- b.new
  }
  b.new
}

my_IRLS_canonical(x, y, rep(1,p), hc)
# x1         x2         x3         x4         x5 
# -1.1149687  2.1897992  1.0271298  0.8702975 -1.2074851

glm(y ~ x - 1, family=binomial())$coef
# x1         x2         x3         x4         x5 
# -1.1149687  2.1897992  1.0271298  0.8702975 -1.2074851 

e sono d'accordo.

---

Funzioni di collegamento non canoniche

$\frac{h'}{h(1-h)} = 1$ nel $\nabla \ell$ così $H$ diventa molto più complicato, e quindi vediamo una notevole differenza usando $E(H)$ nel nostro punteggio Fisher.

Ecco come andrà: abbiamo già elaborato il generale $\nabla \ell$quindi l'Assia sarà la principale difficoltà. Abbiamo bisogno

$$\frac{\partial^2 \ell}{\partial b_k \partial b_j} = \sum_i x_{ij} \frac{\partial}{\partial b_k}h'(x_i^T b) \left(\frac{y_i}{h(x_i^T b)} - \frac{1 - y_i}{1 - h(x_i^T b)} \right)$$ $$= \sum_i x_{ij}x_{ik} \left[h''(x_i^T b) \left(\frac{y_i}{h(x_i^T b)} - \frac{1 - y_i}{1 - h(x_i^T b)} \right) - h'(x_i^T b)^2\left(\frac{y_i}{h(x_i^T b)^2} + \frac{1-y_i}{(1-h(x_i^T b))^2} \right)\right]$$

Tramite la linearità delle aspettative tutto ciò che dobbiamo fare per ottenere $E(H)$ sostituisce ogni ricorrenza di $y_i$ con la sua media sotto il nostro modello che è $\mu_i=h(x_i^T\beta)$. Ogni termine nel summand conterrà quindi un fattore del modulo

$$h''(x_i^T b) \left(\frac{h(x_i^T \beta)}{h(x_i^T b)} - \frac{1 - h(x_i^T \beta)}{1 - h(x_i^T b)} \right) - h'(x_i^T b)^2\left(\frac{h(x_i^T \beta)}{h(x_i^T b)^2} + \frac{1-h(x_i^T \beta)}{(1-h(x_i^T b))^2} \right).$$ Ma per fare davvero la nostra ottimizzazione dovremo stimare ciascuno $\beta$e al passo $m$ $b^{(m)}$è la migliore ipotesi che abbiamo. Ciò significa che questo si ridurrà a $$h''(x_i^T b) \left(\frac{h(x_i^T b)}{h(x_i^T b)} - \frac{1 - h(x_i^T b)}{1 - h(x_i^T b)} \right) - h'(x_i^T b)^2\left(\frac{h(x_i^T b)}{h(x_i^T b)^2} + \frac{1-h(x_i^T b)}{(1-h(x_i^T b))^2} \right)$$ $$= - h'(x_i^T b)^2\left(\frac{1}{h(x_i^T b)} + \frac{1}{1-h(x_i^T b)} \right)$$ $$= -\frac{h'(x_i^T b)^2}{h(x_i^T b)(1-h(x_i^T b))}.$$ Questo significa che useremo $J$ con $$J_{jk} = -\sum_i x_{ij}x_{ik} \frac{h'(x_i^T b)^2}{h(x_i^T b)(1-h(x_i^T b))}.$$

Adesso molla

$$W^* = \text{diag}\left(\frac{h'(x_1^T b)^2}{h(x_1^T b)(1-h(x_1^T b))} ,\dots, \frac{h'(x_n^T b)^2}{h(x_n^T b)(1-h(x_n^T b))}\right)$$ e nota come sotto il collegamento canonico $h_c' = h_c \cdot (1-h_c)$ riduce $W^*$ per $W$dalla sezione precedente. Questo ci permette di scrivere $$J = -X^TW^*X$$ tranne questo è ora $\hat E(H)$ piuttosto che necessariamente essere $H$stesso, quindi questo può differire da Newton-Raphson. Per tutti$i$ $W_{ii}^* > 0$ quindi a parte le questioni numeriche $J$ sarà definito negativo.

abbiamo

$$\frac{\partial \ell}{\partial b_j} = \sum_i x_{ij} \frac{h'(x_i^T b)}{h(x_i^T b)(1 - h(x_i^T b))}(y_i - h(x_i^T b))$$ lasciando che sia la nostra nuova risposta operativa $z^* = D^{-1}(y-\hat y)$ con $D=\text{diag}\left(h'(x_1^T b), \dots, h'(x_n^T b)\right)$, noi abbiamo $\nabla \ell = X^TW^*z^*$.

Tutti insieme stiamo ripetendo

$$b^{(m+1)} = b^{(m)} + (X^T W_{(m)}^* X)^{-1}X^T W_{(m)}^* z_{(m)}^*$$ quindi questa è ancora una sequenza di regressioni WLS, tranne per il fatto che non è necessariamente Newton-Raphson.

---

L'ho scritto in questo modo per enfatizzare la connessione con Newton-Raphson, ma spesso le persone considereranno gli aggiornamenti in modo che ogni nuovo punto $b^{(m+1)}$ è essa stessa la soluzione WLS, piuttosto che una soluzione WLS aggiunta al punto corrente $b^{(m)}$. Se volessimo farlo, possiamo fare quanto segue:

$$b^{(m+1)} = b^{(m)} + (X^T W_{(m)}^* X)^{-1}X^T W_{(m)}^* z_{(m)}^*$$ $$= (X^T W_{(m)}^* X)^{-1}\left(X^T W_{(m)}^* Xb^{(m)}+ X^TW^*_{(m)}z_{(m)}^* \right)$$ $$= (X^T W_{(m)}^* X)^{-1}X^TW_{(m)}^*\left(Xb^{(m)}+ z_{(m)}^* \right)$$ quindi se stiamo andando in questo modo vedrai la risposta operativa prendere la forma $\eta^{(m)} + D^{-1}_{(m)}(y - \hat y^{(m)})$, ma è la stessa cosa.

---

Confermiamo che funziona usandolo per eseguire una regressione probit sugli stessi dati simulati di prima (e questo non è il collegamento canonico, quindi abbiamo bisogno di questa forma più generale di IRLS).

my_IRLS_general <- function(x, y, b.init, h, h.prime, tol=1e-8) {
  change <- Inf
  b.old <- b.init
  while(change > tol) {
    eta <- x %*% b.old  # linear predictor
    y.hat <- h(eta)
    h.prime_eta <- h.prime(eta)
    w_star <- h.prime_eta^2 / (y.hat * (1 - y.hat))
    z_star <- (y - y.hat) / h.prime_eta

    b.new <- b.old + lm(z_star ~ x - 1, weights = w_star)$coef  # WLS

    change <- sqrt(sum((b.new - b.old)^2))
    b.old <- b.new
  }
  b.new
}

# probit inverse link and derivative
h_probit <- function(x) pnorm(x, 0, 1)
h.prime_probit <- function(x) dnorm(x, 0, 1)

my_IRLS_general(x, y, rep(0,p), h_probit, h.prime_probit)
# x1         x2         x3         x4         x5 
# -0.6456508  1.2520266  0.5820856  0.4982678 -0.6768585 

glm(y~x-1, family=binomial(link="probit"))$coef
# x1         x2         x3         x4         x5 
# -0.6456490  1.2520241  0.5820835  0.4982663 -0.6768581 

e ancora una volta i due sono d'accordo.

---

Commenti sulla convergenza

Infine, alcuni brevi commenti sulla convergenza (terrò questo breve dato che sta diventando davvero lungo e non sono un esperto di ottimizzazione). Anche se teoricamente ciascuno$J_{(m)}$è negativo, le condizioni iniziali negative possono comunque impedire la convergenza di questo algoritmo. Nell'esempio probit sopra, cambiando le condizioni iniziali in b.init=rep(1,p)risultati in questo, e che non sembra nemmeno una condizione iniziale sospetta. Se passi attraverso la procedura IRLS con quella inizializzazione e questi dati simulati, per la seconda volta attraverso il ciclo ci sono alcuni$\hat y_i$ quel round esattamente $1$e così i pesi diventano indefiniti. Se stiamo usando il link canonico nell'algoritmo che ho dato, non ci divideremo mai$\hat y_i (1 - \hat y_i)$ per ottenere pesi indefiniti, ma se abbiamo una situazione in cui alcuni $\hat y_i$ si stanno avvicinando $0$ o $1$, come nel caso della separazione perfetta, avremo comunque non-convergenza man mano che il gradiente muore senza che noi raggiungiamo nulla.