Puoi dare una semplice spiegazione intuitiva del metodo IRLS per trovare l'MLE di un GLM?

Sfondo:

Sto cercando di seguire la recensione di Princeton della stima MLE per GLM .

Capisco le basi di stima MLE: likelihood, score, osservato e atteso Fisher informatione la Fisher scoringtecnica. E so come giustificare la semplice regressione lineare con la stima MLE .

---

La domanda:

Non riesco a capire nemmeno la prima riga di questo metodo :(

Qual è l'intuizione dietro le variabili di lavoro definite come:$z_i$

$$z_i = \hat\eta_i + (y_i -\hat\mu_i)\frac{d\eta_i}{d\mu_i}$$

Perché vengono utilizzati al posto di per stimare ?$y_i$$\beta$

E qual è la loro relazione con la response/link functionquale è la connessione tra e$\eta$$\mu$

Se qualcuno ha una spiegazione semplice o può indirizzarmi a un testo di livello più basilare su questo, ti sarei grato.

Alcuni anni fa ho scritto un articolo su questo per i miei studenti (in spagnolo), quindi posso provare a riscrivere queste spiegazioni qui. Esaminerò IRLS (minimi quadrati ripetutamente ripetuti) attraverso una serie di esempi di complessità crescente. Per il primo esempio abbiamo bisogno del concetto di una famiglia in scala locale. Sia una funzione di densità centrata su zero in un certo senso. Possiamo costruire una famiglia di densità definendo dove è un parametro di scala e f ( x ) = f ( x ; μ , σ ) = $f_0$σ>0μf0N(μ,σ

$$f(x)= f(x;\mu,\sigma)= \frac{1}{\sigma} f_0\left(\frac{x-\mu}{\sigma}\right)$$ $\sigma > 0$$\mu$è un parametro di posizione. Nel modello di errore di misurazione, dove di solito il termine di errore è modellato come una distribuzione normale, al posto di quella distribuzione normale possiamo usare una famiglia di scala di posizione come costruita sopra. Quando è la distribuzione normale standard, la costruzione precedente fornisce la famiglia .$f_0$$\text{N}(\mu, \sigma)$

Ora useremo IRLS su alcuni semplici esempi. Per prima cosa troveremo gli stimatori ML (massima verosimiglianza) nel modello con la densità Cauchy distribuisce la famiglia di posizioni (quindi questa è una famiglia di posizioni). Ma prima un po 'di notazione. Lo stimatore dei minimi quadrati ponderati di è dato da dove è alcuni pesi. Vedremo che lo stimatore ML di può essere espresso nella stessa forma, conf ( y ) =

$$Y_1,Y_2,\ldots,Y_n \hspace{1em} \text{i.i.d}$$ μ μ μ ∗ = ∑ n i = 1 w i y $$f(y)= \frac{1}{\pi} \frac{1}{1+(y-\mu)^2},\hspace{1em} y\in{\mathbb R},$$ $\mu$$\mu$wiuwiεi=yi - μ . L(y;μ)=( $$\mu^{\ast} = \frac{\sum_{i=1}^n w_i y_i} {\sum_{i=1}^n w_i}.$$ $w_i$$\mu$$w_i$alcune funzioni dei residui La funzione di probabilità è data da e la funzione loglikelihood è data da Il suo derivato rispetto a è dove . Scrivi $$\epsilon_i = y_i-\hat{\mu}.$$ $$L(y;\mu)= \left(\frac{1}{\pi}\right)^n \prod_{i=1}^n \frac{1}{1+(y_i-\mu)^2}$$ $$l(y)= -n \log(\pi) - \sum_{i=1}^n \log\left(1+(y_i-\mu)^2\right).$$ $\mu$ $$\begin{eqnarray} \frac{\partial l(y)}{\partial \mu}&=& 0-\sum \frac{\partial}{\partial \mu} \log\left(1+(y_i-\mu)^2\right) \nonumber \\ &=& -\sum \frac{2(y_i-\mu)}{1+(y_i-\mu)^2}\cdot (-1) \nonumber \\ &=& \sum \frac{2 \epsilon_i}{1+\epsilon_i^2} \nonumber \end{eqnarray}$$ $\epsilon_i=y_i-\mu$$f_0(\epsilon)= \frac{1}{\pi} \frac{1}{1+\epsilon^2}$ e , otteniamo Troviamo dove abbiamo usato la definizione $f_0'(\epsilon)=\frac{1}{\pi} \frac{-1\cdot 2 \epsilon}{(1+\epsilon^2)^2}$ $$\frac{f_0'(\epsilon)}{f_0(\epsilon)} = \frac{\frac{-1 \cdot2\epsilon}{(1+\epsilon^2)^2}} {\frac{1}{1+\epsilon^2}} = -\frac{2\epsilon}{1+\epsilon^2}.$$ $$\begin{eqnarray} \frac {\partial l(y)} {\partial \mu} & =& -\sum \frac {f_0'(\epsilon_i)} {f_0(\epsilon_i)} \nonumber \\ &=& -\sum \frac {f_0'(\epsilon_i)} {f_0(\epsilon_i)} \cdot \left(-\frac{1}{\epsilon_i}\right) \cdot (-\epsilon_i) \nonumber \\ &=& \sum w_i \epsilon_i \nonumber \end{eqnarray}$$ $$w_i= \frac{f_0'(\epsilon_i)} {f_0(\epsilon_i)} \cdot \left(-\frac{1}{\epsilon_i}\right) = \frac{-2 \epsilon_i} {1+\epsilon_i^2} \cdot \left(-\frac{1}{\epsilon_i}\right) = \frac{2}{1+\epsilon_i^2}.$$ Ricordando che otteniamo l'equazione che è l'equazione di stima di IRLS. Nota che$\epsilon_i=y_i-\mu$ $$\sum w_i y_i = \mu \sum w_i,$$

1. I pesi sono sempre positivi.$w_i$
2. Se il residuo è grande, diamo meno peso all'osservazione corrispondente.

Per calcolare lo stimatore ML in pratica, abbiamo bisogno di un valore iniziale , potremmo usare la mediana, per esempio. Usando questo valore calcoliamo i residui e pesi Il nuovo valore di è dato da Continuando in questo modo definiamo e Il valore stimato al passaggio dell'algoritmo diventa $\hat{\mu}^{(0)}$

$$\epsilon_i^{(0)} = y_i - \hat{\mu}^{(0)}$$ $$w_i^{(0)} = \frac{2}{1+\epsilon_i^{(0)} }.$$ $\hat{\mu}$ $$\hat{\mu}^{(1)} = \frac{\sum w_i^{(0)} y_i} {\sum w_i^{(0)} }.$$ $$\epsilon_i^{(j)} = y_i- \hat{\mu}^{(j)}$$ $$w_i^{(j)} = \frac{2}{1+\epsilon_i^{(j)} }.$$ $j+1$ $$\hat{\mu}^{(j+1)} = \frac{\sum w_i^{(j)} y_i} {\sum w_i^{(j)} }.$$ Continuando fino a quando la sequenza converge. $$\hat{\mu}^{(0)}, \hat{\mu}^{(1)}, \ldots, \hat{\mu}^{(j)}, \ldots$$

Ora studiamo questo processo con una posizione e una famiglia di scala più generali, , con meno dettagli. Lascia che siano indipendenti con la densità sopra. Definisci anche . La funzione loglikelihood è Scrivendo , nota che e Calcolo del derivato del loglikelihood $f(y)= \frac{1}{\sigma} f_0(\frac{y-\mu}{\sigma})$$Y_1,Y_2,\ldots,Y_n$$\epsilon_i=\frac{y_i-\mu}{\sigma}$

$$l(y)= -\frac{n}{2}\log(\sigma^2) + \sum \log(f_0\left(\frac{y_i-\mu}{\sigma}\right)).$$ $\nu=\sigma^2$ $$\frac{\partial \epsilon_i}{\partial \mu} = -\frac{1}{\sigma}$$ $$\frac{\partial \epsilon_i}{\partial \nu} = (y_i-\mu)\left(\frac{1}{\sqrt{\nu}}\right)' = (y_i-\mu)\cdot \frac{-1}{2 \sigma^3}.$$ $$\frac{\partial l(y)}{\partial \mu} = \sum \frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \frac{\partial \epsilon_i}{\partial \mu} = \sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot\left(-\frac{1}{\sigma}\right)= -\frac{1}{\sigma}\sum\frac{f_o'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \left(-\frac{1}{\epsilon_i}\right)(-\epsilon_i) = \frac{1}{\sigma}\sum w_i \epsilon_i$$ ed eguagliare questo a zero fornisce la stessa equazione di stima del primo esempio. Quindi cercare uno stimatore per : $\sigma^2$ $$\begin{eqnarray} \frac{\partial l(y)}{\partial \nu} &=& -\frac{n}{2}\frac{1}{\nu} + \sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \frac{\partial \epsilon_i}{\partial\nu} \nonumber \\ &=& -\frac{n}{2}\frac{1}{\nu}+\sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)} \cdot \left(-\frac{(y_i-\mu)}{2\sigma^3}\right) \nonumber \\ &=& -\frac{n}{2}\frac{1}{\nu} - \frac{1}{2}\frac{1}{\sigma^2} \sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \epsilon_i\nonumber \\ &=& -\frac{n}{2}\frac{1}{\nu}-\frac{1}{2}\frac{1}{\nu} \sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \left(-\frac{1}{\epsilon_i}\right) (-\epsilon_i)\cdot\epsilon_i\nonumber \\ &=& -\frac{n}{2}\frac{1}{\nu}+\frac{1}{2}\frac{1}{\nu}\sum w_i \epsilon_i^2 \stackrel{!}{=} 0. \nonumber \end{eqnarray}$$ portando allo stimatore L'algoritmo iterativo sopra può essere utilizzato anche in questo caso. $$\hat{\sigma^2} = \frac{1}{n}\sum w_i (y_i-\hat{\mu})^2.$$

Di seguito diamo un esame numerico usando R, per il modello esponenziale doppio (con scala nota) e con i dati y <- c(-5,-1,0,1,5). Per questi dati il ​​vero valore dello stimatore ML è 0. Il valore iniziale sarà mu <- 0.5. Un passaggio dell'algoritmo è

  iterest <- function(y, mu) {
               w <- 1/abs(y-mu)
               weighted.mean(y,w)
               }

con questa funzione è possibile provare a eseguire le iterazioni "a mano". Quindi è possibile eseguire l'algoritmo iterativo

mu_0 <- 0.5
repeat {mu <- iterest(y,mu_0)
        if (abs(mu_0 - mu) < 0.000001) break
        mu_0 <- mu }

Esercizio: se il modello è una distribuzione con parametro di scala mostra che le iterazioni sono date dal peso Esercizio: se la densità è logistica, mostra che i pesi sono dati da $t_k$$\sigma$w(ϵ)=1-e

$$w_i = \frac{k+1}{k+\epsilon_i^2}.$$ $$w(\epsilon) = \frac{ 1-e^\epsilon}{1+e^\epsilon} \cdot - \frac{1}{\epsilon}.$$

Per il momento lo lascerò qui, continuerò questo post.