Soluzione analitica per le stime del coefficiente di regressione lineare

Sto cercando di capire la notazione matriciale e di lavorare con vettori e matrici.

In questo momento vorrei capire come viene calcolato il vettore delle stime dei coefficienti nella regressione multipla.$\hat{\beta}$

L'equazione di base sembra essere

$$\frac{d}{d\boldsymbol{\beta}} (\boldsymbol{y}-\boldsymbol{X\beta})'(\boldsymbol{y}-\boldsymbol{X\beta}) = 0 \>.$$

Ora come risolverei per un vettore $\beta$ qui?

Modifica : aspetta, sono bloccato. Sono qui ora e non so come continuare:

$\frac{d}{d{\beta}} \left( \left(\begin{smallmatrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{smallmatrix}\right) - \left(\begin{smallmatrix} 1 & x_{11} & x_{12} & \dots & x_{1p} \\ 1 & x_{21} & x_{22} & \dots & x_{2p} \\ \vdots & & & & \vdots \\ 1 & x_{n1} & x_{n2} & \dots & x_{np} \\ \end{smallmatrix}\right) \left(\begin{smallmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_p \end{smallmatrix}\right) \right) ' \left( \left(\begin{smallmatrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{smallmatrix}\right) - \left(\begin{smallmatrix} 1 & x_{11} & x_{12} & \dots & x_{1p} \\ 1 & x_{21} & x_{22} & \dots & x_{2p} \\ \vdots & & & & \vdots \\ 1 & x_{n1} & x_{n2} & \dots & x_{np} \\ \end{smallmatrix}\right) \left(\begin{smallmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_p \end{smallmatrix}\right) \right)$

$\frac{d}{d{\beta}} \sum_{i=1}^n \left( y_i - \begin{pmatrix} 1 & x_{i1} & x_{i2} & \dots & x_{ip} \end{pmatrix} \begin{pmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_p \end{pmatrix} \right)^2$

Con per tutti essendo l'intercetta:$x_{i0} = 1$$i$

$\frac{d}{d{\beta}} \sum_{i=1}^n \left( y_i - \sum_{k=0}^p x_{ik} \beta_k \right)^2$

Puoi indicarmi la giusta direzione?

abbiamo

$\frac{d}{d\beta} (y - X \beta)' (y - X\beta) = -2 X' (y - X \beta)$ .

Può essere mostrato scrivendo l'equazione esplicitamente con i componenti. Ad esempio, scrivi invece di . Quindi prendi i derivati ​​rispetto a , , ..., e impila tutto per ottenere la risposta. Per un'illustrazione semplice e veloce, puoi iniziare con . β β 1 β 2 β p p = $(\beta_{1}, \ldots, \beta_{p})'$$\beta$$\beta_{1}$$\beta_{2}$$\beta_{p}$$p = 2$

Con l'esperienza si sviluppano regole generali, alcune delle quali sono riportate, ad esempio, in quel documento .

Modifica per guidare per la parte aggiunta della domanda

Con , abbiamo$p = 2$

$(y - X \beta)'(y - X \beta) = (y_1 - x_{11} \beta_1 - x_{12} \beta_2)^2 + (y_2 - x_{21}\beta_1 - x_{22} \beta_2)^2$

La derivata rispetto a è$\beta_1$

$-2x_{11}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{21}(y_2 - x_{21}\beta_1 - x_{22} \beta_2)$

Allo stesso modo, la derivata rispetto a è$\beta_2$

$-2x_{12}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{22}(y_2 - x_{21}\beta_1 - x_{22} \beta_2)$

Quindi, la derivata rispetto a è$\beta = (\beta_1, \beta_2)'$

$\left( \begin{array}{c} -2x_{11}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{21}(y_2 - x_{21}\beta_1 - x_{22} \beta_2) \\ -2x_{12}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{22}(y_2 - x_{21}\beta_1 - x_{22} \beta_2) \end{array} \right)$

Ora, osserva che puoi riscrivere l'ultima espressione come

$-2\left( \begin{array}{cc} x_{11} & x_{21} \\ x_{12} & x_{22} \end{array} \right)\left( \begin{array}{c} y_{1} - x_{11}\beta_{1} - x_{12}\beta_2 \\ y_{2} - x_{21}\beta_{1} - x_{22}\beta_2 \end{array} \right) = -2 X' (y - X \beta)$

Certo, tutto è fatto allo stesso modo per un più grande .$p$

Puoi anche usare le formule del ricettario Matrix . abbiamo

$$(y-X\beta)'(y-X\beta)=y'y-\beta'X'y-y'X\beta+\beta'X'X\beta$$

Ora prendi derivati ​​di ogni termine. Potresti notare che . La derivata del termine rispetto a è zero. Il termine rimanentey ′ y $\beta'X'y=y'X\beta$$y'y$$\beta$

$$\beta'X'X\beta-2y'X\beta$$

è di forma funzionale

$$f(x)=x'Ax+b'x,$$

nella formula (88) nel libro a pagina 11, con , e . Il derivato è dato nella formula (89):A = X ′ X b = - 2 X ′$x=\beta$$A=X'X$$b=-2X'y$

$$\frac{\partial f}{\partial x}=(A+A')x+b$$

così

$$\frac{\partial}{\partial \beta}(y-X\beta)'(y-X\beta)=(X'X+(X'X)')\beta-2X'y$$

Ora da otteniamo la soluzione desiderata:$(X'X)'=X'X$

$$X'X\beta=X'y$$

Ecco una tecnica per ridurre al minimo la somma dei quadrati in regressione che in realtà ha applicazioni a impostazioni più generali e che trovo utili.

Proviamo a evitare del tutto il calcolo della matrice vettoriale.

Supponiamo di essere interessati a minimizzare dove , e . Supponiamo per semplicità che e .y ∈ R

$$\newcommand{\err}{\mathcal{E}}\newcommand{\my}{\mathbf{y}}\newcommand{\mX}{\mathbf{X}}\newcommand{\bhat}{\hat{\beta}}\newcommand{\reals}{\mathbb{R}} \err = (\my - \mX \beta)^T (\my - \mX \beta) = \|\my - \mX \beta\|_2^2 \> ,$$ $\my \in \reals^n$ β ∈ R p p ≤ n r a n k ( X ) = $\mX \in \reals^{n\times p}$$\beta \in \reals^p$$p \leq n$$\mathrm{rank}(\mX) = p$

Per ogni , otteniamo E=‖y-X β +X β -Xβ‖ 2 2 =‖y-X β ‖ 2 2 +‖X(β$\bhat \in \reals^p$

$$\err = \|\my - \mX \bhat + \mX \bhat - \mX \beta\|_2^2 = \|\my - \mX \bhat\|_2^2 + \|\mX(\beta-\bhat)\|_2^2 - 2(\beta - \bhat)^T \mX^T (\my - \mX \bhat) \>.$$

Se possiamo scegliere (trova!) Un vettore tale che l'ultimo termine sul lato destro sia zero per ogni , allora saremmo fatti, dal momento che ciò implicherebbe che . βminβE≥‖y-X β ‖ 2 $\bhat$ $\beta$$\min_\beta \err \geq \|\my - \mX \bhat\|_2^2$

Ma, per tutti se e solo se e quest'ultima equazione è vera se e solo se . Quindi è minimizzato prendendo .β X T ( Y - X β ) = 0 X T X β = X$(\beta - \bhat)^T \mX^T (\my - \mX \bhat) = 0$$\beta$$\mX^T (\my - \mX \bhat) = 0$E β = ( X T X ) - 1 X T $\mX^T \mX \bhat = \mX^T \my$$\err$$\bhat = (\mX^T \mX)^{-1} \mX^T \my$

---

Mentre questo può sembrare un "trucco" per evitare il calcolo, in realtà ha un'applicazione più ampia e c'è una geometria interessante in gioco.

Un esempio in cui questa tecnica rende una derivazione molto più semplice di qualsiasi approccio di calcolo matrice-vettore è quando generalizziamo il caso matrice. Lascia che , e . Supponiamo di voler minimizzare sull'intera matrice di parametri . Here è una matrice di covarianza. X ∈ R n × q B ∈ R q × p E = $\newcommand{\mY}{\mathbf{Y}}\newcommand{\mB}{\mathbf{B}}\mY \in \reals^{n \times p}$$\mX \in \reals^{n \times q}$$\mB \in \reals^{q \times p}$

$$\err = \mathrm{tr}( (\mY - \mX \mB) \Sigma^{-1} (\mY - \mX \mB)^T )$$ $\mB$$\Sigma$

Un approccio del tutto analogo a quanto sopra stabilisce rapidamente che il minimo di ottiene prendendo Cioè, in un contesto di regressione in cui la risposta è un vettore con covarianza e le osservazioni sono indipendenti, la stima OLS viene raggiunta effettuando regressioni lineari separate sui componenti della risposta.$\err$Σ

$$\hat{\mB} = (\mX^T \mX)^{-1} \mX^T \mY \>.$$ $\Sigma$$p$

Un modo che può aiutarti a capire è di non usare l'algebra matriciale e di differenziarli per ciascun componente, quindi "archiviare" i risultati in un vettore di colonna. Quindi abbiamo:

$$\frac{\partial}{\partial \beta_{k}}\sum_{i=1}^{N}\left(Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right)^{2}=0$$

Ora hai di queste equazioni, una per ogni beta. Questa è una semplice applicazione della regola della catena:$p$

$$\sum_{i=1}^{N}2\left(Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right)^{1}\left(\frac{\partial}{\partial \beta_{k}}\left[Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right]\right)=0$$ $$-2\sum_{i=1}^{N}X_{ik}\left(Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right)=0$$

Ora possiamo riscrivere la somma all'interno della parentesi come Quindi ottieni:$\sum_{j=1}^{p}X_{ij}\beta_{j}=\bf{x}_{i}^{T}\boldsymbol{\beta}$

$$\sum_{i=1}^{N}X_{ik}Y_{i}-\sum_{i=1}^{N}X_{ik}\bf{x}_{i}^{T}\boldsymbol{\beta}=0$$

Ora abbiamo di queste equazioni e le "impileremo" in un vettore di colonna. Nota come è l'unico termine che dipende da , quindi possiamo impilarlo nel vettore e otteniamo:$p$$X_{ik}$$k$$\bf{x}_{i}$

$$\sum_{i=1}^{N}\bf{x}_{i}\rm{Y}_{i}=\sum_{i=1}^{N}\bf{x}_{i}\bf{x}_{i}^{T}\boldsymbol{\beta}$$

Ora possiamo prendere la beta al di fuori della somma (ma dobbiamo rimanere su RHS della somma), e quindi prendere l'inverter:

$$\left(\sum_{i=1}^{N}\bf{x}_{i}\bf{x}_{i}^{T}\right)^{-1}\sum_{i=1}^{N}\bf{x}_{i}\rm{Y}_{i}=\boldsymbol{\beta}$$