Somma dei residui e calcolo della matrice (passo dopo passo)

Scrivi la somma dei residui in forma di matrice.

Tentativo: $(y-X\boldsymbol{\beta})^T(y-X\boldsymbol{\beta}) = y^Ty-\boldsymbol{\beta}^TX^Ty-y^TX\boldsymbol{\beta}+\boldsymbol{\beta}^TX^TX\boldsymbol{\beta} = y^Ty-2y^TX\boldsymbol{\beta}+\boldsymbol{\beta}^TX^TX\boldsymbol{\beta}.$

Riduci al minimo questo e verifica che . $\hat{\boldsymbol{\beta}} = (X^TX)^{-1}X^Ty$

Tentativo: $\frac{\partial SSR(\boldsymbol{\beta})}{\partial \boldsymbol{\beta}} = -2y^TX+2X^TX\boldsymbol{\beta} = 0 \rightarrow X^TX\boldsymbol{\beta}=y^TX \rightarrow \hat{\boldsymbol{\beta}} = (X^TX)^{-1}y^TX = (X^TX)^{-1}X^Ty.$

Non ho studiato il calcolo della matrice, quindi sono un po 'confuso riguardo al passaggio nel calcolo. Nel primo problema, potresti mostrarmi quale regola viene utilizzata per la prima uguaglianza nell'equazione. E nel secondo problema, sono un po 'confuso riguardo al primo passo di differenziazione.

Apprezzo molto se mostri il calcolo passo dopo passo.

econometrics

— Sihyun Kim
fonte

Let sia matrici (o vettori è o o è ), $\mathbf A,\mathbf B$ $m\times n$ $m$ $n$ $1$

\begin{aligned} (1) & (A + B)^{T} & = A^{T} + B^{T} \\ (2) & (A B)^{T} & = B^{T} A^{T} \end{aligned}

$\begin{align} (\mathbf A+\mathbf B)^T&=\mathbf A^T+\mathbf B^T \tag{1}\\ (\mathbf A\mathbf B)^T&=\mathbf B^T\mathbf A^T \tag{2} \end{align}$

Pertanto, dove la riga 1 utilizza , la riga 2 utilizza e l'ultima la linea segue dal fatto che e sono entrambi scalari .

\begin{aligned} (y - X β)^{T} (y - X β) & = (y^{T} - (X β)^{T}) (y - X β) \\ = (y^{T} - β^{T} X^{T}) (y - X β) \\ = y^{T} (y - X β) - β^{T} X^{T} (y - X β) \\ = y^{T} y - y^{T} X β - β^{T} X^{T} y + β^{T} X^{T} X β \\ (3) & = y^{T} y - 2 y^{T} X β + β^{T} X^{T} X β \end{aligned}

$\begin{align} (\mathbf y-\mathbf X\beta)^T(\mathbf y-\mathbf X\beta)&=(\mathbf y^T-(\mathbf X\beta)^T)(\mathbf y-\mathbf X\beta)\\ &=(\mathbf y^T-\beta^T\mathbf X^T)(\mathbf y-\mathbf X\beta)\\ &=\mathbf y^T(\mathbf y-\mathbf X\beta)-\beta^T\mathbf X^T(\mathbf y-\mathbf X\beta)\\ &=\mathbf y^T\mathbf y-\mathbf y^T\mathbf X\beta-\beta^T\mathbf X^T\mathbf y+\beta^T\mathbf X^T\mathbf X\beta \\ &=\mathbf y^T\mathbf y-2\mathbf y^T\mathbf X\beta+\beta^T\mathbf X^T\mathbf X\beta \tag{3} \end{align}$

(1)

$(1)$

(2)

$(2)$

y^{T} X β

$\mathbf y^T\mathbf X\beta$

β^{T} X^{T} y

$\beta^T\mathbf X^T\mathbf y$

1 \times 1

$1\times1$

Sia essere vettori e una matrice simmetrica . Il calcolo della matrice ha le seguenti regole: $\mathbf a,\mathbf x$ $n\times 1$ $\mathbf A$ $n\times n$

\begin{aligned} (4) & \frac{d {un'}^{T} z}{d z} & = un' \\ (5) & \frac{d z^{T} UN z}{d z} & = 2 UN z \end{aligned}

$\begin{align} \frac{\mathrm d\ \mathbf a^T\mathbf z}{\mathrm d\ \mathbf z}&=\mathbf a \tag{4} \\ \frac{\mathrm d\ \mathbf z^T\mathbf A\mathbf z}{\mathrm d\ \mathbf z}&=2\mathbf A\mathbf z \tag{5} \end{align}$

Applicandoli alla differenziazione rispetto a , otteniamo la prima condizione dell'ordine: Risolvendo per , otteniamo la solita formula OLS. $(3)$ $\mathbf\beta$

- 2 X^{T} y + 2 X^{T} X β = 0

$\begin{equation} -2\mathbf X^T\mathbf y+2\mathbf X^T\mathbf X\beta=0 \end{equation}$

β

$\beta$

— Herr K.
fonte

Grazie. Puoi consigliare qualche fonte per vedere la prova delle regole che hai citato per la differenziazione?

— Sihyun Kim,

@SihyunKim la voce di Wikipedia sul calcolo della matrice è un buon inizio.

— Herr K.