Perché la traccia di

Nel modello ${y} = X \beta + \epsilon$ , potremmo stimare $\beta$ usando l'equazione normale ：

$$\hat{\beta} = (X'X)^{-1}X'y,$$ e potremmo ottenere y =X β . $$\hat{y} = X \hat{\beta}.$$

Il vettore dei residui è stimato da

$$\hat{\epsilon} = y - X \hat{\beta} = (I - X (X'X)^{-1} X') y = Q y = Q (X \beta + \epsilon) = Q \epsilon,$$

dove

$$Q = I - X (X'X)^{-1} X'.$$

La mia domanda è come ottenere la conclusione di

$$\textrm{tr}(Q) = n - p.$$

La conclusione conta semplicemente le dimensioni degli spazi vettoriali. Tuttavia, non è generalmente vero.

Le proprietà più elementari della moltiplicazione della matrice mostrano che la trasformazione lineare rappresentata dalla matrice soddisfa$\mathbb{H}=X(X^\prime X)^{-}X^\prime$

$$\mathbb{H}^2 = \left(X(X^\prime X)^{-}X^\prime\right)^2=X(X^\prime X)^{-}(X^\prime X)(X^\prime X)^{-}X^\prime=\mathbb{H},$$

esibendolo come un operatore di proiezione . Pertanto il suo complemento

$$\mathbb{Q} = 1 - \mathbb{H}$$

(come indicato nella domanda) è anche un operatore di proiezione. La traccia di è il suo rango h (vedi sotto), da cui la traccia di Q è uguale a $\mathbb{H}$$h$$\mathbb{Q}$ .$n-h$

Dalla sua stessa formula è evidente che è la matrice associata alla composizione di due trasformazioni lineari J = ( X ′ X ) - X ′ e X stessa. Il primo ( J ) trasforma il n -vettore y in p -vettore β . Il secondo ( X ) è una trasformazione da R p a R n in y = $\mathbb{H}$

$$\mathbb{J}=(X^\prime X)^{-}X^\prime$$ $X$$\mathbb{J}$$n$$y$$p$$\hat\beta$$X$$\mathbb{R}^p$$\mathbb{R}^n$$\hat y = X\hat \beta$. Il suo rango non può superare la più piccola di quelle due dimensioni, che in un'impostazione dei minimi quadrati è sempre (ma potrebbe essere inferiore a p , ogni volta che J non è di rango completo). Di conseguenza la posizione di composizione H = X J non può superare la posizione di X . La conclusione corretta , quindi, è$p$$p$$\mathbb{J}$$\mathbb{H}=X\mathbb{J}$$X$

se e solo se J è di rango massimo; e in generale n ≥ tr ( Q ) ≥ n - p . Nel primo caso si dice che il modello è "identificabile" (per i coefficienti di β ).$\text{tr} (\mathbb{Q}) = n-p$$\mathbb{J}$$n \ge \text{tr} (\mathbb{Q}) \ge n-p$$\beta$

sarà al massimo se e solo se X ′ X è invertibile.$\mathbb{J}$$X^\prime X$

---

Interpretazione geometrica

rappresenta la proiezione ortogonale da n -vettori y (che rappresentano la "risposta" o "variabile dipendente") sullo spazio attraversato dalle colonne di X (che rappresentano le "variabili indipendenti" o "covariate"). La differenza Q = 1 - H mostra come scomporre qualsiasi n -vettore y in una somma di vettori y = H ( y ) + Q ( y ) , dove il primo può essere "previsto" da$\mathbb{H}$$n$$y$$X$$\mathbb{Q}=1-\mathbb{H}$$n$$y$

$$y = \mathbb{H}(y) + \mathbb{Q}(y),$$ $X$ e il secondo è perpendicolare ad esso . Quando il $p$le colonne di generano uno spazio p- dimensionale (ovvero, non sono collineari), il rango di H è p e il rango di Q è n - p , che riflette le dimensioni aggiuntive n - p della variazione nella risposta che non sono rappresentate all'interno delle variabili indipendenti. La traccia fornisce una formula algebrica per queste dimensioni.$X$$p$$\mathbb{H}$$p$$\mathbb{Q}$$n-p$$n-p$

---

Sfondo di algebra lineare

Un operatore di proiezione su uno spazio vettoriale (come R n ) è una trasformazione lineare P : V → V (cioè, un endomorfismo di V ) tale che P 2 = P . Questo rende il suo complemento Q = 1 - P anche un operatore di proiezione, perché$V$$\mathbb{R}^n$$\mathbb{P}:V\to V$$V$$\mathbb{P}^2=\mathbb{P}$$\mathbb{Q}=1-\mathbb{P}$

$$\mathbb{Q}^2 = \left(1 - \mathbb{P}\right)^2 = 1 - 2\mathbb{P} + \mathbb{P}^2 = 1-2\mathbb{P}+\mathbb{P} = \mathbb{Q}.$$

Tutte le proiezioni fissano ogni elemento delle loro immagini, poiché ogni volta che possiamo scrivere v = P ( w ) per alcuni w ∈ V , da cui w = P ( v ) = P 2 ( v ) = P ( P ( v ) ) = P ( w ) $v\in \text{Im}(\mathbb{P})$$v = \mathbb{P}(w)$$w\in V$

$$w = \mathbb{P}(v) = \mathbb{P}^2(v) = \mathbb{P}(\mathbb{P}(v)) = \mathbb{P}(w).$$

Associati a qualsiasi endomorfismo di V sono due sottospazi: il suo kernel ker ( P ) = { $\mathbb{P}$$V$ e la suaimmagine Im ( P ) = {

$$\text{ker}(\mathbb{P}) = \{v\in v\,|\, \mathbb{P}(v)=0\}$$ Ogni vettore v ∈ V può essere scritto nella forma v = w + u dove w ∈ Im ( P ) e u ∈ Ker ( P ) . Possiamo quindi costruire una base E ∪ F per V per la quale E ⊂ Ker ( P ) e F ⊂ $$\text{Im}(\mathbb{P}) = \{v\in v\,|\, \exists_{w\in V} \mathbb{P}(w)=v\}.$$ $v\in V$ $$v = w+u$$ $w\in \text{Im}(\mathbb{P})$$u\in \text{Ker}(\mathbb{P})$$E \cup F$$V$$E \subset \text{Ker}(\mathbb{P})$di . Quando V è di dimensione finita, la matrice di P in questa base sarà quindi in forma di blocco diagonale, con un blocco (corrispondente all'azione di P su E ) tutti gli zeri e l'altro (corrispondente all'azione di P su F ) uguale allamatrice di identità f by f , dove la dimensione di F è f . La traccia di P è la somma dei valori sulla diagonale e quindi deve essere uguale a f × 1 = f . Questo numero è ilgrado$F \subset \text{Im}(\mathbb{P})$$V$$\mathbb{P}$$\mathbb{P}$$E$$\mathbb{P}$$F$$f$$f$$F$$f$$\mathbb{P}$$f\times 1 = f$$\mathbb{P}$: la dimensione della sua immagine.

La traccia di è uguale alla traccia di 1 (pari a n , la dimensione di V ) meno la traccia di P .$1-\mathbb{P}$$1$$n$$V$$\mathbb{P}$

Questi risultati possono essere riassunti con l'affermazione che la traccia di una proiezione è uguale al suo rango.

@Dougal ha già dato una risposta, ma eccone un'altra, un po 'più semplice.

Innanzitutto, usiamo il fatto che . Quindi, otteniamo: t r ( Q ) = t r ( I ) - t r ( X ( X ′ X ) - 1 X ′ ) . Ora sono una matrice di identità n × n , quindi $\newcommand{\tr}{\mathrm{tr}}\tr(A - B) = \tr(A) - \tr(B)$

$$\tr(Q) = \tr(I) - \tr(X(X'X)^{-1}X').$$ $I$$n \times n$ . Ora usiamo il fatto che t r ( A B ) = t r ( B A ) , cioè la traccia è invariante nelle permutazioni cicliche. Quindi, abbiamo: t r ( Q ) = n - t r ( ( X ′ X ) - 1 ( X ′ X ) ) . Quando moltiplichiamo ( X ′ X $\tr(I) = n$$\tr(AB) = \tr(BA)$ $$\tr(Q) = n - \tr((X'X)^{-1}(X'X)).$$ con( X ′ X), otteniamo unamatrice di identitàp×p, la cui traccia èp. Quindi, otteniamo: t r (Q)=n-p$(X'X)^{-1}$$(X'X)$$p \times p$$p$ $$\tr(Q) = n - p.$$

$\newcommand\R{\mathbb R}$Supponiamo che e che X sia al livello massimo.$n \le p$$X$

Considera la decomposizione compatta del valore singolare , dove Σ ∈ R p × p è diagonale e U ∈ R n × p , V ∈ R p × p hanno U T U = V T V = V V T = I p (ma nota che U U T è al massimo p quindi non può essere I $X = U \Sigma V^T$$\Sigma \in \R^{p \times p}$$U \in \R^{n \times p}, V \in \R^{p \times p}$$U^T U = V^T V = V V^T = I_p$$U U^T$$p$$I_n$). Poi

$$\begin{align} X (X^T X)^{-1} X^T &= U \Sigma V^T (V \Sigma U^T U \Sigma V^T)^{-1} V \Sigma U^T \\&= U \Sigma V^T (V \Sigma^2 V^T)^{-1} V \Sigma U^T \\&= U \Sigma V^T V \Sigma^{-2} V^T V \Sigma U^T \\&= U U^T .\end{align}$$

$U_2 \in \R^{n \times n-p}$$U_n = \begin{bmatrix}U & U_2\end{bmatrix}$è unitario. Possiamo scrivere

$$\begin{align} I - X (X^T X)^{-1} X^T &= U_n U_n^T - U U^T \\&= U_n \left( I_n - \begin{bmatrix}I_p & 0 \\ 0 & 0\end{bmatrix} \right) U_n^T \\&= U_n \begin{bmatrix}0 & 0 \\ 0 & I_{n-p}\end{bmatrix} U_n^T .\end{align}$$ This form shows that $Q$ is positive semidefinite, and since it is a valid svd and the singular values are the square of the eigenvalues for a square symmetric matrix, also tells us that $Q$ has eigenvalues 1 (of multiplicity $n-p$) and 0 (of multiplicity $p$). Thus the trace of $Q$ is $n-p$.