Qual è l'importanza della matrice del cappello,

Qual è l'importanza della matrice del cappello, , nell'analisi di regressione?$H=X(X^{\prime}X )^{-1}X^{\prime}$

È solo per un calcolo più semplice?

Nello studio della regressione lineare, il punto di partenza di base è il processo di generazione dei dati dove e deterministico. Dopo aver minimizzato il criterio dei minimi quadrati, si trova uno stimatore per , cioè . Dopo aver inserito lo stimatore nella formula iniziale, si ottiene come modello lineare del processo di generazione dei dati. Ora, si può sostituire lo stimatore con$\textbf{y= XB + u} \quad$X B B B = ( X ' X ) - 1 x ' y y = X $\textbf{u} \sim N(0,\sigma^2 \boldsymbol I)$$\textbf{X}$$\widehat {\textbf{B} }$$\textbf{B}$$\widehat {\textbf{B}}= ( \textbf{X} ' \textbf{X})^{-1}\textbf{X} '\textbf{y}$$\widehat {\textbf{y}}=\textbf{X}\widehat {\textbf{B}}$ y =X(X'X)-1x'y$\widehat {\textbf{B}}$e ottiene$\widehat {\textbf{y}}=\textbf{X}( \textbf{X} ' \textbf{X})^{-1}\textbf{X} '\textbf{y}.$

Pertanto, è in realtà una matrice di proiezione. Immagina di prendere tutte le variabili in . Le variabili sono vettori e si estendono su uno spazio. Quindi, se moltiplichi per , proietti i tuoi valori osservati in sullo spazio che viene espanso dalle variabili in . Fornisce le stime per e questa è la ragione per cui si chiama hat matrix e perché ha una tale importanza. Dopotutto, la regressione lineare non è altro che una proiezione e con la matrice di proiezione non possiamo solo calcolare le stime perX H y y X y y $\textbf{H} = \textbf{X}( \textbf{X} ' \textbf{X})^{-1}\textbf{X} '$$\textbf{X}$$\textbf{H}$$\textbf{y}$$\textbf{y}$$\textbf{X}$$\textbf{y}$$\textbf{y}$ma anche per e può, ad esempio, verificare se è realmente distribuito normalmente.$\textbf{u}$

Ho trovato questa bella foto su Internet e visualizza questa proiezione. Si noti che viene utilizzato anziché . Inoltre, l'immagine enfatizza il vettore dei termini di errore ortogonale alla proiezione e quindi non correlato con le stime per$\beta$$\textbf{B}$$\textbf{y}$

La matrice del cappello è molto utile per alcuni motivi:

1. Invece di avere , otteniamo quello dove è la matrice del cappello. Questo ci dà che è una mappatura lineare dei valori osservati.y =PyP$\widehat{y}=Z\widehat{\beta}$$\widehat{y}=Py$$P$$\widehat{y}$
2. Dalla matrice del cappello , è facile calcolare i residui . Vediamo che .ε ε = y - y = y - P y = ( I n - P )$P$$\widehat{\epsilon}$$\widehat{\epsilon}=y-\widehat{y}=y-Py=\left(I_n-P\right)y$

Non è altro che trovare la soluzione "più vicina" per Ax = b dove b non è nello spazio della colonna di A. Proiettiamo b sullo spazio della colonna e risolviamo per Ax (hat) = p dove p è la proiezione di b su spazio della colonna.