L'ordine delle variabili esplicative è importante per il calcolo dei coefficienti di regressione?

All'inizio pensavo che l'ordine non avesse importanza, ma poi ho letto del processo di ortogonalizzazione di gram-schmidt per il calcolo di coefficienti di regressione multipli, e ora sto ripensandoci.

Secondo il processo gram-schmidt, più tardi una variabile esplicativa viene indicizzata tra le altre variabili, più piccolo è il suo vettore residuo perché da esso vengono sottratti i vettori residui delle variabili precedenti. Di conseguenza, anche il coefficiente di regressione della variabile esplicativa è più piccolo.

Se questo è vero, allora il vettore residuo della variabile in questione sarebbe più grande se fosse indicizzato in precedenza, dal momento che un minor numero di vettori residui sarebbe sottratto da essa. Ciò significa che anche il coefficiente di regressione sarebbe maggiore.

Ok, quindi mi è stato chiesto di chiarire la mia domanda. Quindi ho pubblicato schermate dal testo che mi hanno confuso in primo luogo. Ok, ecco qui.

La mia comprensione è che ci sono almeno due opzioni per calcolare i coefficienti di regressione. La prima opzione è indicata (3.6) nello screenshot seguente.

Ecco la seconda opzione (ho dovuto usare più screenshot).

A meno che non stia leggendo male qualcosa (il che è sicuramente possibile), sembra che l'ordine sia importante nella seconda opzione. Importa nella prima opzione? Perché o perché no? O il mio quadro di riferimento è così incasinato che questa non è nemmeno una domanda valida? Inoltre, tutto ciò è in qualche modo correlato alla somma dei quadrati di tipo I rispetto alla somma dei quadrati di tipo II?

Grazie mille in anticipo, sono così confuso!

Credo che la confusione possa derivare da qualcosa di un po 'più semplice, ma offre una buona opportunità per esaminare alcune questioni correlate.

Si noti che il testo non sostiene che tutti i coefficienti di regressione p i può essere calcolata tramite i residui successivi vettori come β i ? = ⟨ Y , z i ⟩$\newcommand{\bhat}{\hat{\beta}}\newcommand{\m}{\mathbf}\newcommand{\z}{\m{z}}\bhat_i$ Ma piuttosto che solo l'ultima uno, β p , può essere calcolato in questo modo!

$$\bhat_i \stackrel{?}{=} \frac{\langle \m y, \z_i \rangle}{\|\z_i\|^2}\>,$$ $\bhat_p$

Il successivo schema di ortogonalizzazione (una forma di ortogonalizzazione di Gram – Schmidt) sta (quasi) producendo una coppia di matrici e G tali che X = Z $\newcommand{\Z}{\m{Z}}\newcommand{\G}{\m{G}}\Z$$\G$ dove Z è n × p con colonne ortonormali e G = ( g i j ) è p × p triangolare superiore. Dico "quasi" poiché l'algoritmo specifica solo Z fino alle norme delle colonne, che in generale non saranno una, ma si può fare in modo che l'unità abbia una norma normalizzando le colonne e apportando una semplice regolazione corrispondente alla matrice delle coordinate G .

$$\m X = \Z \G \>,$$ $\Z$$n \times p$$\G = (g_{ij})$$p \times p$$\Z$$\G$

Supponendo, naturalmente, che ha rango p ≤ n , l'unica soluzione ai minimi quadrati è il vettore β che risolve il sistema X T X β = X T $\m X \in \mathbb R^{n \times p}$$p \leq n$$\bhat$

$$\m X^T \m X \bhat = \m X^T \m y \>.$$

Sostituendo e con Z T Z = I (per costruzione), otteniamo G T G β = G T Z T $\m X = \Z \G$$\Z^T \Z = \m I$ Che è equivalente a G β = Z T

$$\G^T \G \bhat = \G^T \Z^T \m y \> ,$$ $$\G \bhat = \Z^T \m y \>.$$

Ora, concentrati sull'ultima riga del sistema lineare. L'unico elemento diverso da zero di nell'ultima riga è g p p . Così, otteniamo che g p p β p = ⟨ y , z p$\G$$g_{pp}$ Non è difficile vedere (verificarlo come un controllo di comprensione!) Che g p p = ‖ z p ‖ e quindi questo fornisce la soluzione. (Caveat lector: ho usato z ho già normalizzato di avere unità di norma, mentre nel libro che hannononQuesto spiega il fatto che il libro ha una norma quadrato al denominatore, mentre io ho solo la norma..)

$$g_{pp} \bhat_p = \langle \m y, \z_p \rangle \>.$$ $g_{pp} = \|\z_p\|$$\z_i$

$\bhat_i$$(p-1)$

$$g_{p-1,p-1} \bhat_{p-1} + g_{p-1,p} \bhat_p = \langle \m z_{p-1}, \m y \rangle \>,$$ $$\bhat_{p-1} = g_{p-1,p-1}^{-1} \langle \m z_{p-1}, \m y \rangle \> - g_{p-1,p-1}^{-1} g_{p-1,p} \bhat_p .$$ $g_{ii}$$\bhat_i$

$\m X$$\m X^{(r)}$$r$$\bhat_r$$\bhat_r$$\m y$$\m x_r$

Decomposizioni QR generali

$\m X$

$$\m X = \m Q \m R \>,$$ $\m X$$\bhat$ $$\m R^T \m R \bhat = \m R^T \m Q^T \m y \>,$$ $$\m R \bhat = \m Q^T \m y \> .$$ $\m R$$\bhat_p$

$\m X$$\hat{\m y}$

$\beta_j$$\beta_p$

Esercizio 3.4 in ESL

$X$

Soluzione

$X$

$$X = Z \Gamma,$$ $Z$$z_j$$\Gamma$$\gamma_{ij} = \frac{\langle z_i, x_j \rangle}{\| z_i \|^2}$ $$x_j = z_j + \sum_{k=0}^{j-1} \gamma_{kj} z_k.$$

$QR$$X = QR$$Q$$R$$Q = Z D^{-1}$$R = D\Gamma$$D$$D_{jj} = \| z_j \|$

$\hat \beta$

$$(X^T X) \hat \beta = X^T y.$$ $QR$ $$\begin{align*} (R^T Q^T) (QR) \hat \beta &= R^T Q^T y \\ R \hat \beta &= Q^T y \end{align*}$$

$R$

$$\begin{align*} R_{pp} \hat \beta_p &= \langle q_p, y \rangle \\ \| z_p \| \hat \beta_p &= \| z_p \|^{-1} \langle z_p, y \rangle \\ \hat \beta_p &= \frac{\langle z_p, y \rangle}{\| z_p \|^2} \end{align*}$$ $\hat \beta_j$$\hat \beta_{p-1}$ $$\begin{align*} R_{p-1, p-1} \hat \beta_{p-1} + R_{p-1,p} \hat \beta_p &= \langle q_{p-1}, y \rangle \\ \| z_{p-1} \| \hat \beta_{p-1} + \| z_{p-1} \| \gamma_{p-1,p} \hat \beta_p &= \| z_{p-1} \|^{-1} \langle z_{p-1}, y \rangle \end{align*}$$ and then solving for $\hat \beta_{p-1}$. This process can be repeated for all $\beta_j$, thus obtaining the regression coefficients in one pass of the Gram-Schmidt procedure.

Why not try it and compare? Fit a set of regression coefficients, then change the order and fit them again and see if they differ (other than possible round-off error).

As @mpiktas points out it is not exactly clear what you are doing.

I can see using GS to solve for $B$ in the least squares equation $(x'x)B=(x'y)$. But then you would be doing the GS on the $(x'x)$ matrix, not the original data. In this case the coefficients should be the same (other than possible rounding error).

Another approach of GS in regression is to apply GS to the predictor variables to eliminate colinearity between them. Then the orthogonalized variables are used as the predictors. In this case order matters and the coefficients will be different because the interpretation of the coefficients depends on the order. Consider 2 predictors $x_1$ and $x_2$ and do GS on them in that order then use as predictors. In that case the first coefficient (after the intercept) shows the effect of $x_1$ on $y$ by itself and the second coefficient is the effect of $x_2$ on $y$ after adjusting for $x_1$. Now if you reverse the order of the x's then the first coefficient shows the effect of $x_2$ on $y$ by itself (ignoring $x_1$ rather than adjusting for it) and the second is the effect of $x_1$ adjusting for $x_2$.