Le stime dei coefficienti di regressione non sono correlate?

Considera una semplice regressione (normalità non assunta): dove è con media e deviazione standard . Le stime del quadrato minimo di e non sono correlate?

Y_{i} = a + b X_{i} + e_{i},

$Y_i = a + b X_i + e_i,$

e_{i}

$e_i$

0

$0$

σ

$\sigma$

a

$a$

b

$b$

regression correlation estimation

— arnab
fonte

Cosa ne pensi? en.wikipedia.org/wiki/Ordinary_least_squares , sezione "Proprietà del campione finito". Questa domanda ha ricevuto molte risposte su questo sito.

— mpiktas,

Questa è una considerazione importante nella progettazione di esperimenti, in cui può essere desiderabile non avere (o pochissimo) correlazione tra le stime e . Tale mancanza di correlazione può essere ottenuta controllando i valori di . $\hat a$ $\hat b$ $X_i$

Per analizzare gli effetti di sulle stime, i valori (che sono vettori di riga di lunghezza ) sono assemblati verticalmente in una matrice , la matrice di progettazione, con tante righe quanti sono i dati e (ovviamente ) due colonne. Gli corrispondenti sono assemblati in un vettore lungo (colonna) . In questi termini, scrivendo per i coefficienti assemblati, il modello è $X_i$ $(1,X_i)$ $2$ $X$ $Y_i$ $y$ $\beta = (a,b)^\prime$

E (Y) = X \cdot β

$\mathbb{E}(Y) = X \cdot \beta$

Gli sono (di solito) considerati variabili casuali indipendenti le cui varianze sono una costante per alcuni sconosciuti . Le osservazioni dipendenti sono considerate come una realizzazione della variabile casuale valore vettoriale . $Y_i$ $\sigma^2$ $\sigma \gt 0$ $y$ $Y$

La soluzione OLS è

\hat{β} = {(X^{'} X)}^{- 1} X^{'} y,

$\hat\beta = \left(X^\prime X\right)^{-1} X^\prime y,$

supponendo che esista questa matrice inversa. Pertanto, utilizzando le proprietà di base della moltiplicazione della matrice e della covarianza,

Cov (\hat{β}) = Cov ({(X^{'} X)}^{- 1} X^{'} Y) = ({(X^{'} X)}^{- 1} X^{'} σ^{2} X {(X^{'} X)}^{- 1'}) = σ^{2} {(X^{'} X)}^{- 1} .

$\text{Cov}(\hat\beta) = \text{Cov}\left(\left(X^\prime X\right)^{-1} X^\prime Y\right) = \left(\left(X^\prime X\right)^{-1} X^\prime\sigma^2 X \left( X^\prime X \right)^{-1\prime} \right) = \sigma^2 \left(X^\prime X\right)^{-1}.$

La matrice ha solo due righe e due colonne, corrispondenti ai parametri del modello . La correlazione di con è proporzionale agli elementi extra-diagonali di che per Regola di Cramer proporzionali al prodotto scalare dei due colonne di . Poiché una delle colonne è tutta s, il cui prodotto punto con l'altra colonna (costituito da ) è la loro somma, troviamo $\left(X^\prime X\right)^{-1}$ $(a,b)$ $\hat a$ $\hat b$ $(X^\prime X)^{-1},$ $X$ $1$ $X_i$

$\hat a$ e non sono correlati se e solo la somma (o equivalentemente la media) di è zero. $\hat b$ $X_i$

Questa condizione di ortogonalità spesso si ottiene ricentrando il (sottraendo loro media da ciascuno). Sebbene ciò non altererà la pendenza stimata , cambia l'intercetta stimata . L'importanza o meno dipende dall'applicazione. $X_i$ $\hat b$ $\hat a$

Questa analisi si applica alla regressione multipla: la matrice di progettazione avrà colonne per variabili indipendenti (una colonna aggiuntiva è composta da s) e sarà un vettore di lunghezza , ma per il resto tutto passa come prima. $p+1$ $p$ $1$ $\beta$ $p+1$

Nel linguaggio convenzionale, due colonne di sono chiamate ortogonali quando il loro punto è zero. Quando una colonna di (diciamo la colonna ) è ortogonale a tutte le altre colonne, è un fatto algebrico facilmente dimostrato che tutte le voci fuori diagonale nella riga e nella colonna di sono zero (ovvero, i componenti e per tutti sono zero). Di conseguenza, $X$ $X$ $i$ $i$ $i$ $(X^\prime X)^{-1}$ $ij$ $ji$ $j\ne i$

Due stime del coefficiente di regressione multipla e non sono correlate ogni volta che una (o entrambe) le colonne corrispondenti della matrice di disegno sono ortogonali a tutte le altre colonne. $\hat\beta_i$ $\hat\beta_j$

Molti progetti sperimentali standard consistono nella scelta dei valori delle variabili indipendenti per rendere le colonne reciprocamente ortogonali. Questo "separa" le stime risultanti garantendo - prima che i dati vengano mai raccolti! - che le stime non saranno correlate. (Quando le risposte hanno distribuzioni normali ciò implica che le stime saranno indipendenti, il che semplifica notevolmente la loro interpretazione.)

— whuber
fonte

La risposta dice "[...] elementi off-diagonali, che sono solo i prodotti punto delle due colonne di X." Questo è vero per , non comunque?

X^{'} X

$X'X$

(X^{'} X)^{- 1}

$(X'X)^{-1}$

— Heisenberg,

@Heisenberg Questo è un buon punto. Non ero chiaro su questo. Non c'è ambiguità nel caso di due colonne, ma devo pensare a come migliorare la presentazione per il caso di più colonne.

— whuber

@Heisenberg Sono grato per la tua osservazione percettiva: mi ha permesso di correggere un errore sostanziale nella discussione del caso di regressione multipla.

— whuber