C'è un modo per usare la matrice di covarianza per trovare coefficienti per la regressione multipla?

Per una semplice regressione lineare, il coefficiente di regressione è calcolabile direttamente dalla matrice varianza-covarianza , di dove è l'indice della variabile dipendente ed è l'indice della variabile esplicativa.C d , $C$ d

Se uno ha solo la matrice di covarianza, è possibile calcolare i coefficienti per un modello con più variabili esplicative?

ETA: per due variabili esplicative, sembra che e analogamente per . Non vedo immediatamente come estenderlo a tre o più variabili.

Sì, la matrice di covarianza di tutte le variabili - esplicativa e risposta - contiene le informazioni necessarie per trovare tutti i coefficienti, a condizione che nel modello sia incluso un termine di intercettazione (costante). (Sebbene le covarianze non forniscano informazioni sul termine costante, possono essere trovate sulla base dei dati.)

Analisi

Lasciate che i dati per le variabili esplicative essere disposti come vettori colonna -dimensionale x 1 , x 2 , ... , x p e la variabile risposta essere il vettore colonna y , considerata una realizzazione di una variabile casuale Y . I minimi quadrati ordinari stime beta dei coefficienti nel modello$n$$x_1, x_2, \ldots, x_p$$y$$Y$$\hat\beta$

si ottengono assemblando i vettori di colonna X 0 = ( 1 , 1 , … , 1 ) ′ , X 1 , … , X p in un array n × p + 1 X e risolvendo il sistema di equazioni lineari$p+1$$X_0 = (1, 1, \ldots, 1)^\prime, X_1, \ldots, X_p$$n \times p+1$$X$

È equivalente al sistema

L'eliminazione gaussiana risolverà questo sistema. Procede adiacente alla matrice $p+1\times p+1$ep+1-vettore$\frac{1}{n}X^\prime X$$p+1$in ap+1×p+2arrayAe riduzione di riga. $\frac{1}{n}X^\prime y$$p+1 \times p+2$$A$

Il primo passo controllerà . Trovandolo diverso da zero, si procede alla sottrazione dei multipli appropriati della prima riga diAdalle righe rimanenti per azzerare le voci rimanenti nella prima colonna. Questi multipli saranno$\frac{1}{n}(X^\prime X)_{11} = \frac{1}{n}X_0^\prime X_0 = 1$$A$e il numero sottratto dalla voceAi+1,j+1=X ′ i Xjsarà uguale a ¯ X i ¯ X j. Questa è solo la formula per la covarianza diXIeXj. Inoltre, il numero rimasto nella posizionei+1,p+2 èuguale a$\frac{1}{n}X_0^\prime X_i = \overline X_i$$A_{i+1,j+1} = X_i^\prime X_j$$\overline X_i \overline X_j$$X_i$$X_j$$i+1, p+2$ , la covarianza diXicony.$\frac{1}{n}X_i^\prime y - \overline{X_i}\overline{y}$$X_i$$y$

Quindi, dopo il primo passo dell'eliminazione gaussiana, il sistema si riduce alla risoluzione

e ovviamente - poiché tutti i coefficienti sono covarianze - tale soluzione può essere trovata dalla matrice di covarianza di tutte le variabili.

(Quando è invertibile, la soluzione può essere scritta C - 1 ( Cov ( X i , y ) ) ′ . Le formule fornite nella domanda ne sono casi speciali quando p = 1 e p = 2. Scrivere esplicitamente tali formule diventano sempre più complessi man mano che cresce p . Inoltre, sono inferiori per il calcolo numerico, che viene eseguito meglio risolvendo il sistema di equazioni piuttosto che invertendo la matrice C. )$C$$C^{-1}(\text{Cov}(X_i, y))^\prime$$p=1$$p=2$$p$$C$

Il termine costante sarà la differenza tra la media delle ed i valori medi previsti dalle stime, X beta .$y$$X\hat{\beta}$

Esempio

Per illustrare, il Rcodice seguente crea alcuni dati, calcola le loro covarianze e ottiene le stime del coefficiente dei minimi quadrati esclusivamente da tali informazioni. Li confronta con le stime ottenute dallo stimatore dei minimi quadrati lm.

#
# 1. Generate some data.
#
n <- 10        # Data set size
p <- 2         # Number of regressors
set.seed(17)
z <- matrix(rnorm(n*(p+1)), nrow=n, dimnames=list(NULL, paste0("x", 1:(p+1))))
y <- z[, p+1]
x <- z[, -(p+1), drop=FALSE]; 
#
# 2. Find the OLS coefficients from the covariances only.
#
a <- cov(x)
b <- cov(x,y)
beta.hat <- solve(a, b)[, 1]  # Coefficients from the covariance matrix
#
# 2a. Find the intercept from the means and coefficients.
#
y.bar <- mean(y)
x.bar <- colMeans(x)
intercept <- y.bar - x.bar %*% beta.hat  

L'output mostra un accordo tra i due metodi:

(rbind(`From covariances` = c(`(Intercept)`=intercept, beta.hat),
       `From data via OLS` = coef(lm(y ~ x))))

                  (Intercept)        x1        x2
From covariances     0.946155 -0.424551 -1.006675
From data via OLS    0.946155 -0.424551 -1.006675