Utilizzo della decomposizione del valore singolare per calcolare la matrice di covarianza della varianza dal modello di regressione lineare

Ho una matrice di progettazione di regressori p, n osservazioni e sto cercando di calcolare la matrice di varianza-covarianza del campione dei parametri. Sto provando a calcolarlo direttamente usando svd.

Sto usando R, quando prendo svd della matrice di design, ottengo tre componenti: una matrice che è n × p , una matrice D che è 1 × 3 (presumibilmente autovalori) e una matrice V che è 3 × 3 . Ho diagonalizzato la D , rendendola una matrice 3 × 3 con 0 nelle diagonali fuori.$U$$n \times p$$D$$1\times 3$$V$$3\times 3$$D$$3\times 3$

Presumibilmente, la formula per covarianza è: , tuttavia, la matrice non corrisponde, né è anche vicino a R funzione incorporata . Qualcuno ha qualche consiglio / referenze? Ammetto di essere un po 'poco esperto in questo settore.$V D^2 V'$vcov

In primo luogo, ricordare che, in ipotesi di normalità multivariata del modello di regressione lineare, abbiamo che β ~ N ( β , σ 2 ( X T X ) - 1 ) .

$$\hat{\beta} \sim \mathcal{N}( \beta, \sigma^2 (X^T X)^{-1} ) .$$

Ora, se dove il lato destro è lo SVD di X, allora otteniamo che X T X = V D U T U D V = V D 2 V T . Quindi, ( X T X ) - 1 = V D - 2 V T$X = U D V^T$$X^T X = V D U^T U D V = V D^2 V^T$

$$(X^T X)^{-1} = V D^{-2} V^T .$$

Stiamo ancora manca la stima della varianza, che è σ 2 = 1

$$\hat{\sigma}^2 = \frac{1}{n - p} (y^T y - \hat{\beta}^T X^T y) .$$

Anche se non ho controllato, si spera vcov rendimenti σ 2 V D - 2 V T .$\hat{\sigma}^2 V D^{-2} V^T$

Nota: hai scritto , che è X T X , ma abbiamo bisogno dell'inverso per la matrice varianza-covarianza. Si noti inoltre che in R , per eseguire questo calcolo è necessario eseguire$V D^2 V^T$$X^T X$$R$

vcov.matrix <- var.est * (v %*% d^(-2) %*% t(v))

osservando che per la moltiplicazione di matrici usiamo %*%invece che semplicemente *. var.estsopra è la stima della varianza del rumore.

(Inoltre, ho formulato le ipotesi che sia a pieno titolo e n ≥ p per tutto. In caso contrario, dovrete apportare lievi modifiche a quanto sopra.)$X$$n \geq p$