Calcolo di errori standard per problemi di regressione lineare senza calcolo inverso

Esiste un modo più rapido per calcolare gli errori standard per problemi di regressione lineare, che invertendo ? Qui presumo che abbiamo regressione: $X'X$

y = X β + ε,

$y=X\beta+\varepsilon,$

dove è matrice e è vettore. $X$ $n\times k$ $y$ $n\times 1$

Per trovare la soluzione del problema dei minimi quadrati non è pratico fare nulla con , è possibile utilizzare direttamente le decomposizioni QR o SVD sulla matrice O in alternativa puoi usare i metodi del gradiente. Ma che dire degli errori standard? Abbiamo davvero bisogno solo della diagonale di (e naturalmente della soluzione LS per calcolare la stima dell'errore standard di ). Esistono metodi specifici per il calcolo dell'errore standard? $X'X$ $X$ $(X'X)^{-1}$ $\varepsilon$

linear-algebra optimization

— mpiktas
fonte

Supponiamo che tu abbia risolto il problema dei minimi quadrati usando la decomposizione del valore singolare (SVD) di , data da $X$

X = U Σ V^{'},

$X = U\Sigma V',$

dove e sono unitari e è diagonale. $U$ $V$ $\Sigma$

Poi

X^{'} X = V Σ^{2} V^{'} .

$X'X = V \Sigma^2 V'.$

$(X'X)^{-1}$ $X$

(X^{'} X)^{- 1} = V Σ^{- 2} V^{'} .

$(X'X)^{-1} = V \Sigma^{-2} V'.$

(Vedi una risposta che ho dato a una domanda correlata su Math.SE. )

$\Sigma$ $V$ $(X'X)^{-1}$ $n$ $n \times n$ $n^2$ $\mathcal{O}(n^{3})$

$X'X$ $X$

— Geoff Oxberry
fonte

+1, mi sono dimenticato di quella bella proprietà SVD. Se non arriveranno altre risposte, accetterò questa risposta, dal momento che è abbastanza vicina a quella che volevo ottenere (e sicuramente magnitudo migliore di quella che mi aspettavo di ottenere :))

— mpiktas,

(X^{'} X)^{- 1}

$(X'X)^{-1}$

O (n^{2})

$\mathcal{O}(n^2)$

X

$X$

(X^{'} X)^{- 1}

$(X'X)^{-1}$

Σ

$\Sigma$

Ignora l'ultimo commento, c'è un errore lì. Ho ottenuto la formula corretta però.

— mpiktas,