La prova dei coefficienti di riduzione usando la regressione della cresta attraverso la "decomposizione spettrale"

Ho capito come la regressione della cresta restringe geometricamente i coefficienti verso zero. Inoltre so come dimostrarlo nello speciale "caso ortonormale", ma sono confuso su come funziona nel caso generale tramite "decomposizione spettrale".

— jeza
fonte

Hai dichiarato di essere confuso, ma qual è la tua domanda?

— whuber

La domanda sembra richiedere una dimostrazione che la regressione della cresta riduce le stime dei coefficienti verso zero, usando una decomposizione spettrale. La decomposizione spettrale può essere intesa come una facile conseguenza della decomposizione del valore singolare (SVD). Pertanto, questo post inizia con SVD. Lo spiega in termini semplici e poi lo illustra con importanti applicazioni. Quindi fornisce la dimostrazione (algebrica) richiesta. (L'algebra, ovviamente, è identica alla dimostrazione geometrica; è semplicemente scritta in una lingua diversa.)

La fonte originale di questa risposta può essere trovata nelle mie note sul corso di regressione . Questa versione corregge alcuni errori minori.

Che cos'è SVD

Qualsiasi matrice , con , può essere scritta dove $n\times p$ $X$ $p \le n$

X = U D V^{'}

$X = UDV^\prime$

è unamatrice . $U$ $n\times p$
- Le colonne di hanno lunghezza . $U$ $1$
- Le colonne di sono reciprocamente ortogonali. $U$
- Essi sono chiamati i componenti principali di . $X$
è unamatrice . $V$ $p \times p$
- Le colonne di hanno lunghezza . $V$ $1$
- Le colonne di sono reciprocamente ortogonali. $V$
- Questo rende una rotazione di . $V$ $\mathbb{R}^p$
è unamatricediagonale . $D$ $p \times p$
- Gli elementi diagonali non sono negativi. Questi sono i valori singolari di . $d_{11}, d_{22}, \ldots, d_{pp}$ $X$
- Se lo desideriamo, possiamo ordinarli dal più grande al più piccolo.

I criteri (1) e (2) affermano che sia che sono matrici ortonormali . Possono essere ordinatamente riassunti dalle condizioni $U$ $V$

U^{'} U = 1_{p}, V^{'} V = 1_{p} .

$U^\prime U = 1_p,\ V^\prime V = 1_p.$

Di conseguenza (quella rappresenta una rotazione), anche . Questo sarà usato nella derivazione della regressione della cresta di seguito. $V$ $VV^\prime = 1_p$

Cosa fa per noi

Può semplificare le formule. Funziona sia algebricamente che concettualmente. Ecco alcuni esempi.

Le equazioni normali

Considera la regressione dove, come al solito, sono indipendenti e identicamente distribuiti secondo una legge che ha zero aspettativa e varianza finita . La soluzione dei minimi quadrati tramite il normale Equazioni è Applicare SVD e semplificare il risultante pasticcio algebrico (che è facile) fornisce una buona visione: $y = X\beta + \varepsilon$ $\varepsilon$ $\sigma^2$

\hat{β} = (X^{'} X)^{- 1} X^{'} y .

$\hat\beta = (X^\prime X)^{-1} X^\prime y.$

(X^{'} X)^{- 1} X^{'} = ((U D V^{'})^{'} (U D V^{'}))^{- 1} (U D V^{'})^{'} = (V D U^{'} U D V^{'})^{- 1} (V D U^{'}) = V D^{- 2} V^{'} V D U^{'} = V D^{- 1} U^{'} .

$(X^\prime X)^{-1} X^\prime = ((UDV^\prime)^\prime (UDV^\prime))^{-1} (UDV^\prime)^\prime \\= (VDU^\prime U D V^\prime)^{-1} (VDU^\prime) = VD^{-2}V^\prime VDU^\prime = VD^{-1}U^\prime.$

L'unica differenza tra questo e è che vengono utilizzati i reciproci degli elementi di ! In altre parole, l '"equazione" è risolta "invertendo" : questa pseudo-inversione annulla le rotazioni e (semplicemente trasponendole) e annulla la moltiplicazione (rappresentata da ) separatamente in ogni principale direzione. $X^\prime = VDU^\prime$ $D$ $y=X\beta$ $X$ $U$ $V^\prime$ $D$

Per riferimento futuro, si noti che "ruotato" stime sono combinazioni lineari delle "ruotato" risposte . I coefficienti sono inverse degli elementi (positivi) diagonali di , pari a . $V^\prime \hat\beta$ $U^\prime y$ $D$ $d_{ii}^{-1}$

Covarianza delle stime dei coefficienti

Ricordiamo che la covarianza delle stime è Usando SVD, questo diventa In altre parole, la covarianza si comporta come quella di variabili ortogonali , ognuna con varianze

Cov (\hat{β}) = σ^{2} (X^{'} X)^{- 1} .

$\text{Cov}(\hat\beta) = \sigma^2(X^\prime X)^{-1}.$

σ^{2} (V D^{2} V^{'})^{- 1} = σ^{2} V D^{- 2} V^{'} .

$\sigma^2(V D^2 V^\prime)^{-1} = \sigma^2 V D^{-2} V^\prime.$

k

$k$

d_{i i}^{2}

$d^2_{ii}$ , che sono stati ruotati in

R^{k}

$\mathbb{R}^k$

La matrice del cappello

La matrice del cappello è Per mezzo del risultato precedente possiamo riscriverlo come Semplice!

H = X (X^{'} X)^{- 1} X^{'} .

$H = X(X^\prime X)^{-1} X^\prime.$

H = (U D V^{'}) (V D^{- 1} U^{'}) = U U^{'} .

$H = (UDV^\prime)(VD^{-1}U^\prime) = UU^\prime.$

Autigenanalisi (decomposizione spettrale)

Poiché e è immediato che

X^{'} X = V D U^{'} U D V^{'} = V D^{2} V^{'}

$X^\prime X = VDU^\prime U D V^\prime = VD^2V^\prime$

X X^{'} = U D V^{'} V D U^{'} = U D^{2} U^{'},

$XX^\prime = UDV^\prime VDU^\prime = UD^2U^\prime,$

Gli autovalori di e sono i quadrati dei valori singolari. $X^\prime X$ $XX^\prime$
Le colonne di sono gli autovettori di . $V$ $X^\prime X$
$U$ $X X^\prime$

SVD può diagnosticare e risolvere problemi di collinearità.

Approssimazione dei regressori

$UDV^\prime$ $U$ $y$

Regressione della cresta

$X$ $y$ $X$ $\lambda \gt 0$

\begin{aligned} {\hat{β}}_{R} & = (X^{'} X + λ)^{- 1} X^{'} y \\ = (V D^{2} V^{'} + λ 1_{p})^{- 1} V D U^{'} y \\ = (V D^{2} V^{'} + λ V V^{'})^{- 1} V D U^{'} y \\ = (V (D^{2} + λ) V^{'})^{- 1} V D U^{'} y \\ = V (D^{2} + λ)^{- 1} V^{'} V D U^{'} y \\ = V (D^{2} + λ)^{- 1} D U^{'} y . \end{aligned}

$\begin{aligned}\hat\beta_R &= (X^\prime X + \lambda)^{-1}X^\prime y \\ &= (VD^2V^\prime + \lambda\,1_p)^{-1}VDU^\prime y \\ &= (VD^2V^\prime + \lambda V V^\prime)^{-1}VDU^\prime y \\ &= (V(D^2 + \lambda)V^\prime)^{-1} VDU^\prime y \\ &= V(D^2+\lambda)^{-1}V^\prime V DU^\prime y \\ &= V(D^2 + \lambda)^{-1} D U^\prime y.\end{aligned}$

$\hat\beta$ $D^{-1} = D^{-2}D$ $(D^2+\lambda)^{-1}D$ $D^2/(D^2+\lambda)$ $\lambda \gt 0$

$V^\prime\hat\beta_R$ $U^\prime y$ $d_{ii}^{-1}$ $d_{ii}^2/(d_{ii}^2 + \lambda)$ $\lambda$ $\hat\beta_R$

$d_{ii}^{-1}$

— whuber
fonte

@Glen_b Questo è un buon punto: dovevo essere esplicito su quale frazione stavo prendendo in considerazione! Lo aggiusterò.

— whuber

U U^{'} = 1_{p}

$UU^\prime=1_p$

U

$U$

1

$1$

\sqrt{1} = 1

$\sqrt{1}=1$

V V^{'} = 1_{p}

$VV^\prime=1_p$

V

$V$

V^{- 1}

$V^{-1}$

(V^{- 1})^{'} (V^{- 1}) = 1_{p}

$(V^{-1})^\prime(V^{-1})=1_p$

V^{- 1} = V^{'}

$V^{-1}=V^\prime$

V V^{'} = (V^{'})^{'} V^{'} = 1_{p}

$VV^\prime=(V^\prime)^\prime V^\prime=1_p$

@Vimal Grazie per il buon suggerimento. Ho ora incluso una spiegazione nella sezione "Equazioni normali" in cui viene introdotto il modello di regressione.

— whuber

X

$X$

V D U^{'} = X^{'} = X = U D V^{'} .

$VDU^\prime=X^\prime=X=UDV^\prime.$

U = V

$U=V$

X

$X$

\hat{y}

$\hat{y}$