In quali condizioni la regressione della cresta è in grado di fornire un miglioramento rispetto alla normale regressione dei minimi quadrati?

La regressione di Ridge stima i parametri $\boldsymbol \beta$ in un modello lineare $\mathbf y = \mathbf X \boldsymbol \beta$ by

$$\hat{\boldsymbol \beta}_\lambda = (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1} \mathbf X^\top \mathbf y,$$ dove $\lambda$ è un parametro di regolarizzazione. È noto che spesso si comporta meglio della regressione OLS (con $\lambda=0$ ) quando ci sono molti predittori correlati.

Un teorema di esistenza per la regressione della cresta afferma che esiste sempre un parametro $\lambda^* > 0$ tale che l'errore quadratico medio di $\hat{\boldsymbol \beta}_\lambda$ è strettamente più piccolo dell'errore quadratico medio di OLS stima $\hat{\boldsymbol \beta}_\mathrm{OLS}=\hat{\boldsymbol \beta}_0$ . In altre parole, un valore ottimale di $\lambda$ è sempre diverso da zero. Ciò è stato apparentemente provato per la prima volta in Hoerl e Kennard, nel 1970, e viene ripetuto in molti appunti di lezione che trovo online (ad esempio qui e qui ). La mia domanda riguarda le ipotesi di questo teorema:

1. Ci sono delle ipotesi sulla matrice di covarianza $\mathbf X^\top \mathbf X$ ?

2. Ci sono ipotesi sulla dimensionalità di $\mathbf X$ ?

In particolare, il teorema è ancora vero se i predittori sono ortogonali (cioè $\mathbf X^\top \mathbf X$ è diagonale), o anche se $\mathbf X^\top \mathbf X=\mathbf I$ ? Ed è ancora vero se ci sono solo uno o due predittori (diciamo, un predittore e un'intercettazione)?

Se il teorema non fa simili assunzioni e rimane vero anche in questi casi, allora perché la regressione della cresta è di solito consigliata solo nel caso di predittori correlati e mai (?) Raccomandata per una regressione semplice (cioè non multipla)?

---

Questo è legato alla mia domanda sulla visione unificata del restringimento: qual è la relazione (se presente) tra il paradosso di Stein, la regressione della cresta e gli effetti casuali nei modelli misti? , ma nessuna risposta chiarisce questo punto fino ad ora.

La risposta sia a 1 che a 2 è no, ma è necessaria attenzione nell'interpretazione del teorema dell'esistenza.

Varianza di Ridge Estimator

Sia la stima della cresta sotto la penalità k e sia β il vero parametro per il modello Y = X β + ϵ . Lasciate λ 1 , ... , λ p essere gli autovalori di X T X . Dalle equazioni di Hoerl & Kennard 4.2-4.5, il rischio (in termini della norma L 2 prevista dell'errore) è$\hat{\beta^*}$$k$$\beta$$Y = X \beta + \epsilon$$\lambda_1, \dotsc, \lambda_p$$X^T X$
$L^2$

dove per quanto ne so, ( X T X+k I p ) -2= ( X T X+k I p ) -1 ( X T X+k I p ) -1. Osservano cheγ1ha l'interpretazione della varianza del prodotto interno di ^ β ∗ -

$$\begin{align*} E \left( \left[ \hat{\beta^*} - \beta \right]^T \left[ \hat{\beta^*} - \beta \right] \right)& = \sigma^2 \sum_{j=1}^p \lambda_j/ \left( \lambda_j +k \right)^2 + k^2 \beta^T \left( X^T X + k \mathbf{I}_p \right)^{-2} \beta \\ & = \gamma_1 (k) + \gamma_2(k) \\ & = R(k) \end{align*}$$ $\left( X^T X + k \mathbf{I}_p \right)^{-2} = \left( X^T X + k \mathbf{I}_p \right)^{-1} \left( X^T X + k \mathbf{I}_p \right)^{-1}.$$\gamma_1$$\hat{\beta^*} - \beta$ , mentre $\gamma_2$ è il prodotto interiore del pregiudizio.

Supponendo , quindi R ( k ) = p σ 2 + k 2 β T$X^T X = \mathbf{I}_p$ Sia R′(k)=2k(1+k)βTβ-(pσ2+k2βTβ

$$R(k) = \frac{p \sigma^2 + k^2 \beta^T \beta}{(1+k)^2}.$$ è la derivata del rischio w / r / tk. Poiché limk→0+R′(k)=-2pσ2<0, concludiamo che esiste qualchek∗>0tale cheR(k∗)< $$R^\prime (k) = 2\frac{k(1+k)\beta^T \beta - (p\sigma^2 + k^2 \beta^T \beta)}{(1+k)^3}$$ $k$$\lim_{k \rightarrow 0^+} R^\prime (k) = -2p \sigma^2 < 0$$k^*>0$ .$R(k^*)<R(0)$

Gli autori osservano che l'ortogonalità è la migliore che si possa sperare in termini di rischio a , e che all'aumentare del numero di condizioni di X T X , lim k → 0 + R ′ ( k ) si avvicina - ∞ .$k=0$$X^T X$$\lim_{k \rightarrow 0^+} R^\prime (k)$$- \infty$

Commento

Qui sembra esserci un paradosso, in quanto se e X è costante, allora stiamo solo stimando la media di una sequenza di variabili normali ( β , σ 2 ) e sappiamo che la stima imparziale alla vaniglia è ammissibile in questo caso. Ciò si risolve notando che il ragionamento di cui sopra prevede semplicemente che esiste un valore minimizzante di k per β T β fisso . Ma per ogni k , possiamo far esplodere il rischio creando $p=1$$X$$(\beta, \sigma^2)$$k$$\beta^T \beta$$k$ , quindi questo argomento da solo non mostra ammissibilità per la stima della cresta.$\beta^T \beta$

Perché la regressione della cresta è generalmente consigliata solo nel caso di predittori correlati?

$\beta ^T \beta$$X^T X$$\beta$$E Y$$X$ è sospetto: la grande matrice di covarianza ne è un sintomo.

Ma se il tuo obiettivo è solo la previsione, le preoccupazioni inferenziali non valgono più e hai una forte argomentazione per l'utilizzo di una sorta di stimatore del restringimento.