Perché la stima della cresta diventa migliore dell'OLS aggiungendo una costante alla diagonale?

Comprendo che la stima della regressione della cresta è il $\beta$ che minimizza la somma residua del quadrato e una penalità sulla dimensione di $\beta$

β_{r i d g e} = (λ I_{D} + X^{'} X)^{- 1} X^{'} y = argmin [RSS + λ ‖ β ‖_{2}^{2}]

$\beta_\mathrm{ridge} = (\lambda I_D + X'X)^{-1}X'y = \operatorname{argmin}\big[ \text{RSS} + \lambda \|\beta\|^2_2\big]$

Tuttavia, non capisco appieno il significato del fatto che differisce da aggiungendo solo una piccola costante alla diagonale di . Infatti, $\beta_\text{ridge}$ $\beta_\text{OLS}$ $X'X$

β_{OLS} = (X^{'} X)^{- 1} X^{'} y

$\beta_\text{OLS} = (X'X)^{-1}X'y$

Il mio libro menziona che ciò rende la stima più stabile numericamente - perché?
La stabilità numerica è correlata alla contrazione verso 0 della stima della cresta o è solo una coincidenza?

— Heisenberg
fonte

Risposte:

In una regressione non aperta, è spesso possibile ottenere una cresta * nello spazio dei parametri, in cui molti valori diversi lungo la cresta fanno tutti altrettanto o quasi anche con il criterio dei minimi quadrati.

* (almeno, è una cresta nella funzione di probabilità - in realtà sono valli $ nel criterio RSS, ma continuerò a chiamarla una cresta, poiché sembra essere convenzionale - o addirittura, come indica Alexis nei commenti, potrei definirlo un thalweg , essendo la controparte della valle di una cresta)

In presenza di una cresta nel criterio dei minimi quadrati nello spazio dei parametri, la penalità che si ottiene con la regressione della cresta si libera di quelle creste spingendo il criterio verso l'alto mentre i parametri si allontanano dall'origine:

inserisci qui la descrizione dell'immagine
[ Immagine più chiara ]

Nel primo grafico, una grande modifica dei valori dei parametri (lungo la cresta) produce una minuscola modifica nel criterio RSS. Ciò può causare instabilità numerica; è molto sensibile alle piccole modifiche (ad es. una piccola modifica nel valore di un dato, persino un errore di troncamento o arrotondamento). Le stime dei parametri sono quasi perfettamente correlate. È possibile ottenere stime di parametri di dimensioni molto grandi.

Al contrario, sollevando la cosa che riduce la regressione della cresta (aggiungendo la penalità ) quando i parametri sono lontani da 0, piccoli cambiamenti nelle condizioni (come un piccolo arrotondamento o errore di troncamento) non possono produrre cambiamenti giganteschi nel risultato stime. Il termine di penalità si traduce in una riduzione verso 0 (con conseguente distorsione). Una piccola quantità di distorsione può acquistare un sostanziale miglioramento della varianza (eliminando quella cresta). $L_2$

L'incertezza delle stime è ridotta (gli errori standard sono inversamente correlati alla seconda derivata, che è resa più grande dalla penalità).

La correlazione nelle stime dei parametri è ridotta. Ora non otterrai stime di parametri molto grandi se l'RSS per piccoli parametri non sarebbe molto peggio.

— Glen_b
fonte

Questa risposta mi aiuta davvero a capire il restringimento e la stabilità numerica. Tuttavia, non sono ancora chiaro su come "l'aggiunta di una piccola costante a " queste due cose.

X^{'} X

$X'X$

— Heisenberg,

L'aggiunta di una costante alla diagonale * equivale all'aggiunta di un paraboloide circolare centrato a sull'RSS (con il risultato mostrato sopra - "tira su" lontano da zero - eliminando la cresta). * (non è necessariamente piccolo, dipende da come lo guardi e da quanto hai aggiunto)

0

$0$

$\quad\quad$

— Glen_b

Glen_b l'antonimo di "ridge" in lingua inglese che stai cercando (quel percorso / curva lungo un fondovalle) è thalweg . Di cui ho appena imparato due settimane fa e che adoro semplicemente. Non ha nemmeno suona come una parola inglese! : D

— Alexis,

@Alexis Sarebbe senza dubbio una parola utile, quindi grazie per quello. Probabilmente non suona l'inglese perché è una parola tedesca (in effetti il thal è lo stesso 'thal' come in " Neanderthal " = "valle di Neander" e weg = 'way'). [In realtà, volevo "cresta" non perché non potessi pensare a come chiamarla, ma perché la gente sembra chiamarla cresta sia che stiano osservando la probabilità o l'RSS, e stavo spiegando il mio desiderio di seguire la convenzione, anche se sembra strana. Thalweg sarebbe una scelta eccellente per la parola giusta, se non

— seguissi

X si avvicina a una matrice non di rango completo (e quindi X'X diventa quasi singolare) esattamente quando appare una cresta con probabilità. La cresta è una conseguenza diretta di una relazione quasi lineare tra le colonne di , che rende s (quasi) linearmente dipendente.

X

$X$

β

$\beta$

— Glen_b,

+1 sull'illustrazione di Glen_b e i commenti delle statistiche sullo stimatore di Ridge. Vorrei solo aggiungere un pov puramente matematico (algebra lineare) sulla regressione di Ridge che risponde alle domande 1 dei PO e 2).

Prima nota che è una matrice semidefinita positiva simmetrica - volte la matrice di covarianza del campione. Quindi ha la decomposizione degli automi $X'X$ $p \times p$ $n$

X^{'} X = V D V^{'}, D = [\begin{matrix} d_{1} \\ ⋱ \\ d_{p} \end{matrix}], d_{i} \geq 0

$X'X = V D V', \quad D = \begin{bmatrix} d_1 & & \\ & \ddots & \\ & & d_p \end{bmatrix}, d_i \geq 0$

Ora poiché l'inversione della matrice corrisponde all'inversione degli autovalori, lo stimatore OLS richiede (notare che ). Ovviamente questo funziona solo se tutti gli autovalori sono rigorosamente maggiori di zero, . Per questo è impossibile; per è in generale vero - questo è quello in cui di solito ci occupiamo della multicollinearità . $(X'X)^{-1} = V D^{-1} V'$ $V ' = V^{-1}$ $d_i > 0$ $p \gg n$ $n \gg p$

Come statistici vogliamo anche sapere come piccole perturbazioni nei dati cambiano le stime. È chiaro che una piccola modifica in qualsiasi porta a enormi variazioni in se è molto piccolo. $X$ $d_i$ $1 / d_i$ $d_i$

Quindi ciò che fa la regressione di Ridge è spostare tutti gli autovalori più lontano da zero come

X^{'} X + λ I_{p} = V D V^{'} + λ I_{p} = V D V^{'} + λ V V^{'} = V (D + λ I_{p}) V^{'},

$X'X + \lambda I_p = V D V' + \lambda I_p = V D V' + \lambda V V' = V (D + \lambda I_p) V',$ che ora ha autovalori . Questo è il motivo per cui la scelta di un parametro di penalità positiva rende la matrice invertibile, anche nel caso . Per la regressione di Ridge una piccola variazione nei dati non ha più l'effetto estremamente instabile che ha sull'inversione della matrice.

d_{i} + λ \geq λ \geq 0

$d_i + \lambda \geq \lambda \geq 0$

p ≫ n

$p \gg n$

X

$X$

La stabilità numerica è correlata alla contrazione a zero in quanto entrambi sono una conseguenza dell'aggiunta di una costante positiva agli autovalori: la rende più stabile perché una piccola perturbazione in non modifica troppo l'inverso; lo restringe vicino a poiché ora il termine viene moltiplicato per che è più vicino a zero della soluzione OLS con autovalori inversi . $X$ $0$ $V^{-1} X'y$ $1 / (d_i + \lambda)$ $1 / d$

— Georg M. Goerg
fonte

Questa risposta risponde in modo soddisfacente alla parte algebrica della mia domanda! Insieme alla risposta Glen_b fornisce una spiegazione completa del problema.

— Heisenberg,

La dimostrazione di Glen_b è meravigliosa. Vorrei solo aggiungere che a parte la causa esatta del problema e la descrizione di come funziona la regressione penalizzata quadratica, c'è la linea di fondo che la penalizzazione ha l'effetto netto di ridurre i coefficienti diversi dall'intercettazione verso lo zero. Ciò fornisce una soluzione diretta al problema del sovradimensionamento che è inerente alla maggior parte delle analisi di regressione quando la dimensione del campione non è enorme in relazione al numero di parametri stimati. Quasi qualsiasi penalizzazione verso lo zero per le non-intercettazioni migliorerà la precisione predittiva rispetto a un modello non penalizzato.

— Frank Harrell
fonte