Intuizione per i gradi di libertà di LASSO

Zou et al. "Sui" gradi di libertà "del lazo" (2007) mostrano che il numero di coefficienti diversi da zero è una stima imparziale e coerente per i gradi di libertà del lazo.

Mi sembra un po 'controintuitivo.

Supponiamo di avere un modello di regressione (dove le variabili sono zero media)

y = β x + ε .

$y=\beta x + \varepsilon.$

Supponiamo che una stima OLS senza restrizioni di sia . Potrebbe approssimativamente coincidere con una stima LASSO di per un'intensità di penalità molto bassa. $\beta$ $\hat\beta_{OLS}=0.5$ $\beta$
Supponiamo inoltre che una stima LASSO per una particolare intensità di penalità sia . Ad esempio, potrebbe essere l '"ottimale" per il set di dati disponibile trovato utilizzando la convalida incrociata. $\lambda^*$ $\hat\beta_{LASSO,\lambda^*}=0.4$ $\lambda^*$ $\lambda$
Se ho capito bene, in entrambi i casi il grado di libertà è 1 dato che entrambe le volte c'è un coefficiente di regressione diverso da zero.

Domanda:

Come mai i gradi di libertà in entrambi i casi sono gli stessi anche se suggerisce meno "libertà" di ? $\hat\beta_{LASSO,\lambda^*}=0.4$ $\hat\beta_{OLS}=0.5$

Riferimenti:

Zou, Hui, Trevor Hastie e Robert Tibshirani. "Sui" gradi di libertà "del lazo." The Annals of Statistics 35.5 (2007): 2173-2192.

— Richard Hardy
fonte

bella domanda, che meriterebbe più attenzione!

— Matifou,

Assumere ci viene dato un insieme di osservazioni -dimensionale, , . Assumi un modello del modulo: dove , e indica il prodotto interno. Lascia che sia una stima di usando il metodo di adattamento (o OLS o LASSO per i nostri scopi). La formula per i gradi di libertà fornita nell'articolo (equazione 1.2) è: $n$ $p$ $x_i \in \mathbb{R}^p$ $i = 1, \dotsc, n$

\begin{aligned} Y_{i} = ⟨ β, x_{i} ⟩ + ϵ \end{aligned}

$\begin{align} Y_i = \langle \beta, x_i\rangle + \epsilon \end{align}$

ϵ \sim N (0, σ^{2})

$\epsilon \sim N(0, \sigma^2)$

β \in R^{p}

$\beta \in \mathbb{R}^p$

⟨ \cdot, \cdot ⟩

$\langle \cdot, \cdot \rangle$

\hat{β} = δ ({Y_{i}}_{i = 1}^{n})

$\hat{\beta} = \delta(\{Y_i\}_{i=1}^n)$

β

$\beta$

δ

$\delta$

\begin{aligned} df (\hat{β}) = \sum_{i = 1}^{n} \frac{Cov (⟨ \hat{β}, x_{i} ⟩, Y_{i})}{σ^{2}} . \end{aligned}

$\begin{align} \text{df}(\hat{\beta}) = \sum_{i=1}^n \frac{\text{Cov}(\langle\hat{\beta}, x_i\rangle, Y_i)}{\sigma^2}. \end{align}$

Ispezionando questa formula possiamo supporre che, secondo la tua intuizione, il vero DOF per LASSO sarà effettivamente inferiore al vero DOF di OLS; il coefficiente di restringimento effettuato dal LASSO dovrebbe tendere a ridurre le covarianze.

Ora, per rispondere alla tua domanda, il motivo per cui il DOF per LASSO è lo stesso del DOF per OLS nel tuo esempio è solo che ci si occupa di stime (anche se imparziali), ottenute da un particolare set di dati campionato dal modello , dei veri valori DOF. Per ogni particolare set di dati, tale stima non sarà uguale al valore reale (soprattutto perché la stima deve essere un numero intero mentre il valore vero è un numero reale in generale).

Tuttavia, quando tali stime sono mediate su molti set di dati campionati dal modello, dall'imparzialità e dalla legge di grandi numeri, tale media converge al vero DOF. Nel caso di LASSO, alcuni di questi set di dati comporteranno uno stimatore in cui il coefficiente è effettivamente 0 (sebbene tali set di dati potrebbero essere rari se è piccolo). Nel caso di OLS, la stima del DOF è sempre il numero di coefficienti, non il numero di coefficienti diversi da zero, quindi la media per il caso OLS non conterrà questi zeri. Questo mostra come gli stimatori differiscono e come lo stimatore medio per il DOF LASSO può convergere in qualcosa di più piccolo dello stimatore medio per il DOF OLS. $\lambda$

— e2crawfo
fonte

Grazie per aver corretto i miei errori e formulazioni imprecise. Fammi vedere se ti ho capito bene. In sostanza, se dovessimo ripetere l'esperimento molte volte (o campionare più volte dalla stessa popolazione), occasionalmente (il coefficiente verrebbe ridotto fino a zero) e in media (attraverso gli esperimenti) Otterrei DoF per LASSO mentre DoF per OLS (ovviamente).

{\hat{β}}_{L A S S O} = 0

$\hat\beta_{LASSO}=0$

< 1

$<1$

= 1

$=1$

— Richard Hardy,

A proposito, perché la stima dei gradi di libertà deve essere intera? Davvero? Vorrei anche sottolineare che la notazione del prodotto interno appare inutilmente complicata e viene raramente utilizzata in questo sito; la notazione matriciale sarebbe sufficiente. Ma è una tua scelta, ovviamente.

— Richard Hardy,

Sì, questo è tutto sommato. La stima dei gradi di libertà deve essere un numero intero per LASSO (almeno per un singolo set di dati) solo perché la stima è il numero di coefficienti diversi da zero.

— e2crawfo,

L'affermazione La stima dei gradi di libertà deve essere un numero intero per LASSO solo perché la stima è il numero di coefficienti diversi da zero mi sembra altamente tautologico. In generale, non penso che il df debba essere intero, dalla definizione stessa del df che hai scritto. Allo stesso modo, nel caso della cresta, non è necessariamente zero.

— Matifou,