Perché la regressione della cresta non ridurrà alcuni coefficienti a zero come il lazo?

Quando si spiega la regressione di LASSO, viene spesso utilizzato il diagramma di un diamante e un cerchio. Si dice che, poiché la forma del vincolo in LASSO è un diamante, la soluzione dei minimi quadrati ottenuta potrebbe toccare l'angolo del diamante in modo tale da provocare una riduzione di alcune variabili. Tuttavia, nella regressione della cresta, poiché è un cerchio, spesso non toccherà l'asse. Non riuscivo a capire perché non potesse toccare l'asse o forse avere una probabilità inferiore rispetto a LASSO di ridurre alcuni parametri. Inoltre, perché LASSO e la cresta hanno una varianza inferiore rispetto ai minimi quadrati ordinari? Quanto sopra è la mia comprensione di ridge e LASSO e potrei sbagliarmi. Qualcuno può aiutarmi a capire perché questi due metodi di regressione hanno una varianza più bassa?

Questo riguarda la varianza

OLS fornisce quello che viene chiamato il miglior stimatore lineare parziale (BLU) . Ciò significa che se si prende qualsiasi altro stimatore imparziale, è inevitabile che abbia una varianza maggiore rispetto alla soluzione OLS. Quindi perché mai dovremmo considerare qualcos'altro?

Ora il trucco con la regolarizzazione, come il lazo o la cresta, è quello di aggiungere un po 'di distorsione a turno per cercare di ridurre la varianza. Perché quando si stima il vostro errore di previsione, si tratta di una combinazione di tre cose :

$$\text{E}[(y-\hat{f}(x))^2]=\text{Bias}[\hat{f}(x))]^2 +\text{Var}[\hat{f}(x))]+\sigma^2$$ L'ultima parte è l'errore irriducibile, quindi non abbiamo alcun controllo su questo. Utilizzando la soluzione OLS il termine di polarizzazione è zero. Ma potrebbe essere che il secondo termine sia ampio. Potrebbe essere una buona idea, ( se vogliamo buone previsioni ), aggiungere un po 'di pregiudizio e, si spera, ridurre la varianza.

Così che cosa è questo ? È la varianza introdotta nelle stime per i parametri nel modello. Il modello lineare ha la forma y$\text{Var}[\hat{f}(x))]$ Per ottenere la soluzione OLS risolviamo il problema della minimizzazione arg min β | | y - X β | | 2 Ciò fornisce la soluzione β OLS = ( X T X ) - 1 x T y Il problema di minimo per la regressione cresta è simile: arg min β | | y - 2 + λ

$$\mathbf{y}=\mathbf{X}\beta + \epsilon,\qquad \epsilon\sim\mathcal{N}(0,\sigma^2I)$$ $$\arg \min_\beta ||\mathbf{y}-\mathbf{X}\beta||^2$$ $$\hat{\beta}_{\text{OLS}} = (\mathbf{X}^T\mathbf{X})^{-1}\mathbf{X}^T\mathbf{y}$$ Ora la soluzione diventa β Ridge = ( X T X + λ I ) - 1 X T y Quindi stiamo aggiungendo questo λ I (chiamato la cresta) sulla diagonale della matrice che invertito. L'effetto di ciò sulla matrice X T X è che si "tira" il determinante della matrice lontano da zero. Quindi quando lo inverti, non ottieni enormi autovalori. Ma ciò porta a un altro fatto interessante, vale a dire che la varianza delle stime dei parametri diventa inferiore. $$\arg \min_\beta ||\mathbf{y}-\mathbf{X}\beta||^2+\lambda||\beta||^2\qquad \lambda>0$$ $$\hat{\beta}_{\text{Ridge}} = (\mathbf{X}^T\mathbf{X}+\lambda I)^{-1}\mathbf{X}^T\mathbf{y}$$ $\lambda I$$\mathbf{X}^T\mathbf{X}$

Non sono sicuro di poter fornire una risposta più chiara di questa. Ciò a cui tutto si riduce è la matrice di covarianza per i parametri nel modello e l'entità dei valori in quella matrice di covarianza.

Ho preso la regressione della cresta come esempio, perché è molto più facile da trattare. Il lazo è molto più difficile e ci sono ancora ricerche in corso attive su questo argomento.

Queste diapositive forniscono ulteriori informazioni e questo blog contiene anche alcune informazioni rilevanti.

EDIT: Che cosa intendo dire aggiungendo la cresta il determinante viene " allontanato " da zero?

Si noti che la matrice $\mathbf{X}^T\mathbf{X}$ è una matrice simmetrica definita positiva. Si noti che tutte le matrici simmetriche con valori reali hanno autovalori reali. Inoltre, poiché è definito positivo, gli autovalori sono tutti maggiori di zero.

$$\text{det}(\mathbf{X}^T\mathbf{X}-tI)=0$$ $t$ $$\text{det}(\mathbf{X}^T\mathbf{X}+\lambda I-tI)=0$$ $$\text{det}(\mathbf{X}^T\mathbf{X}-(t-\lambda)I)=0$$ $(t-\lambda)$$t_i$$t_i+\lambda$$\lambda$

Ecco un po 'di codice R per illustrare questo:

# Create random matrix
A <- matrix(sample(10,9,T),nrow=3,ncol=3)

# Make a symmetric matrix
B <- A+t(A)

# Calculate eigenvalues
eigen(B)

# Calculate eigenvalues of B with ridge
eigen(B+3*diag(3))

Che dà i risultati:

> eigen(B)
$values
[1] 37.368634  6.952718 -8.321352

> eigen(B+3*diag(3))
$values
[1] 40.368634  9.952718 -5.321352

Quindi tutti gli autovalori vengono spostati esattamente di 3.

Puoi anche dimostrarlo in generale usando il teorema del cerchio di Gershgorin . Lì i centri dei cerchi contenenti gli autovalori sono gli elementi diagonali. Puoi sempre aggiungere "abbastanza" all'elemento diagonale per creare tutti i cerchi nel mezzo piano reale positivo. Tale risultato è più generale e non necessario per questo.

Regressione della cresta

L2 = (y-xβ) ^ 2 + λ∑βi ^ 2

Risolverò questa equazione solo per un β per ora e in seguito puoi generalizzare questo:

Quindi, (y-xβ) ^ 2 + λβ ^ 2 questa è la nostra equazione per un β.

Il nostro obiettivo è ridurre al minimo l'equazione di cui sopra, per essere in grado di farlo, lo equiparerà a zero e porterà i derivati ​​wrt β

Y ^ 2- 2xyβ + x ^ 2 β ^ 2 + λβ ^ 2 = 0 ------- Uso (ab) ^ 2 dell'espansione

Writ di derivati ​​parziali

-2xy + 2x ^ 2β + 2βλ = 0

2β (x ^ 2 + λ) = 2xy

β = 2xy / 2 (x ^ 2 + λ)

Infine

β = xy / (x ^ 2 + λ)

Se osservi il denominatore, non diventerà mai zero, poiché stiamo aggiungendo un valore di λ (cioè un parametro ipertestuale). E quindi il valore di β sarà il più basso possibile ma non diventerà zero.

Regressione LASSO:

L1 = (y-xβ) ^ 2 + λ∑ | β |

Risolverò questa equazione solo per un β per ora e in seguito puoi generalizzare questo a più β:

Quindi, (y-xβ) ^ 2 + λβ questa è la nostra equazione per un β, qui ho considerato + ve il valore di β.

Il nostro obiettivo è ridurre al minimo l'equazione di cui sopra, per essere in grado di farlo, lo equiparerà a zero e porterà i derivati ​​wrt β

Y ^ 2- 2xyβ + x ^ 2 β ^ 2 + λβ = 0 ------- Uso dell'espansione (ab) ^ 2

Writ di derivati ​​parziali

-2xy + 2x ^ 2β + λ = 0

2x ^ 2β + λ = 2xy

2x ^ 2β = 2xy-λ

Infine

β = (2xy-λ) / (2X ^ 2)

Se osservi il numeratore, diventerà zero, poiché stiamo sottraendo un valore di λ (cioè un parametro ipertestuale). E quindi il valore di β verrà impostato come zero.