Domande taggate «ridge-regression»

Un metodo di regolarizzazione per i modelli di regressione che riduce i coefficienti verso lo zero.

2
Perché la regressione della cresta non può fornire una migliore interpretabilità rispetto a LASSO?
Ho già un'idea dei pro e dei contro della regressione della cresta e del LASSO. Per LASSO, il termine di penalità L1 produrrà un vettore di coefficienti sparsi, che può essere visto come un metodo di selezione delle caratteristiche. Tuttavia, ci sono alcune limitazioni per LASSO. Se le funzionalità hanno …


1
Ridge e LASSO hanno una struttura di covarianza?
Dopo aver letto il capitolo 3 in Elements of Statistical Learning (Hastie, Tibshrani & Friedman), mi chiedevo se fosse possibile implementare i famosi metodi di restringimento citati sul titolo di questa domanda, data una struttura di covarianza, cioè minimizzare il (forse più generale ) quantità (y⃗ −Xβ⃗ )TV−1(y⃗ −Xβ⃗ )+λf(β), …


1
Kernel Ridge Regressione Efficiency
La regressione della cresta può essere espressa come dove è l'etichetta prevista , la identifica, l'oggetto per cui stiamo cercando di trovare un'etichetta e la matrice di oggetti tale che: y Idd×dxXn×dnxi=(xi,1,...,Xi,d)∈Rdy^= ( X'X +a Id)- 1X xy^=(X′X+aId)−1Xx\hat{y} = (\mathbf{X'X} + a\mathbf{I}_d)^{-1}\mathbf{X}xy^y^\hat{y}iodId\mathbf{I}_dd× dd×dd \times dXx\mathbf{x}XX\mathbf{X}n × dn×dn \times dnnnXio= ( …




2
Spiegazione lucida per la "stabilità numerica dell'inversione della matrice" nella regressione della cresta e il suo ruolo nella riduzione dell'overfit
Capisco che possiamo impiegare la regolarizzazione in un problema di regressione dei minimi quadrati come w∗=argminw[(y−Xw)T(y−Xw)+λ∥w∥2]w∗=argminw⁡[(y−Xw)T(y−Xw)+λ‖w‖2]\boldsymbol{w}^* = \operatorname*{argmin}_w \left[ (\mathbf y-\mathbf{Xw})^T(\boldsymbol{y}-\mathbf{Xw}) + \lambda\|\boldsymbol{w}\|^2 \right] e che questo problema ha una soluzione a forma chiusa come: w^=(XTX+λI)−1XTy.w^=(XTX+λI)−1XTy.\hat{\boldsymbol{w}} = (\boldsymbol{X}^T\boldsymbol{X}+\lambda\boldsymbol{I})^{-1}\boldsymbol{X}^T\boldsymbol{y}. Vediamo che nella seconda equazione, la regolarizzazione sta semplicemente aggiungendo λλ\lambda alla …




1
Applicare la regressione della cresta per un sistema di equazioni indefinito?
Quando , il problema dei minimi quadrati che impone una restrizione sferica sul valore di può essere scritto come per un sistema indefinito. \ | \ cdot \ | _2 è la norma euclidea di un vettore.y=Xβ+ey=Xβ+ey = X\beta + eδδ\deltaββ\betamin ∥y−Xβ∥22s.t. ∥β∥22≤δ2min⁡ ‖y−Xβ‖22s.t.⁡ ‖β‖22≤δ2\begin{equation} \begin{array} &\operatorname{min}\ \| y - …

2
Comprensione dei risultati della regressione della cresta
Sono nuovo di ridimensionare la regressione. Quando ho applicato la regressione della cresta lineare, ho ottenuto i seguenti risultati: >myridge = lm.ridge(y ~ ma + sa + lka + cb + ltb , temp, lamda = seq(0,0.1,0.001)) > select(myridge) modified HKB estimator is 0.5010689 modified L-W estimator is 0.3718668 smallest …
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.