Ho già un'idea dei pro e dei contro della regressione della cresta e del LASSO. Per LASSO, il termine di penalità L1 produrrà un vettore di coefficienti sparsi, che può essere visto come un metodo di selezione delle caratteristiche. Tuttavia, ci sono alcune limitazioni per LASSO. Se le funzionalità hanno …
Ho applicato alcuni dati per trovare la migliore soluzione di variabili del modello di regressione usando la regressione della cresta in R. Ho usato lm.ridgee glmnet(quando alpha=0), ma i risultati sono molto diversi soprattutto quando lambda=0. Supponiamo che entrambi gli stimatori dei parametri abbiano gli stessi valori. Quindi, qual è …
Dopo aver letto il capitolo 3 in Elements of Statistical Learning (Hastie, Tibshrani & Friedman), mi chiedevo se fosse possibile implementare i famosi metodi di restringimento citati sul titolo di questa domanda, data una struttura di covarianza, cioè minimizzare il (forse più generale ) quantità (y⃗ −Xβ⃗ )TV−1(y⃗ −Xβ⃗ )+λf(β), …
Sia A una matrice di variabili indipendenti e B la matrice corrispondente dei valori dipendenti. Nella regressione ridge, definiamo un parametro in modo tale che: . Ora lascia [usv] = svd (A) e voce diagonale di 's'. definiamo i gradi di libertà (df) = . La regressione della cresta riduce …
La regressione della cresta può essere espressa come dove è l'etichetta prevista , la identifica, l'oggetto per cui stiamo cercando di trovare un'etichetta e la matrice di oggetti tale che: y Idd×dxXn×dnxi=(xi,1,...,Xi,d)∈Rdy^= ( X'X +a Id)- 1X xy^=(X′X+aId)−1Xx\hat{y} = (\mathbf{X'X} + a\mathbf{I}_d)^{-1}\mathbf{X}xy^y^\hat{y}iodId\mathbf{I}_dd× dd×dd \times dXx\mathbf{x}XX\mathbf{X}n × dn×dn \times dnnnXio= ( …
In diverse risposte ho visto gli utenti di CrossValidated suggerire che OP ha trovato i primi articoli su Lasso, Ridge e Elastic Net. Per i posteri, quali sono le opere seminali su Lasso, Ridge e Elastic Net?
Ho letto la descrizione della regressione della cresta in Modelli statistici lineari applicati , 5 ° Ed capitolo 11. La regressione della cresta viene fatta sui dati relativi al grasso corporeo disponibili qui . Il libro di testo corrisponde all'output in SAS, dove i coefficienti trasformati indietro sono indicati nel …
Come eseguire la regressione della cresta non negativa? Il lazo non negativo è disponibile in scikit-learn, ma per la cresta, non posso applicare la non negatività dei beta e, in effetti, sto ottenendo coefficienti negativi. qualcuno sà perche è cosi? Inoltre, posso implementare la cresta in termini di minimi quadrati …
Capisco che possiamo impiegare la regolarizzazione in un problema di regressione dei minimi quadrati come w∗=argminw[(y−Xw)T(y−Xw)+λ∥w∥2]w∗=argminw[(y−Xw)T(y−Xw)+λ‖w‖2]\boldsymbol{w}^* = \operatorname*{argmin}_w \left[ (\mathbf y-\mathbf{Xw})^T(\boldsymbol{y}-\mathbf{Xw}) + \lambda\|\boldsymbol{w}\|^2 \right] e che questo problema ha una soluzione a forma chiusa come: w^=(XTX+λI)−1XTy.w^=(XTX+λI)−1XTy.\hat{\boldsymbol{w}} = (\boldsymbol{X}^T\boldsymbol{X}+\lambda\boldsymbol{I})^{-1}\boldsymbol{X}^T\boldsymbol{y}. Vediamo che nella seconda equazione, la regolarizzazione sta semplicemente aggiungendo λλ\lambda alla …
Sono consapevole che è prassi comune standardizzare le caratteristiche per la regressione della cresta e del lazo, tuttavia, sarebbe mai più pratico normalizzare le caratteristiche su una scala (0,1) come alternativa alla standardizzazione del punteggio z per questi metodi di regressione?
Sto lavorando alla convalida incrociata della previsione dei miei dati con 200 soggetti e 1000 variabili. Sono interessato alla regressione della cresta poiché il numero di variabili (che voglio usare) è maggiore del numero del campione. Quindi voglio usare gli stimatori di contrazione. Di seguito sono riportati i dati di …
Sto lavorando a un modello di costo predittivo in cui l'età del paziente (una quantità intera misurata in anni) è una delle variabili predittive. È evidente una forte relazione non lineare tra età e rischio di degenza ospedaliera: Sto prendendo in considerazione una regressione attenuata che attenua la spline per …
Quando , il problema dei minimi quadrati che impone una restrizione sferica sul valore di può essere scritto come per un sistema indefinito. \ | \ cdot \ | _2 è la norma euclidea di un vettore.y=Xβ+ey=Xβ+ey = X\beta + eδδ\deltaββ\betamin ∥y−Xβ∥22s.t. ∥β∥22≤δ2min ‖y−Xβ‖22s.t. ‖β‖22≤δ2\begin{equation} \begin{array} &\operatorname{min}\ \| y - …
Sono nuovo di ridimensionare la regressione. Quando ho applicato la regressione della cresta lineare, ho ottenuto i seguenti risultati: >myridge = lm.ridge(y ~ ma + sa + lka + cb + ltb , temp, lamda = seq(0,0.1,0.001)) > select(myridge) modified HKB estimator is 0.5010689 modified L-W estimator is 0.3718668 smallest …
We use cookies and other tracking technologies to improve your browsing experience on our website,
to show you personalized content and targeted ads, to analyze our website traffic,
and to understand where our visitors are coming from.
By continuing, you consent to our use of cookies and other tracking technologies and
affirm you're at least 16 years old or have consent from a parent or guardian.