Un metodo di regolarizzazione per i modelli di regressione che riduce i coefficienti verso zero, rendendone alcuni uguali a zero. Pertanto il lazo esegue la selezione delle funzioni.
Supponiamo che io voglia stimare un gran numero di parametri e voglio penalizzarne alcuni perché credo che dovrebbero avere scarso effetto rispetto agli altri. Come faccio a decidere quale schema di penalizzazione utilizzare? Quando è più appropriata la regressione della cresta? Quando dovrei usare il lazo?
Sto leggendo i libri sulla regressione lineare. Ci sono alcune frasi sulla norma L1 e L2. Li conosco, ma non capisco perché la norma L1 per i modelli sparsi. Qualcuno può dare una spiegazione semplice?
In quali circostanze si dovrebbe considerare l'utilizzo di metodi di regolarizzazione (cresta, regressione del lasso o degli angoli minimi) anziché OLS? Nel caso in cui ciò aiuti a guidare la discussione, il mio interesse principale è il miglioramento della precisione predittiva.
Sto iniziando a dilettarsi con l'uso di glmnetcon LASSO Regressione dove il mio risultato di interesse è dicotomica. Di seguito ho creato un piccolo frame di dati finti: age <- c(4, 8, 7, 12, 6, 9, 10, 14, 7) gender <- c(1, 0, 1, 1, 1, 0, 1, 0, 0) …
Ho letto Elements of Statistical Learning e vorrei sapere perché il Lazo fornisce una selezione variabile e la regressione della cresta no. Entrambi i metodi riducono al minimo la somma residua di quadrati e hanno un vincolo sui possibili valori dei parametri ββ\beta . Per il Lazo, il vincolo è …
Le festività natalizie mi hanno dato l'opportunità di rannicchiarsi vicino al fuoco con The Elements of Statistical Learning . Provenendo da una prospettiva econometrica (frequentista), ho difficoltà a cogliere gli usi dei metodi di contrazione come regressione della cresta, lazo e regressione dell'angolo minimo (LAR). In genere, sono interessato alle …
Sto cercando di utilizzare un modello LASSO per la previsione e devo stimare gli errori standard. Sicuramente qualcuno ha già scritto un pacchetto per farlo. Ma per quanto posso vedere, nessuno dei pacchetti su CRAN che fanno previsioni usando un LASSO restituirà errori standard per quelle previsioni. Quindi la mia …
Da quello che so, l'uso del lazo per la selezione delle variabili gestisce il problema degli input correlati. Inoltre, poiché equivale alla regressione del minimo angolo, non è lento dal punto di vista computazionale. Tuttavia, molte persone (ad esempio persone che conosco facendo bio-statistiche) sembrano ancora favorire la selezione di …
Al fine di risolvere i problemi di selezione del modello, una serie di metodi (LASSO, regressione della cresta, ecc.) Ridurrà i coefficienti delle variabili predittive verso lo zero. Sto cercando una spiegazione intuitiva del perché questo migliora l'abilità predittiva. Se il vero effetto della variabile era in realtà molto grande, …
Per il problema lazo tale che \ | \ beta \ | _1 \ leq t . Vedo spesso il risultato di soglia minima \ beta_j ^ {\ text {lasso}} = \ mathrm {sgn} (\ beta ^ {\ text {LS}} _ j) (| \ beta_j ^ {\ text {LS}} | …
Vorrei trovare predittori per una variabile dipendente continua tra un set di 30 variabili indipendenti. Sto usando la regressione di Lasso come implementato nel pacchetto glmnet in R. Ecco un codice fittizio: # generate a dummy dataset with 30 predictors (10 useful & 20 useless) y=rnorm(100) x1=matrix(rnorm(100*20),100,20) x2=matrix(y+rnorm(100*10),100,10) x=cbind(x1,x2) # …
Scusate se questa domanda si presenta un po 'di base. Sto cercando di utilizzare la selezione delle variabili LASSO per un modello di regressione lineare multipla in R. Ho 15 predittori, uno dei quali è categorico (ciò causerà un problema?). Dopo aver impostato la mia ed io uso i seguenti …
La regressione del minimo angolo e il lazo tendono a produrre percorsi di regolarizzazione molto simili (identici tranne quando un coefficiente attraversa lo zero). Entrambi possono essere adattati in modo efficiente da algoritmi praticamente identici. C'è mai qualche motivo pratico per preferire un metodo rispetto all'altro?
A pagina 223 in Un'introduzione all'apprendimento statistico , gli autori sintetizzano le differenze tra regressione della cresta e lazo. Forniscono un esempio (Figura 6.9) di quando "il lazo tende a sovraperformare la regressione della cresta in termini di distorsione, varianza e MSE". Capisco perché il lazo può essere desiderabile: si …
We use cookies and other tracking technologies to improve your browsing experience on our website,
to show you personalized content and targeted ads, to analyze our website traffic,
and to understand where our visitors are coming from.
By continuing, you consent to our use of cookies and other tracking technologies and
affirm you're at least 16 years old or have consent from a parent or guardian.