Statistiche e Big Data lasso

1

LARS vs discesa delle coordinate per il lazo

Quali sono i pro e i contro dell'utilizzo di LARS [1] rispetto all'utilizzo della discesa delle coordinate per l'adattamento della regressione lineare regolarizzata L1? Sono principalmente interessato agli aspetti prestazionali (i miei problemi tendono ad avere Ntra le centinaia di migliaia e p<20). Tuttavia, anche altre intuizioni sarebbero apprezzate. modifica: …

13 regression lasso regularization regression references lasso regularization elastic-net r distributions aggregation clustering algorithms regression correlation modeling distributions time-series standard-deviation goodness-of-fit hypothesis-testing statistical-significance sample binary-data estimation random-variable interpolation distributions probability chi-squared predictor outliers regression modeling interaction

2

Perché usare il lazo di gruppo anziché il lazo?

Ho letto che il lazo di gruppo viene utilizzato per la selezione delle variabili e la scarsità in un gruppo di variabili. Voglio conoscere l'intuizione dietro questa affermazione. Perché il lazo di gruppo è preferito al lazo? Perché il percorso della soluzione lazo di gruppo non è lineare a tratti?

13 regression feature-selection lasso regularization

3

Implementazione lazo non negativa in R

Sto cercando un open source o una libreria esistente che posso usare. Per quanto ne dico, il pacchetto glmnet non è facilmente estendibile per coprire il caso non negativo. Potrei sbagliarmi, chiunque abbia qualche idea molto apprezzata. Per non negativo intendo che tutti i coefficienti sono vincolati ad essere positivi …

13 r lasso

2

Quando LASSO seleziona predittori correlati?

Sto usando il pacchetto 'lars' in R con il seguente codice: > library(lars) > set.seed(3) > n <- 1000 > x1 <- rnorm(n) > x2 <- x1+rnorm(n)*0.5 > x3 <- rnorm(n) > x4 <- rnorm(n) > x5 <- rexp(n) > y <- 5*x1 + 4*x2 + 2*x3 + 7*x4 + …

13 correlation feature-selection lasso regularization ridge-regression

1

Intuizione per i gradi di libertà di LASSO

Zou et al. "Sui" gradi di libertà "del lazo" (2007) mostrano che il numero di coefficienti diversi da zero è una stima imparziale e coerente per i gradi di libertà del lazo. Mi sembra un po 'controintuitivo. Supponiamo di avere un modello di regressione (dove le variabili sono zero media) …

12 regression lasso degrees-of-freedom shrinkage

2

Modifica del lazo per LARS

Sto cercando di capire come l'algoritmo di Lars può essere modificato per generare Lazo. Mentre capisco LARS, non riesco a vedere la modifica del Lazo dall'articolo di Tibshirani et al. In particolare non vedo perché la condizione del segno in quanto il segno della coordinata diversa da zero deve concordare …

12 lasso

2

Discesa coordinata per il lazo o la rete elastica

Esistono buoni documenti o libri che trattano l'uso della discesa coordinata per L1 (lazo) e / o regolarizzazione della rete elastica per problemi di regressione lineare?

12 regression references lasso regularization elastic-net

1

Aggiornamento del lazo con nuove osservazioni

Sto adattando una regressione lineare regolarizzata L1 a un set di dati molto grande (con n >> p.) Le variabili sono note in anticipo, ma le osservazioni arrivano in piccoli blocchi. Vorrei mantenere il lazo in forma dopo ogni blocco. Posso ovviamente ri-montare l'intero modello dopo aver visto ogni nuova …

12 regression lasso

4

Come applicare il metodo IRLS (Least Squares Squares Squares) al modello LASSO?

Ho programmato una regressione logistica usando l' algoritmo IRLS . Vorrei applicare una penalità LASSO per selezionare automaticamente le funzionalità giuste. Ad ogni iterazione, viene risolto quanto segue: (XTWX)δβ^=XT(y−p)(XTWX)δβ^=XT(y−p)\mathbf{\left(X^TWX\right) \delta\hat\beta=X^T\left(y-p\right)} Sia un numero reale non negativo. Non sto penalizzando l'intercettazione come suggerito in The Elements of. Apprendimento statistico . Idem …

12 logistic generalized-linear-model feature-selection lasso convex

1

Perché R Squared non è una buona misura per adattarsi alle regressioni usando LASSO?

Ho letto in diversi punti che R Squared non è una misura ideale quando un modello è in forma usando LASSO. Tuttavia, non sono chiaro esattamente perché . Inoltre, potresti raccomandare la migliore alternativa?

12 regression lasso r-squared penalized

4

Cosa rende instabile il lazo per la selezione delle caratteristiche?

Nel rilevamento compresso, c'è una garanzia teorema che ha una soluzione sparsa unica c (Vedi appendice per maggiori dettagli).argmin∥c∥1subject to y=Xcargmin‖c‖1subject to y=Xc\text{argmin} \Vert c \Vert_1\\ \text{subject to } y = Xc ccc Esiste un teorema simile per il lazo? Se esiste un tale teorema, non solo garantirà la stabilità …

12 regression self-study feature-selection lasso regularization

1

Interpretazione dei coefficienti di regressione di LASSO

Attualmente sto lavorando alla costruzione di un modello predittivo per un risultato binario su un set di dati con ~ 300 variabili e 800 osservazioni. Ho letto molto su questo sito sui problemi associati alla regressione graduale e sul perché non usarlo. Ho letto la regressione di LASSO e la …

12 multiple-regression predictive-models interpretation regression-coefficients lasso

5

Norme Ridge e LASSO

Questo post segue questo: perché la stima della cresta diventa migliore di OLS aggiungendo una costante alla diagonale? Ecco la mia domanda: Per quanto ne so, la regolarizzazione della cresta usa un -norm (distanza euclidea). Ma perché usiamo il quadrato di questa norma? (un'applicazione diretta di risulterebbe con la radice …

12 lasso regularization ridge-regression

3

Lazo vs. Lazo adattivo

LASSO e LASSO adattivo sono due cose diverse, giusto? (Per me le penalità sembrano diverse, ma sto solo controllando se mi manca qualcosa.) Quando parli generalmente di rete elastica, è il caso speciale LASSO o LASSO adattivo? Quale fa il pacchetto glmnet, a condizione che tu scelga alpha = 1? …

12 lasso glmnet elastic-net oracle

3

Come gestire i valori NA nel metodo di restringimento (Lazo) usando glmnet

Sto usando "glmnet" per la regressione del lazo in GWAS. Alcune varianti e individui hanno valori mancanti e sembra che glmnet non sia in grado di gestire valori mancanti. C'è qualche soluzione per questo? o esiste un altro pacchetto in grado di gestire i valori mancanti nella regressione del lazo? …

12 missing-data lasso glmnet

Domande taggate «lasso»