Domande taggate «lasso»

Sono nuovo nel glmnetpacchetto e non sono ancora sicuro di come interpretare i risultati. Qualcuno potrebbe aiutarmi a leggere il seguente diagramma di traccia? Il grafico è stato ottenuto eseguendo quanto segue: library(glmnet) return <- matrix(ret.ff.zoo[which(index(ret.ff.zoo)==beta.df$date[2]), ]) data <- matrix(unlist(beta.df[which(beta.df$date==beta.df$date[2]), ][ ,-1]), ncol=num.factors) model <- cv.glmnet(data, return, standardize=TRUE) op <- …

15 r  data-visualization  interpretation  lasso  glmnet 

Mi chiedevo, perché i metodi di selezione dei modelli LASSO e LARS sono così popolari anche se sostanzialmente sono solo variazioni della selezione diretta (e quindi soffrono di dipendenza dal percorso)? Allo stesso modo, perché i metodi General to Specific (GETS) per la selezione dei modelli sono per lo più …

15 feature-selection  model-selection  lasso  stepwise-regression  lars 

Ho letto i libri più popolari nell'apprendimento statistico 1- Gli elementi dell'apprendimento statistico. 2- Un'introduzione all'apprendimento statistico . Entrambi menzionano che la regressione della cresta ha due formule equivalenti. Esiste una comprensibile prova matematica di questo risultato? Ho anche esaminato Cross Validated , ma non riesco a trovare una prova …

15 regression  lasso  regularization  ridge-regression  lagrange-multipliers 

Esistono risultati analitici o documenti sperimentali riguardanti la scelta ottimale del coefficiente del termine di penalità ℓ1ℓ1\ell_1 . Per ottimale intendo un parametro che massimizza la probabilità di selezionare il modello migliore o che minimizza la perdita attesa. Lo sto chiedendo perché spesso non è pratico scegliere il parametro per …

15 model-selection  lasso  shrinkage 

Chiuso. Questa domanda è fuori tema . Al momento non accetta risposte. Vuoi migliorare questa domanda? Aggiorna la domanda in modo che sia in argomento per Cross Validated. Chiuso 3 anni fa . Sto costruendo una regressione logistica in R usando il metodo LASSO con le funzioni cv.glmnetper selezionare il …

15 r  logistic  categorical-data  lasso  glmnet 

Definisci la stima del lazo dove i ^ {th} riga x_i \ in \ mathbb {R} ^ p della matrice di progettazione X \ in \ mathbb {R} ^ {n \ times p} è un vettore di covariate per spiegare la risposta stocastica y_i (per i = 1, \ punti …

14 lasso  regularization 

Vorrei creare una foresta casuale usando il seguente processo: Costruisci un albero su un campione casuale di dati e caratteristiche usando il guadagno delle informazioni per determinare le divisioni Terminare un nodo foglia se supera una profondità predefinita O qualsiasi divisione comporterebbe un conteggio delle foglie inferiore a un minimo …

14 classification  random-forest  lasso  ensemble 

La mia comprensione generale è che AIC si occupa del compromesso tra la bontà di adattamento del modello e la complessità del modello. Un ioC= 2 k - 2 l n ( L )UNioC=2K-2ln(L)AIC =2k -2ln(L) KKk = numero di parametri nel modello = probabilitàLLL Il criterio di informazione bayesiana …

14 cross-validation  lasso  aic  ridge-regression  bic 

Qual è la complessità temporale asintotica della regressione del Lazo all'aumentare del numero di righe o colonne?

14 lasso  time-complexity 

Sto leggendo la migliore selezione di sottoinsiemi nel libro Elementi di apprendimento statistico. Se ho 3 predittori , creo sottoinsiemi:x1,x2,x3X1,X2,X3x_1,x_2,x_323=823=82^3=8 Sottoinsieme senza predittori sottoinsieme con predittorex1X1x_1 sottoinsieme con predittorex2X2x_2 sottoinsieme con predittorex3x3x_3 sottoinsieme con predittorix1,x2x1,x2x_1,x_2 sottoinsieme con predittorix1,x3x1,x3x_1,x_3 sottoinsieme con predittorix2,x3x2,x3x_2,x_3 sottoinsieme con predittorix1,x2,x3x1,x2,x3x_1,x_2,x_3 Quindi collaudo tutti questi modelli sui …

13 regression  feature-selection  lasso  bias-variance-tradeoff 

\newcommand{\diag}{\operatorname{diag}} Abbiamo il problema: minw∈Rd(1n∑i=1n(⟨w,xi⟩−yi)2+2λ||w||1),minw∈Rd(1n∑i=1n(⟨w,xi⟩−yi)2+2λ||w||1),\min_{w\in\mathbb{R}^{d}}\left( \frac{1}{n}\sum_{i=1}^{n} \left( \langle w,x_{i}\rangle-y_{i} \right)^{2} +2\lambda||w||_1\right), presupponendo che: ∑i=1nxixTi=diag(σ21,...,σ2d).∑i=1nxixiT=diag⁡(σ12,...,σd2).\sum_{i=1}^nx_ix_i^T=\diag(\sigma_1^2,...,\sigma_d^2). Esiste una soluzione a forma chiusa in questo caso? Ho questo: (XTX)−1=diag(σ−21,...,σ−2d),(XTX)−1=diag⁡(σ1−2,...,σd−2),(X^TX)^{-1}=\diag\left(\sigma_1^{-2},...,\sigma_d^{-2}\right), e quindi penso che la risposta sia : wj=yjmax{0,1−λn|yj|},wj=yjmax{0,1−λn|yj|},w\,^j=y\,^j\max\left\{0,1-\lambda \frac{n}{|y^j|}\right\}, per yj=∑i=1nyixijσ2iyj=∑i=1nyixijσi2y\,^j=\displaystyle\sum_{i=1}^n\frac{y_ix_i\,^j}{\sigma_i^2} , ma non ne sono sicuro.

13 mathematical-statistics  lasso  computational-statistics  regularization 

Una delle motivazioni per la rete elastica è stata la seguente limitazione di LASSO: Nel p>np>np > n caso , il lazo seleziona al massimo n variabili prima di saturare, a causa della natura del problema di ottimizzazione convessa. Questa sembra essere una funzione limitante per un metodo di selezione …

13 regression  optimization  feature-selection  lasso 

Esistono diversi documenti matematici che descrivono il lazo bayesiano, ma voglio un codice JAGS testato e corretto che posso usare. Qualcuno potrebbe pubblicare un codice BUGS / JAGS di esempio che implementa la regressione logistica regolarizzata? Qualsiasi schema (L1, L2, Elasticnet) sarebbe fantastico, ma è preferito Lasso. Mi chiedo anche …

13 bayesian  logistic  lasso  jags  regularization 

Tabella 18.1 nella Elementi di apprendimento statistico riassume le prestazioni di numerosi classificatori su un set di dati di 14 classi. Sto confrontando un nuovo algoritmo con il lazo e la rete elastica per tali problemi di classificazione multiclasse. Utilizzando la glmnetversione 1.5.3 (R 2.13.0) non sono in grado di …

13 classification  lasso  glmnet 

Vorrei ottenere i coefficienti per il problema LASSO ||Y−Xβ||+λ||β||1.||Y−Xβ||+λ||β||1.||Y-X\beta||+\lambda ||\beta||_1. Il problema è che le funzioni glmnet e lars danno risposte diverse. Per la funzione glmnet chiedo i coefficienti di λ/||Y||λ/||Y||\lambda/||Y||invece di solo λλ\lambda , ma ho ancora risposte diverse. È previsto? Qual è la relazione tra lars e glmnet …

13 r  machine-learning  regression  lasso  regularization