Statistiche e Big Data lasso

3

LASSO con termini di interazione: va bene se gli effetti principali sono ridotti a zero?

La regressione di LASSO riduce i coefficienti verso zero, fornendo così un'efficace selezione del modello. Credo che nei miei dati vi siano interazioni significative tra covariate nominali e continue. Non necessariamente, tuttavia, gli "effetti principali" del modello reale sono significativi (diversi da zero). Ovviamente non lo so poiché il vero …

25 machine-learning lasso glmnet shrinkage penalized

2

Lazo bayesiano vs lazo ordinario

Sono disponibili diversi software di implementazione per il lazo . So molto discusso sull'approccio bayesiano contro l'approccio frequentista in diversi forum. La mia domanda è molto specifica per il lazo: quali sono le differenze o i vantaggi del lazo baaysiano rispetto al lazo normale ? Ecco due esempi di implementazione …

24 r machine-learning linear-model lasso

4

Stime di regressione L1 mediane mentre stime di regressione L2 significano?

Quindi mi è stata posta una domanda sulla stima delle misure centrali L1 (es. Lazo) e L2 (es. Regressione della cresta). La risposta è L1 = mediana e L2 = media. C'è qualche tipo di ragionamento intuitivo in questo? O deve essere determinato algebricamente? In tal caso, come posso fare …

24 lasso regularization loss-functions ridge-regression

1

Pena di ponte contro regolarizzazione della rete elastica

Alcune funzioni e approssimazioni di penalità sono ben studiate, come il LASSO ( ) e il Ridge ( ) e come si confrontano nella regressione.L1L1L_1L2L2L_2 Ho letto della penalità Bridge, che è la penalità generalizzata . Confrontalo con il LASSO, che ha \ gamma = 1 , e il Ridge, …

22 regression lasso regularization ridge-regression elastic-net

3

Perché Lars e Glmnet offrono soluzioni diverse per il problema del lazo?

Voglio capire meglio i pacchetti R Larse Glmnet, che sono usati per risolvere il problema Lazo: (per Variabili e campioni, vedi www.stanford.edu/~hastie/Papers/glmnet.pdf a pagina 3)pNm i n( β0β) ∈ Rp + 1[ 12 NΣi = 1N( yio- β0- xTioβ)2+ λ | | β| |l1]mion(β0β)∈Rp+1[12NΣio=1N(yio-β0-XioTβ)2+λ||β||l1]min_{(\beta_0 \beta) \in R^{p+1}} \left[\frac{1}{2N}\sum_{i=1}^{N}(y_i-\beta_0-x_i^T\beta)^2 + \lambda||\beta …

22 r regression machine-learning lasso regularization

1

Perché LASSO non trova la mia coppia predittiva perfetta ad alta dimensionalità?

Sto eseguendo un piccolo esperimento con la regressione di LASSO in R per testare se è in grado di trovare una coppia predittiva perfetta. La coppia è definita in questo modo: f1 + f2 = risultato Il risultato qui è un vettore predeterminato chiamato 'età'. F1 e f2 vengono creati …

20 r regression feature-selection lasso high-dimensional

1

Se il LASSO è equivalente alla regressione lineare con un Laplace precedente, come può esserci massa sui set con componenti a zero?

l o s s =∥y- Xβ∥22+ λ ∥ β∥1loss=‖y−Xβ‖22+λ‖β‖1 {\rm loss} = \| y - X \beta \|_2^2 + \lambda \| \beta \|_1 exp( - λ ∥ β∥1)exp⁡(−λ‖β‖1) \exp(-\lambda \| \beta \|_1 ) λλ\lambda Consideriamo che dal punto di vista bayesiano possiamo calcolare la probabilità posteriore che, per esempio, le …

20 lasso laplace-distribution

5

Dobbiamo ancora fare la selezione delle funzionalità durante l'utilizzo degli algoritmi di regolarizzazione?

Ho una domanda per quanto riguarda la necessità di utilizzare i metodi di selezione delle caratteristiche (le foreste casuali presentano un valore di importanza o i metodi di selezione delle caratteristiche univariati, ecc.) Prima di eseguire un algoritmo di apprendimento statistico. Sappiamo che per evitare un eccesso di adattamento possiamo …

20 regression machine-learning feature-selection lasso regularization

2

KKT contro formulazione non vincolata della regressione del lazo

La regressione penalizzata L1 (aka lazo) è presentata in due formulazioni. Lascia che le due funzioni obiettivo siano Q1=12||Y−Xβ||22Q2=12||Y−Xβ||22+λ||β||1.Q1=12||Y−Xβ||22Q2=12||Y−Xβ||22+λ||β||1. Q_1 = \frac{1}{2}||Y - X\beta||_2^2 \\ Q_2 =\frac{1}{2}||Y - X\beta||_2^2 + \lambda ||\beta||_1. Quindi le due diverse formulazioni sono argminβQ1argminβQ1 \text{argmin}_\beta \; Q_1 soggetto a ||β||1≤t,||β||1≤t, ||\beta||_1 \leq t, e, equivalentemente …

20 regression lasso penalized

2

Stima del R-quadrato e significatività statistica dal modello di regressione penalizzato

Sto usando il pacchetto R penalizzato per ottenere stime ridotte dei coefficienti per un set di dati in cui ho molti predittori e poca conoscenza di quali sono importanti. Dopo aver scelto i parametri di ottimizzazione L1 e L2 e sono soddisfatto dei miei coefficienti, esiste un modo statisticamente corretto …

20 regression lasso stepwise-regression ridge-regression

2

Che senso ha fare OLS dopo la selezione delle variabili LASSO?

Recentemente ho scoperto che nella letteratura di econometria applicata, quando si affrontano i problemi di selezione delle caratteristiche, non è raro eseguire LASSO seguito da una regressione OLS usando le variabili selezionate. Mi chiedevo come possiamo qualificare la validità di tale procedura. Causerà problemi come le variabili omesse? Qualche prova …

20 regression feature-selection econometrics least-squares lasso

1

Cosa concludere da questa trama lazo (glmnet)

Di seguito è riportato il diagramma di glmnet con alpha predefinito (1, quindi lazo) che utilizza il mtcarsset di dati in R con mpgcome DV e altri come variabili predittive. glmnet(as.matrix(mtcars[-1]), mtcars[,1]) Cosa possiamo concludere da questo diagramma riguardo alle diverse variabili, in particolare am, cyle wt(linee rosse, nere e …

19 regression feature-selection lasso glmnet

2

Analisi elastica / cresta / lazo, e allora?

Mi sto davvero interessando alla procedura della rete elastica per la riduzione / selezione del predittore. Sembra molto potente. Ma dal punto di vista scientifico non so bene cosa fare una volta ottenuti i coefficienti. A quale domanda sto rispondendo? Queste sono le variabili che influenzano maggiormente questo risultato e …

19 hypothesis-testing prediction inference lasso elastic-net

2

LASSO soffre degli stessi problemi della regressione graduale?

I metodi di selezione delle variabili algoritmiche graduali tendono a selezionare per i modelli che influenzano più o meno ogni stima nei modelli di regressione ( e loro SE, valori p , statistiche F , ecc.) E hanno la probabilità di escludere predittori reali quanto includere falsi predittori secondo una …

18 regression feature-selection lasso regression-strategies stepwise-regression

1

Esiste un chiaro insieme di condizioni in cui i percorsi della soluzione di lazo, cresta o rete elastica sono monotoni?

La domanda Cosa concludere da questo diagramma del lazo (glmnet) dimostra percorsi di soluzione per lo stimatore del lazo che non sono monotonici. Cioè, alcuni cofficients crescono in valore assoluto prima che si restringano. Ho applicato questi modelli a diversi tipi di set di dati e non ho mai visto …

18 lasso ridge-regression elastic-net

Domande taggate «lasso»