Statistiche e Big Data lasso

1

In uno scenario di regressione LASSO dove y=Xβ+ϵy=Xβ+ϵy= X \beta + \epsilon , e le stime LASSO sono date dal seguente problema di ottimizzazione minβ||y−Xβ||+τ||β||1minβ||y−Xβ||+τ||β||1 \min_\beta ||y - X \beta|| + \tau||\beta||_1 Ci sono ipotesi distributive riguardanti ?ϵϵ\epsilon In uno scenario OLS, ci si aspetterebbe che sia indipendente e normalmente …

18 regression lasso assumptions residuals

2

LASSO e cresta dal punto di vista bayesiano: che dire del parametro tuning?

Stimatori di regressione penalizzati come LASSO e cresta corrispondono a stimatori bayesiani con alcuni priori. Immagino (dato che non conosco abbastanza le statistiche bayesiane) che per un parametro di accordatura fisso esiste un precedente corrispondente concreto. Ora un frequentista ottimizzerebbe il parametro di ottimizzazione mediante validazione incrociata. Esiste un equivalente …

17 bayesian lasso ridge-regression

1

Come trattare i predittori categorici in LASSO

Sto eseguendo un LASSO che ha alcuni predittori di variabili categorici e alcuni continui. Ho una domanda sulle variabili categoriche. Il primo passo che capisco è quello di dividere ciascuno di loro in manichini, standardizzarli per una giusta penalizzazione e quindi regredire. Diverse opzioni sorgono per il trattamento delle variabili …

17 categorical-data regression-coefficients lasso intercept categorical-encoding

3

Variabile dipendente continua con variabile indipendente ordinale

Data una variabile dipendente continua y e variabili indipendenti tra cui una variabile ordinale X 1 , come posso inserire un modello lineare in R? Ci sono documenti su questo tipo di modello?

17 r regression lasso ordinal-data predictor

3

Usare la regolarizzazione quando si fa inferenza statistica

Conosco i vantaggi della regolarizzazione quando si creano modelli predittivi (distorsione rispetto alla varianza, prevenendo un eccesso di adattamento). Ma mi chiedo se sia una buona idea fare anche regolarizzazione (lazo, cresta, rete elastica) quando lo scopo principale del modello di regressione è l'inferenza sui coefficienti (vedere quali predittori sono …

17 inference lasso ridge-regression elastic-net selectiveinference

3

Inferenza dopo aver usato Lazo per la selezione delle variabili

Sto usando Lazo per la selezione delle caratteristiche in un'impostazione dimensionale relativamente bassa (n >> p). Dopo aver montato un modello Lazo, voglio usare le covariate con coefficienti diversi da zero per adattarlo a un modello senza penalità. Lo sto facendo perché voglio stime imparziali che Lasso non può darmi. …

17 regression feature-selection lasso unbiased-estimator

2

Perché Lasso o ElasticNet funzionano meglio di Ridge quando le funzionalità sono correlate

Ho un set di 150 funzionalità e molte di esse sono altamente correlate tra loro. Il mio obiettivo è prevedere il valore di una variabile discreta, il cui intervallo è 1-8 . La mia dimensione del campione è 550 e sto usando una validazione incrociata di 10 volte . AFAIK, …

17 regression lasso regularization ridge-regression elastic-net

2

Perché la regressione della cresta non ridurrà alcuni coefficienti a zero come il lazo?

Quando si spiega la regressione di LASSO, viene spesso utilizzato il diagramma di un diamante e un cerchio. Si dice che, poiché la forma del vincolo in LASSO è un diamante, la soluzione dei minimi quadrati ottenuta potrebbe toccare l'angolo del diamante in modo tale da provocare una riduzione di …

16 regression lasso ridge-regression

1

Regressione ad alta dimensione: perché il

Sto cercando di approfondire la ricerca nell'area della regressione ad alta dimensione; quando ppp è maggiore di nnn , cioè, p>>np>>np >> n . Sembra che il termine logp/nlog⁡p/n\log p/n appaia spesso in termini di tasso di convergenza per gli stimatori della regressione. β^β^\hat{\beta}1n∥Xβ^−Xβ∥22=OP(σlogpn−−−−−√∥β∥1).1n‖Xβ^-Xβ‖22=OP(σlog⁡pn‖β‖1). \dfrac{1}{n}\|X\hat{\beta} - X \beta\|_2^2 = O_P …

16 regression lasso convergence high-dimensional

1

Perché il "lazo rilassato" è diverso dal lazo standard?

Se iniziamo con un set di dati , applichiamo Lasso ad esso e otteniamo una soluzione β L , possiamo applicare nuovamente Lasso al set di dati ( X S , Y ) , dove S è l'insieme diverso da zero indici di β L , per ottenere una soluzione, …

16 regression optimization lasso regularization shrinkage

1

Qual è l'intervallo tipico di possibili valori per il parametro di restringimento nella regressione penalizzata?

Nella regressione del lazo o della cresta, è necessario specificare un parametro di restringimento, spesso chiamato da o . Questo valore viene spesso scelto tramite validazione incrociata controllando un sacco di valori diversi sui dati di allenamento e vedendo quale produce il migliore, ad es. sui dati di test. Qual …

16 regression lasso regularization ridge-regression penalized

1

Necessità di centrare e standardizzare i dati in regressione

Prendi in considerazione la regressione lineare con una certa regolarizzazione: ad esempio Trova che minimizza| | A x - b | | 2 + λ | | x | | 1xxx||Ax−b||2+λ||x||1||Ax−b||2+λ||x||1||Ax - b||^2+\lambda||x||_1 Di solito, le colonne di A sono standardizzate per avere media zero e norma unitaria, mentre è …

16 regression lasso regularization standardization

2

Perché la perdita di norma L2 ha una soluzione unica e la perdita di norma L1 ha possibilmente soluzioni multiple?

http://www.chioka.in/differences-between-l1-and-l2-as-loss-function-and-regularization/ Se guardi all'inizio di questo post, lo scrittore menziona che la norma L2 ha una soluzione unica e che la norma L1 ha probabilmente molte soluzioni. Lo capisco in termini di regolarizzazione, ma non in termini di utilizzo della norma L1 o L2 nella funzione di perdita. Se guardi …

16 regression lasso regularization

1

Regolarizzazione per i modelli ARIMA

Sono a conoscenza del tipo di regolarizzazione LASSO, cresta e rete elastica nei modelli di regressione lineare. Domanda: Questo (o un simile) tipo di stima penalizzata può essere applicato alla modellazione ARIMA (con una parte MA non vuota)? Nella costruzione di modelli ARIMA, sembra consueto considerare un ordine di ritardo …

15 time-series arima lasso regularization ridge-regression

1

Regressione nell'impostazione

Sto cercando di vedere se scegliere regressione della cresta , LASSO , regressione del componente principale (PCR) o Minimi quadrati parziali (PLS) in una situazione in cui vi sono un gran numero di variabili / caratteristiche ( ) e un numero minore di campioni ( ) e il mio obiettivo …

15 regression pca lasso ridge-regression partial-least-squares

Domande taggate «lasso»