Domande taggate «regularization»

Sono solo curioso di sapere perché di solito ci sono solo regolarizzazioni delle norme e . Ci sono prove del perché sono migliori?L1L1L_1L2L2L_2

36 lasso  regularization  ridge-regression 

Sto cercando di adattare un modello di regressione lineare multivariata con circa 60 variabili predittive e 30 osservazioni, quindi sto usando il pacchetto glmnet per la regressione regolarizzata perché p> n. Ho esaminato la documentazione e altre domande ma non riesco ancora a interpretare i risultati, ecco un codice di …

36 r  regression  regularization  glmnet 

La regolarizzazione della rete elastica è sempre preferita a Lasso & Ridge poiché sembra risolvere gli svantaggi di questi metodi? Qual è l'intuizione e qual è la matematica dietro la rete elastica?

35 regression  lasso  regularization  ridge-regression  elastic-net 

Immagino che maggiore è un coefficiente su una variabile, maggiore è la capacità del modello di "oscillare" in quella dimensione, offrendo una maggiore opportunità di adattamento al rumore. Anche se penso di avere un ragionevole senso della relazione tra la varianza nel modello e i coefficienti elevati, non ho la …

33 regression  variance  linear-model  bias  regularization 

Sono un ingegnere informatico che impara l'apprendimento automatico, in particolare attraverso i corsi di apprendimento automatico di Andrew Ng . Mentre studiavo la regressione lineare con la regolarizzazione , ho trovato termini che confondono: Regressione con regolarizzazione L1 o regolarizzazione L2 LASSO Regressione della cresta Quindi le mie domande: La …

33 regression  terminology  lasso  regularization  ridge-regression 

La regolarizzazione di Tikhonov e la regressione della cresta sono termini spesso usati come se fossero identici. È possibile specificare esattamente qual è la differenza?

33 regression  terminology  regularization  ridge-regression  tikhonov-regularization 

Come si confrontano i metodi di regolarizzazione di ridge, LASSO ed elasticnet? Quali sono i loro rispettivi vantaggi e svantaggi? Sarebbe anche apprezzato qualsiasi buon documento tecnico o appunti di lezione.

33 references  lasso  regularization  ridge-regression  elastic-net 

Qualcuno può raccomandare una buona esposizione della teoria alla base della regressione dei minimi quadrati parziali (disponibile online) per qualcuno che capisce SVD e PCA? Ho esaminato molte fonti online e non ho trovato nulla che avesse la giusta combinazione di rigore e accessibilità. Ho esaminato The Elements of Statistical …

33 regression  references  regularization  svd  partial-least-squares 

Quando si esegue la regressione, ad esempio, due iper parametri da scegliere sono spesso la capacità della funzione (ad es. Il più grande esponente di un polinomio) e la quantità di regolarizzazione. Ciò di cui sono confuso, è perché non scegliere semplicemente una funzione a bassa capacità e quindi ignorare …

32 regression  machine-learning  optimization  regularization  polynomial 

Nota: so che L1 ha proprietà di selezione delle caratteristiche. Sto cercando di capire quale scegliere quando la selezione delle funzionalità è completamente irrilevante. Come decidere quale regolarizzazione (L1 o L2) usare? Quali sono i pro e i contro di ciascuna delle regolarizzazioni L1 / L2? Si consiglia di fare …

30 regression  lasso  regularization  ridge-regression 

Vorrei usare GLM e Elastic Net per selezionare quelle caratteristiche rilevanti + costruire un modello di regressione lineare (cioè sia la previsione che la comprensione, quindi sarebbe meglio rimanere con relativamente pochi parametri). L'output è continuo. Sono geni per casi. Ho letto del pacchetto, ma non sono sicuro al 100% …

29 r  regularization  glmnet  elastic-net  underdetermined 

Uso la funzione auto.arima () nel pacchetto di previsione per adattarsi ai modelli ARMAX con una varietà di covariate. Tuttavia, ho spesso un gran numero di variabili tra cui scegliere e di solito finisco con un modello finale che funziona con un sottoinsieme di esse. Non mi piacciono le tecniche …

29 r  time-series  lasso  regularization  elastic-net 

βlasso=argminβ∥y−Xβ∥22+α∥β∥1βlasso=argminβ⁡‖y−Xβ‖22+α‖β‖1\beta^{\text{lasso}}= \operatorname*{argmin}_\beta \| y-X\beta\|^2_2 + \alpha \| \beta\|_1βlassoj=sgn(βLSj)(|βLSj|−α)+βjlasso=sgn(βjLS)(|βjLS|−α)+ \beta_j^{\text{lasso}}= \mathrm{sgn}(\beta^{\text{LS}}_j)(|\beta_j^{\text{LS}}|-\alpha)^+ XXX Tuttavia non capisco perché non esiste una soluzione a forma chiusa in generale. Usando le sottodifferenziali ho ottenuto quanto segue. ( XXX è una matrice n×pn×pn \times p ) f(β)=∥y−Xβ∥22+α∥β∥1f(β)=‖y−Xβ‖22+α‖β‖1f(\beta)=\|{y-X\beta}\|_2^2 + \alpha\|{\beta}\|_1 =∑i=1n(yi−Xiβ)2+α∑j=1p|βj|=∑i=1n(yi−Xiβ)2+α∑j=1p|βj| =\sum_{i=1}^n (y_i-X_i\beta)^2 + \alpha \sum_{j=1}^p |\beta_j| …

28 regression  lasso  regularization 

Ho letto tre motivi principali per standardizzare le variabili prima di qualcosa come la Lassoregressione: 1) Interpretazione dei coefficienti. 2) Capacità di classificare l'importanza del coefficiente in base all'entità relativa delle stime del coefficiente post-restringimento. 3) Non è necessario intercettare. Ma mi chiedo il punto più importante. Abbiamo motivo di …

28 normalization  lasso  standardization  regularization  shrinkage 

Quando uso GAM, mi dà DF residuo è (ultima riga nel codice). Cosa significa? Andando oltre l'esempio GAM, in generale, il numero di gradi di libertà può essere un numero non intero?26.626.626.6 > library(gam) > summary(gam(mpg~lo(wt),data=mtcars)) Call: gam(formula = mpg ~ lo(wt), data = mtcars) Deviance Residuals: Min 1Q Median …

27 r  degrees-of-freedom  gam  machine-learning  pca  lasso  probability  self-study  bootstrap  expected-value  regression  machine-learning  linear-model  probability  simulation  random-generation  machine-learning  distributions  svm  libsvm  classification  pca  multivariate-analysis  feature-selection  archaeology  r  regression  dataset  simulation  r  regression  time-series  forecasting  predictive-models  r  mean  sem  lavaan  machine-learning  regularization  regression  conv-neural-network  convolution  classification  deep-learning  conv-neural-network  regression  categorical-data  econometrics  r  confirmatory-factor  scale-invariance  self-study  unbiased-estimator  mse  regression  residuals  sampling  random-variable  sample  probability  random-variable  convergence  r  survival  weibull  references  autocorrelation  hypothesis-testing  distributions  correlation  regression  statistical-significance  regression-coefficients  univariate  categorical-data  chi-squared  regression  machine-learning  multiple-regression  categorical-data  linear-model  pca  factor-analysis  factor-rotation  classification  scikit-learn  logistic  p-value  regression  panel-data  multilevel-analysis  variance  bootstrap  bias  probability  r  distributions  interquartile  time-series  hypothesis-testing  normal-distribution  normality-assumption  kurtosis  arima  panel-data  stata  clustered-standard-errors  machine-learning  optimization  lasso  multivariate-analysis  ancova  machine-learning  cross-validation