Domande taggate «regularization»

Prendi in considerazione la regressione lineare con una certa regolarizzazione: ad esempio Trova che minimizza| | A x - b | | 2 + λ | | x | | 1xxx||Ax−b||2+λ||x||1||Ax−b||2+λ||x||1||Ax - b||^2+\lambda||x||_1 Di solito, le colonne di A sono standardizzate per avere media zero e norma unitaria, mentre è …

16 regression  lasso  regularization  standardization 

http://www.chioka.in/differences-between-l1-and-l2-as-loss-function-and-regularization/ Se guardi all'inizio di questo post, lo scrittore menziona che la norma L2 ha una soluzione unica e che la norma L1 ha probabilmente molte soluzioni. Lo capisco in termini di regolarizzazione, ma non in termini di utilizzo della norma L1 o L2 nella funzione di perdita. Se guardi …

16 regression  lasso  regularization 

C'è già un post su questo sito che parla dello stesso problema: perché il restringimento funziona? Ma, anche se le risposte sono popolari, non credo che l'essenza della domanda sia davvero indirizzata. È abbastanza chiaro che l'introduzione di una distorsione nella stima comporta una riduzione della varianza e può migliorare …

15 regularization  ridge-regression  shrinkage 

Sono a conoscenza del tipo di regolarizzazione LASSO, cresta e rete elastica nei modelli di regressione lineare. Domanda: Questo (o un simile) tipo di stima penalizzata può essere applicato alla modellazione ARIMA (con una parte MA non vuota)? Nella costruzione di modelli ARIMA, sembra consueto considerare un ordine di ritardo …

15 time-series  arima  lasso  regularization  ridge-regression 

Ho letto i libri più popolari nell'apprendimento statistico 1- Gli elementi dell'apprendimento statistico. 2- Un'introduzione all'apprendimento statistico . Entrambi menzionano che la regressione della cresta ha due formule equivalenti. Esiste una comprensibile prova matematica di questo risultato? Ho anche esaminato Cross Validated , ma non riesco a trovare una prova …

15 regression  lasso  regularization  ridge-regression  lagrange-multipliers 

Diciamo che ho un classificatore di regressione logistica. Nell'apprendimento in batch normale, avrei un termine di regolarizzazione per prevenire un eccesso di adattamento e mantenere i miei pesi piccoli. Inoltre normalizzerei e ridimensionerei le mie funzionalità. In un ambiente di apprendimento online, sto ottenendo un flusso continuo di dati. Faccio …

15 machine-learning  normalization  regularization  online 

Sto analizzando un set di dati usando un modello di effetti misti con un effetto fisso (condizione) e due effetti casuali (partecipante a causa del disegno e della coppia all'interno del soggetto). Il modello è stato generato conlme4 pacchetto: exp.model<-lmer(outcome~condition+(1|participant)+(1|pair),data=exp). Successivamente, ho eseguito un test del rapporto di verosimiglianza di …

15 r  repeated-measures  multiple-comparisons  post-hoc  lsmeans  bayesian  posterior  marginal  integral  anova  time-series  regularization  machine-learning  pca  computational-statistics  references  inference  regression  cross-validation  python  random-forest  chi-squared  spearman-rho  r  machine-learning  confidence-interval  bagging  clustering  feature-selection  model-selection  bic  hypothesis-testing  kurtosis  r  regression  residuals  terminology 

Definisci la stima del lazo dove i ^ {th} riga x_i \ in \ mathbb {R} ^ p della matrice di progettazione X \ in \ mathbb {R} ^ {n \ times p} è un vettore di covariate per spiegare la risposta stocastica y_i (per i = 1, \ punti …

14 lasso  regularization 

Nella regressione della cresta, la funzione obiettivo da minimizzare è:RSS+λ∑β2j.RSS+λ∑βj2.\text{RSS}+\lambda \sum\beta_j^2. Questo può essere ottimizzato usando il metodo del moltiplicatore di Lagrange? O è una differenziazione diretta?

14 regression  regularization  ridge-regression 

Una norma L1L1L_1 è unica (almeno in parte) perché p=1p=1p=1 è al confine tra non convesso e convesso. Una norma L1L1L_1 è la norma convessa "più scarsa" (giusto?). Capisco che la norma euclidea ha radici nella geometria e ha una chiara interpretazione quando le dimensioni hanno le stesse unità. Ma …

13 regression  regularization  sparse 

\newcommand{\diag}{\operatorname{diag}} Abbiamo il problema: minw∈Rd(1n∑i=1n(⟨w,xi⟩−yi)2+2λ||w||1),minw∈Rd(1n∑i=1n(⟨w,xi⟩−yi)2+2λ||w||1),\min_{w\in\mathbb{R}^{d}}\left( \frac{1}{n}\sum_{i=1}^{n} \left( \langle w,x_{i}\rangle-y_{i} \right)^{2} +2\lambda||w||_1\right), presupponendo che: ∑i=1nxixTi=diag(σ21,...,σ2d).∑i=1nxixiT=diag⁡(σ12,...,σd2).\sum_{i=1}^nx_ix_i^T=\diag(\sigma_1^2,...,\sigma_d^2). Esiste una soluzione a forma chiusa in questo caso? Ho questo: (XTX)−1=diag(σ−21,...,σ−2d),(XTX)−1=diag⁡(σ1−2,...,σd−2),(X^TX)^{-1}=\diag\left(\sigma_1^{-2},...,\sigma_d^{-2}\right), e quindi penso che la risposta sia : wj=yjmax{0,1−λn|yj|},wj=yjmax{0,1−λn|yj|},w\,^j=y\,^j\max\left\{0,1-\lambda \frac{n}{|y^j|}\right\}, per yj=∑i=1nyixijσ2iyj=∑i=1nyixijσi2y\,^j=\displaystyle\sum_{i=1}^n\frac{y_ix_i\,^j}{\sigma_i^2} , ma non ne sono sicuro.

13 mathematical-statistics  lasso  computational-statistics  regularization 

Sto modellando 15000 tweet per la previsione del sentimento usando un LSTM a singolo strato con 128 unità nascoste usando una rappresentazione simile a word2vec con 80 dimensioni. Ottengo una precisione di discesa (38% con casuale = 20%) dopo 1 epoca. Un ulteriore addestramento fa declinare l'accuratezza della convalida man …

13 deep-learning  regularization  overfitting  lstm 

Nella sezione 3.2 di Bishop's Pattern Recognition and Machine Learning , discute della decomposizione di bias-varianza, affermando che per una funzione di perdita quadrata, la perdita attesa può essere scomposta in un termine di bias quadrato (che descrive quanto le previsioni medie sono lontane dal vero modello), un termine di …

13 self-study  variance  bias  regularization  loss-functions 

Esistono diversi documenti matematici che descrivono il lazo bayesiano, ma voglio un codice JAGS testato e corretto che posso usare. Qualcuno potrebbe pubblicare un codice BUGS / JAGS di esempio che implementa la regressione logistica regolarizzata? Qualsiasi schema (L1, L2, Elasticnet) sarebbe fantastico, ma è preferito Lasso. Mi chiedo anche …

13 bayesian  logistic  lasso  jags  regularization 

Vorrei ottenere i coefficienti per il problema LASSO ||Y−Xβ||+λ||β||1.||Y−Xβ||+λ||β||1.||Y-X\beta||+\lambda ||\beta||_1. Il problema è che le funzioni glmnet e lars danno risposte diverse. Per la funzione glmnet chiedo i coefficienti di λ/||Y||λ/||Y||\lambda/||Y||invece di solo λλ\lambda , ma ho ancora risposte diverse. È previsto? Qual è la relazione tra lars e glmnet …

13 r  machine-learning  regression  lasso  regularization