Domande taggate «shrinkage»

Inclusione di ulteriori vincoli (in genere una penalità per la complessità) nel processo di adattamento del modello. Utilizzato per prevenire un eccesso di adattamento / migliorare la precisione predittiva.

5
Vista unificata sulla contrazione: qual è la relazione (se presente) tra il paradosso di Stein, la regressione della cresta e gli effetti casuali nei modelli misti?
Considera i seguenti tre fenomeni. Paradosso di Stein: dati alcuni dalla distribuzione normale multivariata in , la media campionaria non è un ottimo stimatore della media vera. Si può ottenere una stima con errore quadratico medio inferiore se si riducono tutte le coordinate della media campionaria verso zero [o verso …
5
Quale problema risolvono i metodi di contrazione?
Le festività natalizie mi hanno dato l'opportunità di rannicchiarsi vicino al fuoco con The Elements of Statistical Learning . Provenendo da una prospettiva econometrica (frequentista), ho difficoltà a cogliere gli usi dei metodi di contrazione come regressione della cresta, lazo e regressione dell'angolo minimo (LAR). In genere, sono interessato alle …
3
Perché la stima della cresta diventa migliore dell'OLS aggiungendo una costante alla diagonale?
Comprendo che la stima della regressione della cresta è il ββ\beta che minimizza la somma residua del quadrato e una penalità sulla dimensione di ββ\beta βridge=(λID+X′X)−1X′y=argmin[RSS+λ∥β∥22]βridge=(λID+X′X)−1X′y=argmin⁡[RSS+λ‖β‖22]\beta_\mathrm{ridge} = (\lambda I_D + X'X)^{-1}X'y = \operatorname{argmin}\big[ \text{RSS} + \lambda \|\beta\|^2_2\big] Tuttavia, non capisco appieno il significato del fatto che differisce da aggiungendo solo …
2
Perché funziona il restringimento?
Al fine di risolvere i problemi di selezione del modello, una serie di metodi (LASSO, regressione della cresta, ecc.) Ridurrà i coefficienti delle variabili predittive verso lo zero. Sto cercando una spiegazione intuitiva del perché questo migliora l'abilità predittiva. Se il vero effetto della variabile era in realtà molto grande, …
6
La regressione della cresta è inutile in dimensioni elevate (
Considera un buon vecchio problema di regressione con predittori e dimensione del campione . La solita saggezza è che lo stimatore OLS si sovraccaricherà e sarà generalmente sovraperformato dallo stimatore della regressione della cresta:È standard utilizzare la convalida incrociata per trovare un parametro di regolarizzazione ottimale . Qui uso un …
2
La standardizzazione prima di Lasso è davvero necessaria?
Ho letto tre motivi principali per standardizzare le variabili prima di qualcosa come la Lassoregressione: 1) Interpretazione dei coefficienti. 2) Capacità di classificare l'importanza del coefficiente in base all'entità relativa delle stime del coefficiente post-restringimento. 3) Non è necessario intercettare. Ma mi chiedo il punto più importante. Abbiamo motivo di …
3
LASSO con termini di interazione: va bene se gli effetti principali sono ridotti a zero?
La regressione di LASSO riduce i coefficienti verso zero, fornendo così un'efficace selezione del modello. Credo che nei miei dati vi siano interazioni significative tra covariate nominali e continue. Non necessariamente, tuttavia, gli "effetti principali" del modello reale sono significativi (diversi da zero). Ovviamente non lo so poiché il vero …
4
Quali sono i valori corretti per precisione e richiamo nei casi limite?
La precisione è definita come: p = true positives / (true positives + false positives) È corretto che, come true positivese false positivesavvicinarsi a 0, la precisione si avvicina a 1? Stessa domanda da ricordare: r = true positives / (true positives + false negatives) Attualmente sto implementando un test …
20 precision-recall  data-visualization  logarithm  references  r  networks  data-visualization  standard-deviation  probability  binomial  negative-binomial  r  categorical-data  aggregation  plyr  survival  python  regression  r  t-test  bayesian  logistic  data-transformation  confidence-interval  t-test  interpretation  distributions  data-visualization  pca  genetics  r  finance  maximum  probability  standard-deviation  probability  r  information-theory  references  computational-statistics  computing  references  engineering-statistics  t-test  hypothesis-testing  independence  definition  r  censoring  negative-binomial  poisson-distribution  variance  mixed-model  correlation  intraclass-correlation  aggregation  interpretation  effect-size  hypothesis-testing  goodness-of-fit  normality-assumption  small-sample  distributions  regression  normality-assumption  t-test  anova  confidence-interval  z-statistic  finance  hypothesis-testing  mean  model-selection  information-geometry  bayesian  frequentist  terminology  type-i-and-ii-errors  cross-validation  smoothing  splines  data-transformation  normality-assumption  variance-stabilizing  r  spss  stata  python  correlation  logistic  logit  link-function  regression  predictor  pca  factor-analysis  r  bayesian  maximum-likelihood  mcmc  conditional-probability  statistical-significance  chi-squared  proportion  estimation  error  shrinkage  application  steins-phenomenon 
2
Stimatore di James-Stein: In che modo Efron e Morris hanno calcolato nel fattore di restringimento per il loro esempio di baseball?
Ho una domanda sul calcolo del fattore di restringimento di James-Stein nel documento scientifico americano del 1977 di Bradley Efron e Carl Morris, "Stein's Paradox in Statistics" . Ho raccolto i dati per i giocatori di baseball e sono riportati di seguito: Name, avg45, avgSeason Clemente, 0.400, 0.346 Robinson, 0.378, …
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.