Domande taggate «least-squares»

Si riferisce a una tecnica di stima generale che seleziona il valore del parametro per ridurre al minimo la differenza quadrata tra due quantità, come il valore osservato di una variabile e il valore atteso di tale osservazione condizionato dal valore del parametro. I modelli lineari gaussiani sono adattati da minimi quadrati e minimi quadrati è l'idea alla base dell'uso dell'errore quadratico medio (MSE) come modo di valutare uno stimatore.

3
Perché la stima della cresta diventa migliore dell'OLS aggiungendo una costante alla diagonale?
Comprendo che la stima della regressione della cresta è il ββ\beta che minimizza la somma residua del quadrato e una penalità sulla dimensione di ββ\beta βridge=(λID+X′X)−1X′y=argmin[RSS+λ∥β∥22]βridge=(λID+X′X)−1X′y=argmin⁡[RSS+λ‖β‖22]\beta_\mathrm{ridge} = (\lambda I_D + X'X)^{-1}X'y = \operatorname{argmin}\big[ \text{RSS} + \lambda \|\beta\|^2_2\big] Tuttavia, non capisco appieno il significato del fatto che differisce da aggiungendo solo …
3
Media errore assoluto O radice quadrata media errore?
Perché usare il Root Mean Squared Error (RMSE) invece del Mean Absolute Error (MAE) ?? Ciao Ho studiato l'errore generato in un calcolo: inizialmente ho calcolato l'errore come errore al quadrato normalizzato della radice. Guardando un po 'più da vicino, vedo gli effetti della quadratura dell'errore che dà più peso …
59 least-squares  mean  rms  mae 
3
Da dove viene l'idea sbagliata secondo cui Y deve essere normalmente distribuito?
Fonti apparentemente affidabili sostengono che la variabile dipendente deve essere normalmente distribuita: Ipotesi del modello: YYY è normalmente distribuito, gli errori sono normalmente distribuiti, eio∼ N( 0 , σ2)ei∼N(0,σ2)e_i \sim N(0,\sigma^2) e indipendente, e XXX è fisso e varianza costante σ2σ2\sigma^2 . Penn State, STAT 504 Analisi di dati discreti …
5
Come derivare la soluzione di regressione della cresta?
Sto riscontrando alcuni problemi con la derivazione della soluzione per la regressione della cresta. Conosco la soluzione di regressione senza il termine di regolarizzazione: β= ( XTX)- 1XTy.β=(XTX)−1XTy.\beta = (X^TX)^{-1}X^Ty. Ma dopo aver aggiunto il termine L2 alla funzione di costo, come mai la soluzione diventaλ ∥ β∥22λ‖β‖22\lambda\|\beta\|_2^2 β= ( …
5
La minimizzazione dell'errore al quadrato equivale alla minimizzazione dell'errore assoluto? Perché l'errore al quadrato è più popolare di quest'ultimo?
Quando eseguiamo la regressione lineare per adattare un gruppo di punti dati , l'approccio classico minimizza l'errore al quadrato. Sono stato a lungo perplesso da una domanda che minimizzando l'errore al quadrato produrrà lo stesso risultato di minimizzare l'errore assoluto ? In caso contrario, perché è meglio ridurre al minimo …
8
È valido includere una misura di base come variabile di controllo quando si verifica l'effetto di una variabile indipendente sui punteggi delle modifiche?
Sto tentando di eseguire una regressione OLS: DV: variazione di peso nell'arco di un anno (peso iniziale - peso finale) IV: se ti alleni o meno. Tuttavia, sembra ragionevole che le persone più pesanti perderanno più peso per unità di esercizio rispetto alle persone più magre. Pertanto, volevo includere una …
1
Prova che i coefficienti in un modello OLS seguono una distribuzione t con gradi di libertà (nk)
sfondo Supponiamo di avere un modello dei minimi quadrati ordinari in cui abbiamo coefficienti nel nostro modello di regressione, kkky=Xβ+ϵy=Xβ+ϵ\mathbf{y}=\mathbf{X}\mathbf{\beta} + \mathbf{\epsilon} dove è un vettore di coefficienti , è la matrice di progettazione definita daββ\mathbf{\beta}(k×1)(k×1)(k\times1)XX\mathbf{X} X=⎛⎝⎜⎜⎜⎜⎜⎜11⋮1x11x21xn1x12…⋱………x1(k−1)⋮⋮xn(k−1)⎞⎠⎟⎟⎟⎟⎟⎟X=(1x11x12…x1(k−1)1x21…⋮⋮⋱⋮1xn1……xn(k−1))\mathbf{X} = \begin{pmatrix} 1 & x_{11} & x_{12} & \dots & x_{1\;(k-1)} \\ 1 …
1
Ripetibilità informatica degli effetti da un modello più leggero
Mi sono appena imbattuto in questo documento , che descrive come calcolare la ripetibilità ( nota anche come affidabilità, nota anche come correlazione intraclasse) di una misurazione tramite la modellazione di effetti misti. Il codice R sarebbe: #fit the model fit = lmer(dv~(1|unit),data=my_data) #obtain the variance estimates vc = VarCorr(fit) …
28 mixed-model  reliability  intraclass-correlation  repeatability  spss  factor-analysis  survey  modeling  cross-validation  error  curve-fitting  mediation  correlation  clustering  sampling  machine-learning  probability  classification  metric  r  project-management  optimization  svm  python  dataset  quality-control  checking  clustering  distributions  anova  factor-analysis  exponential  poisson-distribution  generalized-linear-model  deviance  machine-learning  k-nearest-neighbour  r  hypothesis-testing  t-test  r  variance  levenes-test  bayesian  software  bayesian-network  regression  repeated-measures  least-squares  change-scores  variance  chi-squared  variance  nonlinear-regression  regression-coefficients  multiple-comparisons  p-value  r  statistical-significance  excel  sampling  sample  r  distributions  interpretation  goodness-of-fit  normality-assumption  probability  self-study  distributions  references  theory  time-series  clustering  econometrics  binomial  hypothesis-testing  variance  t-test  paired-comparisons  statistical-significance  ab-test  r  references  hypothesis-testing  t-test  normality-assumption  wilcoxon-mann-whitney  central-limit-theorem  t-test  data-visualization  interactive-visualization  goodness-of-fit 
2
Perché RSS distribuito chi square times np?
Vorrei capire perché, sotto il modello OLS, l'RSS (somma residua dei quadrati) è distribuito ( è il numero di parametri nel modello, il numero di osservazioni).p nχ2⋅(n−p)χ2⋅(n−p)\chi^2\cdot (n-p)pppnnn Mi scuso per aver posto una domanda così basilare, ma sembra che non riesca a trovare la risposta online (o nei miei …
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.