Errore quadratico medio e somma dei quadrati residua

31

Guardando le definizioni di Wikipedia di:

Errore al quadrato medio (MSE)
Somma dei quadrati residua (RSS)

Mi sembra quello

MSE = \frac{1}{N} RSS = \frac{1}{N} \sum (f_{i} - y_{i})^{2}

$\text{MSE} = \frac{1}{N} \text{RSS} = \frac{1}{N} \sum (f_i -y_i)^2$

dove $N$ è colui numero di campioni e $f_i$ è la nostra stima $y_i$ .

Tuttavia, nessuno degli articoli di Wikipedia menziona questa relazione. Perché? Mi sto perdendo qualcosa?

residuals mse

— Josh
fonte

6

So che sembra inutile e un po 'ostile, ma non lo menzionano perché è ovvio. Inoltre, vuoi stare un po 'attento, qui. Di solito, quando si incontra un MSE nell'effettivo lavoro empirico, non è

diviso per

ma

diviso per

dove

è il numero (compresa l'intercetta) delle variabili del lato destro in alcuni modelli di regressione .

R S S

$RSS$

N

$N$

R S S

$RSS$

N - K

$N-K$

K

$K$

— Bill

10

@Bill: Beh, è esattamente il tipo di relazione che in genere porta a collegare gli articoli su Wikipedia. Il tuo punto riguardo al grado di libertà mostra anche che non è così ovvio e sicuramente qualcosa che vale la pena menzionare.

— bluenote10,

2

@Bill: d'accordo, tuttavia l'ovvietà è molto soggettiva. L'area grigia delle statistiche / apprendimento automatico è disseminata di notazione infernale e quindi è bene essere espliciti.

— rimodella il

30

In realtà è menzionato nella sezione Regressione dell'errore quadrato medio in Wikipedia:

Nell'analisi di regressione, il termine errore quadratico medio è talvolta usato per riferirsi alla stima imparziale della varianza dell'errore: la somma residua dei quadrati divisa per il numero di gradi di libertà.

Puoi anche trovare alcune informazioni qui: Errori e residui nelle statistiche Dice che l'espressione significa errore al quadrato può avere significati diversi in diversi casi, il che a volte è complicato.

— whenov
fonte

4

Ma tieni presente che a volte Sum of Squared Erros (SSE) e Residue Sum of Squares (RSS) vengono usati in modo intercambiabile, confondendo così i lettori. Ad esempio, controlla questo URL: https://365datascience.com/sum-squares/ per ulteriori informazioni sulla regressione lineare.

A rigor di termini dal punto di vista statistico, Errori e Residui sono concetti completamente diversi. Gli errori si riferiscono principalmente alla differenza tra i valori campione osservati effettivi e i valori previsti e utilizzati principalmente nelle metriche statistiche come Errori quadrati di radice (RMSE) e Errori assoluti medi (MAE). Al contrario, i residui si riferiscono esclusivamente alle differenze tra variabili dipendenti e stime della regressione lineare.

— Dr.CYY
fonte

0

Non penso che questo sia corretto qui se consideriamo MSE come il sqaure di RMSE. Ad esempio, hai una serie di dati campionati su previsioni e osservazioni, ora provi a fare una regressione lineare: Osservazione (O) = a + b X Previsione (P). In questo caso, l'MSE è la somma della differenza quadrata tra O e P e divisa per la dimensione del campione N.

Ma se si desidera misurare il rendimento della regressione lineare, è necessario calcolare il residuo quadrato medio (MSR). Nello stesso caso, sarebbe innanzitutto il calcolo della somma dei quadrati residua (RSS) che corrisponde alla somma delle differenze al quadrato tra i valori di osservazione effettivi e le osservazioni previste derivate dalla regressione lineare, quindi viene seguito per RSS diviso da N-2 a ottenere MSR.

In poche parole, nell'esempio, MSE non può essere stimato utilizzando RSS / N poiché il componente RSS non è più lo stesso per il componente utilizzato per calcolare MSE.

— Dr.CYY
fonte

1

Non capisco questa risposta.

— Michael R. Chernick,

Guarda, in base all'esempio citato di previsione campionata e valori di dati osservati, viene stabilita la regressione lineare: Osservazione (O) = a + b Previsione X (P) (a, b sono rispettivamente intercetta e pendenza). In questo caso, MSE = Σ (OP) ^ 2 / n, dove Σ (OP) ^ 2 è la somma di Eros quadrati (SSE) e n è la dimensione del campione. Tuttavia, Residui quadrati quadrati (MSR) = Σ (OO´) ^ 2 / n-2, dove Σ (OO´) ^ 2 è uguale alla somma dei quadrati dei residui (RSS) e O` = a + b X P. MSR e Gli RSS sono usati principalmente per testare il significato complessivo della regressione lineare. Inoltre, SSE = Systematic Erros (SE) + RSS, dove SE = Σ (PO´) ^ 2

— Dr.CYY