Errore quadratico medio e somma dei quadrati residua


31

Guardando le definizioni di Wikipedia di:

Mi sembra quello

MSE=1NRSS=1N(fiyi)2

dove N è colui numero di campioni e fi è la nostra stima yi .

Tuttavia, nessuno degli articoli di Wikipedia menziona questa relazione. Perché? Mi sto perdendo qualcosa?


6
So che sembra inutile e un po 'ostile, ma non lo menzionano perché è ovvio. Inoltre, vuoi stare un po 'attento, qui. Di solito, quando si incontra un MSE nell'effettivo lavoro empirico, non è diviso per N ma R S S diviso per N - K dove K è il numero (compresa l'intercetta) delle variabili del lato destro in alcuni modelli di regressione . RSSNRSSNKK
Bill

10
@Bill: Beh, è ​​esattamente il tipo di relazione che in genere porta a collegare gli articoli su Wikipedia. Il tuo punto riguardo al grado di libertà mostra anche che non è così ovvio e sicuramente qualcosa che vale la pena menzionare.
bluenote10,

2
@Bill: d'accordo, tuttavia l'ovvietà è molto soggettiva. L'area grigia delle statistiche / apprendimento automatico è disseminata di notazione infernale e quindi è bene essere espliciti.
rimodella il

Risposte:


30

In realtà è menzionato nella sezione Regressione dell'errore quadrato medio in Wikipedia:

Nell'analisi di regressione, il termine errore quadratico medio è talvolta usato per riferirsi alla stima imparziale della varianza dell'errore: la somma residua dei quadrati divisa per il numero di gradi di libertà.

Puoi anche trovare alcune informazioni qui: Errori e residui nelle statistiche Dice che l'espressione significa errore al quadrato può avere significati diversi in diversi casi, il che a volte è complicato.


4

Ma tieni presente che a volte Sum of Squared Erros (SSE) e Residue Sum of Squares (RSS) vengono usati in modo intercambiabile, confondendo così i lettori. Ad esempio, controlla questo URL: https://365datascience.com/sum-squares/ per ulteriori informazioni sulla regressione lineare.

A rigor di termini dal punto di vista statistico, Errori e Residui sono concetti completamente diversi. Gli errori si riferiscono principalmente alla differenza tra i valori campione osservati effettivi e i valori previsti e utilizzati principalmente nelle metriche statistiche come Errori quadrati di radice (RMSE) e Errori assoluti medi (MAE). Al contrario, i residui si riferiscono esclusivamente alle differenze tra variabili dipendenti e stime della regressione lineare.


0

Non penso che questo sia corretto qui se consideriamo MSE come il sqaure di RMSE. Ad esempio, hai una serie di dati campionati su previsioni e osservazioni, ora provi a fare una regressione lineare: Osservazione (O) = a + b X Previsione (P). In questo caso, l'MSE è la somma della differenza quadrata tra O e P e divisa per la dimensione del campione N.

Ma se si desidera misurare il rendimento della regressione lineare, è necessario calcolare il residuo quadrato medio (MSR). Nello stesso caso, sarebbe innanzitutto il calcolo della somma dei quadrati residua (RSS) che corrisponde alla somma delle differenze al quadrato tra i valori di osservazione effettivi e le osservazioni previste derivate dalla regressione lineare, quindi viene seguito per RSS diviso da N-2 a ottenere MSR.

In poche parole, nell'esempio, MSE non può essere stimato utilizzando RSS / N poiché il componente RSS non è più lo stesso per il componente utilizzato per calcolare MSE.


1
Non capisco questa risposta.
Michael R. Chernick,

Guarda, in base all'esempio citato di previsione campionata e valori di dati osservati, viene stabilita la regressione lineare: Osservazione (O) = a + b Previsione X (P) (a, b sono rispettivamente intercetta e pendenza). In questo caso, MSE = Σ (OP) ^ 2 / n, dove Σ (OP) ^ 2 è la somma di Eros quadrati (SSE) e n è la dimensione del campione. Tuttavia, Residui quadrati quadrati (MSR) = Σ (OO´) ^ 2 / n-2, dove Σ (OO´) ^ 2 è uguale alla somma dei quadrati dei residui (RSS) e O` = a + b X P. MSR e Gli RSS sono usati principalmente per testare il significato complessivo della regressione lineare. Inoltre, SSE = Systematic Erros (SE) + RSS, dove SE = Σ (PO´) ^ 2
Dr.CYY
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.