R - Confuso sulla terminologia residua

• Errore quadratico medio radice
• somma residua di quadrati
• errore standard residuo
• errore quadratico medio
• errore di prova

Pensavo di capire questi termini, ma più faccio problemi statistici, più mi sono confuso dove secondo me stesso. Vorrei una rassicurazione e un esempio concreto

Riesco a trovare le equazioni abbastanza facilmente online, ma ho difficoltà a ottenere una spiegazione "spiegare come sono 5" di questi termini in modo da poter cristallizzare nella mia testa le differenze e come una porta all'altra.

Se qualcuno può prendere questo codice qui sotto e indicare come calcolerei ciascuno di questi termini, lo apprezzerei. Il codice R sarebbe fantastico ..

Utilizzando questo esempio di seguito:

summary(lm(mpg~hp, data=mtcars))

Mostrami nel codice R come trovare:

rmse = ____
rss = ____
residual_standard_error = ______  # i know its there but need understanding
mean_squared_error = _______
test_error = ________

Punti bonus per spiegare come se avessi 5 differenze / somiglianze tra questi. esempio:

rmse = squareroot(mss)

Come richiesto, illustrerò usando una semplice regressione usando i mtcarsdati:

fit <- lm(mpg~hp, data=mtcars)
summary(fit)

Call:
lm(formula = mpg ~ hp, data = mtcars)

Residuals:
    Min      1Q  Median      3Q     Max 
-5.7121 -2.1122 -0.8854  1.5819  8.2360 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept) 30.09886    1.63392  18.421  < 2e-16 ***
hp          -0.06823    0.01012  -6.742 1.79e-07 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 3.863 on 30 degrees of freedom
Multiple R-squared:  0.6024,    Adjusted R-squared:  0.5892 
F-statistic: 45.46 on 1 and 30 DF,  p-value: 1.788e-07

L' errore quadratico medio (MSE) è la media del quadrato dei residui:

# Mean squared error
mse <- mean(residuals(fit)^2)
mse
[1] 13.98982

L'errore quadratico medio (RMSE) è quindi la radice quadrata di MSE:

# Root mean squared error
rmse <- sqrt(mse)
rmse
[1] 3.740297

La somma residua dei quadrati (RSS) è la somma dei residui quadrati:

# Residual sum of squares
rss <- sum(residuals(fit)^2)
rss
[1] 447.6743

L'errore standard residuo (RSE) è la radice quadrata di (RSS / gradi di libertà):

# Residual standard error
rse <- sqrt( sum(residuals(fit)^2) / fit$df.residual ) 
rse
[1] 3.862962

Lo stesso calcolo, semplificato perché abbiamo precedentemente calcolato rss:

sqrt(rss / fit$df.residual)
[1] 3.862962

Il termine errore di prova nel contesto della regressione (e altre tecniche di analisi predittiva) di solito si riferisce al calcolo di una statistica di prova sui dati di prova, distinta dai dati di allenamento.

In altre parole, si stima un modello utilizzando una parte dei dati (spesso un campione dell'80%) e quindi calcolando l'errore utilizzando il campione di controllo. Ancora una volta, illustrerò l'utilizzo mtcars, questa volta con un campione dell'80%

set.seed(42)
train <- sample.int(nrow(mtcars), 26)
train
 [1] 30 32  9 25 18 15 20  4 16 17 11 24 19  5 31 21 23  2  7  8 22 27 10 28  1 29

Stimare il modello, quindi prevedere con i dati di controllo:

fit <- lm(mpg~hp, data=mtcars[train, ])
pred <- predict(fit, newdata=mtcars[-train, ])
pred
 Datsun 710     Valiant  Merc 450SE  Merc 450SL Merc 450SLC   Fiat X1-9 
   24.08103    23.26331    18.15257    18.15257    18.15257    25.92090 

Combina i dati originali e la previsione in un frame di dati

test <- data.frame(actual=mtcars$mpg[-train], pred)
    test$error <- with(test, pred-actual)
test
            actual     pred      error
Datsun 710    22.8 24.08103  1.2810309
Valiant       18.1 23.26331  5.1633124
Merc 450SE    16.4 18.15257  1.7525717
Merc 450SL    17.3 18.15257  0.8525717
Merc 450SLC   15.2 18.15257  2.9525717
Fiat X1-9     27.3 25.92090 -1.3791024

Ora calcola le statistiche dei test in modo normale. Illustro MSE e RMSE:

test.mse <- with(test, mean(error^2))
test.mse
[1] 7.119804

test.rmse <- sqrt(test.mse)
test.rmse
[1] 2.668296

Si noti che questa risposta ignora la ponderazione delle osservazioni.

Il poster originale chiedeva una risposta "spiega come se fossi 5". Diciamo che il tuo insegnante di scuola invita te e i tuoi compagni di scuola a indovinare la larghezza del tavolo dell'insegnante. Ciascuno dei 20 studenti in classe può scegliere un dispositivo (righello, scala, nastro o metro) e può misurare la tabella 10 volte. A tutti viene chiesto di utilizzare posizioni di partenza diverse sul dispositivo per evitare di leggere più volte lo stesso numero; la lettura iniziale deve quindi essere sottratta dalla lettura finale per ottenere finalmente una misurazione della larghezza (di recente hai imparato a fare quel tipo di matematica).

La classe ha preso in totale 200 misurazioni della larghezza (20 studenti, 10 misurazioni ciascuna). Le osservazioni vengono consegnate all'insegnante che scricchiolerà i numeri. Sottrarre le osservazioni di ogni studente da un valore di riferimento comporterà altri 200 numeri, chiamati deviazioni . L'insegnante calcola in media il campione di ogni studente separatamente, ottenendo 20 mezzi . Sottrarre le osservazioni di ogni studente dalla propria media individuale comporterà 200 deviazioni dalla media, chiamate residui . Se il residuo medio dovesse essere calcolato per ogni campione, noteresti che è sempre zero. Se invece quadriamo ogni residuo, li mediamo e infine annulliamo il quadrato, otteniamo la deviazione standard. (A proposito, chiamiamo quell'ultimo calcolo bit la radice quadrata (pensate di trovare la base o il lato di un dato quadrato), quindi l'intera operazione è spesso chiamata radice-media-quadrato , in breve; la deviazione standard delle osservazioni è uguale il quadrato radice-medio dei residui.)

Ma l'insegnante conosceva già la vera larghezza del tavolo, in base a come è stato progettato, costruito e verificato in fabbrica. Quindi altri 200 numeri, chiamati errori , possono essere calcolati come la deviazione delle osservazioni rispetto alla larghezza reale. È possibile calcolare un errore medio per ciascun campione di studente. Allo stesso modo, è possibile calcolare 20 deviazioni standard dell'errore o errore standard per le osservazioni. Altro 20 errore root-mean-squarei valori possono anche essere calcolati. I tre insiemi di 20 valori sono correlati come sqrt (me ^ 2 + se ^ 2) = rmse, in ordine di apparizione. Sulla base di rmse, l'insegnante può giudicare il cui studente ha fornito la migliore stima per la larghezza della tabella. Inoltre, osservando separatamente i 20 errori medi e i 20 valori di errore standard, l'insegnante può istruire ogni studente su come migliorare le proprie letture.

Come controllo, l'insegnante ha sottratto ogni errore dal rispettivo errore medio, risultando in altri 200 numeri, che chiameremo errori residui (che spesso non viene fatto). Come sopra, l' errore residuo medio è zero, quindi la deviazione standard degli errori residui o l'errore residuo standard è la stessa dell'errore standard e, di fatto, lo è anche l' errore residuo quadratico medio-radice . (Vedi sotto per i dettagli.)

Ora ecco qualcosa di interessante per l'insegnante. Possiamo confrontare ogni media degli studenti con il resto della classe (20 significa totale). Proprio come abbiamo definito prima di questi valori punto:

• m: media (delle osservazioni),
• s: deviazione standard (delle osservazioni)
• io: errore medio (delle osservazioni)
• se: errore standard (delle osservazioni)
• rmse: errore radice-media-quadrata (delle osservazioni)

possiamo anche definire ora:

• mm: media dei mezzi
• sm: deviazione standard della media
• mem: errore medio della media
• sem: errore standard della media
• rmsem: errore radice-media-quadrata della media

Solo se si dice che la classe di studenti è imparziale, cioè se mem = 0, allora sem = sm = rmsem; vale a dire, errore standard della media, deviazione standard della media ed errore radice-media-quadrata la media può essere la stessa a condizione che l'errore medio della media sia zero.

Se avessimo preso solo un campione, cioè se ci fosse solo uno studente in classe, la deviazione standard delle osservazioni potrebbe essere usata per stimare la deviazione standard della media (sm), come sm ^ 2 ~ s ^ 2 / n, dove n = 10 è la dimensione del campione (il numero di letture per studente). I due concorderanno meglio con l'aumentare della dimensione del campione (n = 10,11, ...; più letture per studente) e il numero di campioni cresce (n '= 20,21, ...; più studenti in classe). (Un avvertimento: un "errore standard" non qualificato si riferisce più spesso all'errore standard della media, non all'errore standard delle osservazioni.)

Ecco alcuni dettagli dei calcoli coinvolti. Il valore vero è indicato t.

Operazioni set-to-point:

• significa: MEAN (X)
• radice-media-quadrata: RMS (X)
• deviazione standard: SD (X) = RMS (X-MEAN (X))

SET IN-CAMPIONE:

• osservazioni (date), X = {x_i}, i = 1, 2, ..., n = 10.
• deviazioni: differenza di un set rispetto a un punto fisso.
• residui: deviazione delle osservazioni dalla loro media, R = Xm.
• errori: deviazione delle osservazioni dal valore reale, E = Xt.
• errori residui: deviazione degli errori dalla loro media, RE = E-MEAN (E)

PUNTI INTRA-CAMPIONE (vedi tabella 1):

• m: media (delle osservazioni),
• s: deviazione standard (delle osservazioni)
• io: errore medio (delle osservazioni)
• se: errore standard delle osservazioni
• rmse: errore radice-media-quadrata (delle osservazioni)

SET INTERSAMPLE (ENSEMBLE):

• significa, M = {m_j}, j = 1, 2, ..., n '= 20.
• residui della media: deviazione dei mezzi dalla loro media, RM = M-mm.
• errori della media: deviazione dei mezzi dalla "verità", EM = Mt.
• errori residui della media: deviazione degli errori della media dalla loro media, REM = EM-MEAN (EM)

PUNTI INTER-CAMPIONE (ENSEMBLE) (vedi tabella 2):

• mm: media dei mezzi
• sm: deviazione standard della media
• mem: errore medio della media
• sem: errore standard (della media)
• rmsem: errore radice-media-quadrata della media

Sento anche che tutti i termini sono molto confusi. Sento fortemente che è necessario spiegare perché abbiamo queste molte metriche.

Ecco la mia nota su SSE e RMSE:

Prima metrica: somma degli errori quadrati (SSE). Altri nomi, Somma dei quadrati residua (RSS), Somma dei residui quadrati (SSR).

Se siamo nella comunità di ottimizzazione, SSE è ampiamente utilizzato. È perché è l'obiettivo dell'ottimizzazione, dove si trova l'ottimizzazione

E il termine residuo / errore è $e=X\beta-y$, e $\|e\|^2=e^Te$, che si chiama Somma degli errori quadrati (SSE).

Seconda metrica: errore quadratico medio-radice (RMSE) . Altri nomi, deviazione dei quadrati radice-media.

RMSE è

dove $N$ è il numero di punti dati.

Ecco perché abbiamo questa metrica oltre a SSE di cui abbiamo parlato sopra. Il vantaggio della metrica RMSE è che è più "normalizzato". In particolare, SSE dipenderà dalla quantità di dati. Il MSE non dipende dalla quantità di dati, ma RMSE esprime anche l'errore nelle stesse unità di$y$.