I residui sono "meno previsti effettivi" o "meno previsti previsti"

46

Ho visto "residui" definiti in modo diverso come "previsti meno valori effettivi" o "effettivi meno valori previsti". A scopo illustrativo, per dimostrare che entrambe le formule sono ampiamente utilizzate, confrontare le seguenti ricerche Web:

In pratica, non fa quasi mai differenza, dal momento che il segno dei residui individuali non ha importanza (ad es. Se sono al quadrato o vengono presi i valori assoluti). Tuttavia, la mia domanda è: una di queste due versioni (previsione prima vs. prima effettiva) è considerata "standard"? Mi piace essere coerente nel mio utilizzo, quindi se esiste uno standard convenzionale ben consolidato, preferirei seguirlo. Tuttavia, se non esiste uno standard, sono felice di accettarlo come risposta, se si può dimostrare in modo convincente che non esiste una convenzione standard.

residuals terminology error

— Tripartio
fonte

8

Poiché il residuo è collegato all'errore del modello, quando scriviamo

ci fa pensare che

sia una "parte fissa" più una "parte casuale", quindi il residuo è la

meno la

.

y = a + b x + ϵ

$y = a + bx + \epsilon$

y

$y$

y

$y$

a + b x

$a + bx$

— AdamO,

La previsione meno la differenza reale o effettiva prevista sarebbe un errore di previsione (o il suo negativo), mentre il valore negativo meno il valore reale o effettivo montato sarebbe residuo (o il suo negativo). La risposta di Stephen Kolassa menziona errori di previsione per un motivo.

— Richard Hardy,

Trovo (predittivo-reale) più conveniente lavorare con. Spesso è necessario calcolare i derivati del residuo rispetto ad alcuni parametri. Se usi (previsto), compaiono segni meno che devi tenere traccia di tutto il resto dei tuoi calcoli, richiedendo l'uso di più parentesi, assicurandoti di annullare i doppi negativi quando si verificano, e così via. Nella mia esperienza, ciò porta a più errori

— Nick Alger,

42

I residui sono sempre effettivi meno previsti. I modelli sono: Quindi, i residui , che sono stime di errori :

y = f (x; β) + ε

$y=f(x;\beta)+\varepsilon$

\hat{ε}

$\hat\varepsilon$

ε

$\varepsilon$

\hat{ε} = y - \hat{y} \hat{y} = f (x; \hat{β})

$\hat\varepsilon=y-\hat y\\\hat y=f(x;\hat\beta)$

Sono d'accordo con @whuber che il segno non ha davvero importanza matematica. È comunque bello avere una convention. E l'attuale convenzione è come nella mia risposta.

Poiché l'OP ha sfidato la mia autorità su questo argomento, sto aggiungendo alcuni riferimenti:

" (2008) Residual. In: The Concise Encyclopedia of Statistics. Springer, New York, NY , che dà la stessa definizione.
"Metodi statistici per ricercatori" di Fisher del 1925, ha anche la stessa definizione, vedere la Sezione 26 in questa versione del 1934 . Nonostante il titolo senza pretese, questa è un'opera importante nel contesto storico

— Aksakal
fonte

3

Ho modificato la mia domanda per aggiungere alcune ricerche web di esempio che mostrano chiaramente che i residui NON SONO SEMPRE effettivi meno previsti; l'alternativa è anche abbastanza frequente - da qui la mia confusione. La mia domanda è se esiste una documentazione autorevole della convenzione corretta, che, sfortunatamente, la tua risposta non fornisce.

— Tripartio,

5

Nella mia lettura osservata

previsione è la più moderna convenzione di statistica. È degno di nota, tuttavia, che Gauss usasse la convenzione opposta: i residui naturalmente quadrati sono uguali in entrambi i casi nel contesto di minimi quadrati, somme di quadrati o quadrati medi. Sebbene esistano precedenti del 19 ° secolo e precedenti per la ricerca di singoli residui, la cura e la trama dei residui in particolare non hanno iniziato a diventare diffusi e di routine fino ai primi anni '60. Cioè, è solo quando è in vista il segno dei residui che qualcuno deve preoccuparsi di ciò che è.

-

$-$

— Nick Cox,

18

+1. Il concetto di residuo deriva da "un residuo; ciò che è lasciato alle spalle" : in altre parole, ciò che rimane nei dati dopo che la previsione è stata presa in considerazione. Ciò suggerisce che chiunque abbia definito queste quantità un "residuo" aveva in mente la definizione "valore dati meno valore adattato".

— whuber

3

@NickCox, potresti per favore formalizzare i tuoi commenti come risposta, con citazioni? La mia domanda non riguarda tanto le statistiche quanto le convenzioni scientifiche, quindi il tipo di approfondimenti storici e di utilizzo indicati nel tuo commento sono il tipo di risposte che sto cercando.

— Tripartio,

6

La parola residua lunga, lunga precede Salsburg. Devo dire che il suo libro, sebbene a volte divertente, è tutt'altro che autorevole. Se sei interessato, puoi cercare la mia recensione su Biometrics jstor.org/stable/3068274

— Nick Cox

22

Mi sono appena imbattuto in un motivo convincente perché una risposta fosse quella corretta.

$y$ $x$

La curva blu corrisponde ai minimi quadrati ordinari. Traccia i valori adattati.

$y$ $\hat y$

Questo è un diagramma diagnostico standard che mostra come le distribuzioni condizionate spostate variano con i valori previsti. Geometricamente, è quasi lo stesso di "non inclinare" il grafico a dispersione precedente.

$\hat y - y,$

Ciò mostra le stesse quantità della figura precedente, ma i residui sono stati calcolati sottraendo i dati dai loro adattamenti, il che ovviamente equivale a negare i residui precedenti.

Sebbene entrambe le figure precedenti siano matematicamente equivalenti sotto ogni aspetto - una viene convertita nell'altra semplicemente capovolgendo i punti attraverso l'orizzonte blu - una di esse ha una relazione visiva molto più diretta con la trama originale.

Di conseguenza, se il nostro obiettivo è mettere in relazione le caratteristiche distributive dei residui con le caratteristiche dei dati originali - e questo è quasi sempre il caso - allora è meglio semplicemente spostare le risposte piuttosto che spostarle e invertirle.

$y - \hat y.$

— whuber
fonte

1

Non credo di seguire qui ciò che è speciale dell'asimmetria: la tua discussione sui residui che corrispondono alla trama originale si regge da sola?

— MichaelChirico,

2

@Michael Hai ragione. L'asimmetria è utile, tuttavia, per illustrare il punto perché distingue chiaramente la forma di una distribuzione dalla forma del suo negativo.

— whuber

10

Green & Tashman (2008, Foresight ) riferiscono su un piccolo sondaggio sulla domanda analoga per errori di previsione. Riassumerò gli argomenti per entrambe le convenzioni come riportato da loro:

Argomenti per "previsto reale"

$y=\hat{y}+\epsilon$
Almeno un rispondente della sismologia ha scritto che questa è anche la convenzione per modellare il tempo di viaggio delle onde sismiche. "Quando l'onda sismica reale arriva prima del tempo previsto dal modello, abbiamo un tempo di viaggio negativo (errore)". ( sic )
$\hat{y}$
$+$ $-$

Argomenti per "previsto-effettivo"

$y=\hat{y}-\epsilon$ , poi un errore positivo indica che la previsione era troppo alto. Questo è più intuitivo del contrario.

Allo stesso modo, se un bias positivo è definito come positivo errori attesi , significherebbe che le previsioni sono in media troppo alte con questa convenzione.

E questo è praticamente l'unico argomento dato per questa convenzione. Inoltre, dati i malintesi che l'altra convenzione può portare (errori positivi = previsione troppo bassa), è forte.

Alla fine, direi che dipende da chi hai bisogno di comunicare i tuoi residui. E dato che ci sono sicuramente due lati in questa discussione, ha senso notare esplicitamente quale convenzione segui.

— S. Kolassa - Ripristina Monica
fonte

7

x

$x$

3

@NickCox: astrattamente, hai ragione. Tuttavia, prendi un gran numero di persone e chiedi loro: "Le previsioni del tempo per la temperatura di oggi hanno avuto un grande errore positivo . Credi che la previsione fosse (A) troppo alta o (B) troppo bassa ?" Penso di poter prevedere quale tra (A) o (B) sceglierà la stragrande maggioranza.

— S. Kolassa - Ripristina Monica il

6

Sì, e se dovessi pronunciare quella domanda come "Credi che la temperatura fosse (A) più alta o (B) più bassa della previsione", potresti ottenere esattamente le risposte opposte ! Fare riferimento a un "errore positivo" solleva solo la questione di "qual è l'errore" e questo ci riporta, in modo perfettamente circolare, alla domanda originale.

— whuber

2

@whuber è una frase piuttosto innaturale della domanda però. Dato che l '"osservato" è "riparato", la relazione del modello con esso sembra più naturale rispetto al contrario. Ricevo un biglietto per eccesso di velocità per andare troppo veloce, piuttosto che "il limite di velocità era al di sotto della mia velocità". Gli argomenti in linguaggio naturale hanno sicuramente un'applicazione limitata ai termini / linguaggio tecnici /

— mbrig

2

@whuber Quello che sto dicendo è che un modo di formulare la domanda è chiaramente più naturale (almeno in inglese).

— martedì

4

Una terminologia diversa suggerisce convenzioni diverse. Il termine "residuo" implica che è ciò che è rimasto dopo che tutte le variabili esplicative sono state prese in considerazione, vale a dire le previsioni effettive. "Errore di previsione" implica che è la differenza tra la previsione e la previsione effettiva.

$X = x_1,x_2...$ $y$ $\hat y$ .

$y$ $\hat y$ $X$ $y$ $\hat y$ $\hat y$ $y$ $\hat y$ $\hat y$ $y$ $\hat y$ $y$ $e = \hat y -y$

$\hat y$ $X$ $X$ $x \rightarrow f(X)\rightarrow f(X)+error()$ $\hat y$ $X$ $y$ $\sqrt{\frac{2x}{g}}$

$\hat y = \sqrt{\frac{2x}{g}}$
$y = \hat y +error$

$\hat y$ $y$ $\hat y$ $X$ , come ad esempio errori di misura o raffiche di vento o altro.

$\sqrt{\frac{2x}{g}}$ $y = \hat y +error$ , ne consegue che gli errori sono reale meno prevedibile.

$X$

$\hat y = f(X)$
$y = \hat y+g(?)$
$g = y-\hat y$

— Acccumulation
fonte

4

La risposta di @Aksakal è completamente corretta, ma aggiungerò solo un ulteriore elemento che trovo utile a me (e ai miei studenti).

Il motto: la statistica è "perfetta". Come in, posso sempre fornire la previsione perfetta (so che alcune sopracciglia si stanno sollevando proprio ora ... quindi ascoltami).

$y_i$ $\hat{y}_i$

y_{i} \neq {\hat{y}}_{i}

$y_i \ne \hat{y}_i$

ϵ_{i}

$\epsilon_i$

y_{i} = {\hat{y}}_{i} + ϵ_{i}

$y_i = \hat{y}_i + \epsilon_i$ Ora, abbiamo una previsione "perfetta" ... il nostro valore "finale" corrisponde al nostro valore osservato.

$\epsilon_i$

— Gregg H
fonte

2

{\hat{y}}_{i} - y_{i}

$\hat{y}_i - y_i$

6

Perché "è meglio aggiungerlo al nostro valore previsto"? Perché non "vedere quanto il dato deve essere modificato per concordare con la nostra previsione"? Nessuno dei due approcci sembra pretendere di essere più ovvio, significativo o "intuitivo" dell'altro.

— whuber

2

@whuber un oggetto è "reale" (osservato, concreto), l'altro è un costrutto (ipotetico); se modellassimo l'altezza in base al peso, sarebbe ragionevole "restringere" qualcuno di 3 pollici solo per far corrispondere la sua altezza effettiva / osservata a un valore (immaginario) previsto?

— Gregg H,

2

Sì, è un modo comune di pensare ai dati. Sto solo cercando di sottolineare la possibilità che i tuoi presupposti su come le persone percepiranno questa domanda e capiranno il significato di "migliore" potrebbero essere speculativi e soggettivi.

— whuber

punto giusto ... aggiornerò con breve commento

— Gregg H

2

$\newcommand{\e}{\varepsilon}$ $Y = X\beta + \e$ $\e = Y - X\beta$ $\hat \e = Y - \hat Y$ $Y = X\beta - \e$ $\e = X\beta - Y \implies \hat \e = \hat Y - Y$ $1$ $-1$

$\hat \e = Y - \hat Y$ $(I - P_X)Y$ $I - P_X$ $X$ $Y = X\beta - \e$ $\hat \e = (P_X - I)Y$ $P_X - I$ $(P_X - I)^2 = P_X^2 - 2P_X + I = -(P_X - I)$ $P_X - I$ $I - P_X$ $Y = X\beta - \e$ $Y = X\beta + \e$ $Y - \hat Y$

$\hat Y - Y$ $Y - \hat Y$

— JLD
fonte

+ e

$+ e$

e

$e$

y = β_{0} + β_{1} x

$y = \beta_0 + \beta_1 x$

β_{0}

$\beta_0$

β_{1}

$\beta_1$

e

$e$

Y = X β + ε

$Y = X\beta + \varepsilon$