Perché diciamo che la variabile di risultato "è regredita" sui predittori?

C'è qualche spiegazione intuitiva per questa terminologia? Perché è così, e non il / i predittore / i essere regredito sul risultato?

Idealmente, spero che una spiegazione corretta del perché esista questa terminologia aiuterà gli studenti a ricordarlo e impedirà loro di dirlo nel modo sbagliato.

Non so quale sia l'etimologia di "su cui è regredito", ma ecco l'interpretazione che ho in mente quando dico o ascolto questa espressione. Considera la seguente figura tratta da The Elements of Statistical Learning di Hastie et al .:

Nel suo nucleo, la regressione lineare equivale alla proiezione ortogonale di su (su) X , dove y è il vettore n- dimensionale delle osservazioni della variabile dipendente e X è il sottospazio attraversato dai vettori predittori.$\mathbf y$$\mathbf X$$\mathbf y$$n$$\mathbf X$

Questo è un molto utile della regressione lineare.

Dal momento che viene proiettato su X , che è quello che penso quando sento che y è "regredita su"$y$$X$$y$ . Da questo punto di vista, sarebbe meno senso dire che X è regredita su y o che y è regredita "contro" o "con" X .$X$$X$$y$$y$$X$

Idealmente, spero che una spiegazione corretta del perché esista questa terminologia aiuterà gli studenti a ricordarlo e impedirà loro di dirlo nel modo sbagliato.

Come ho detto, dubito che questa sia una spiegazione del perché questa terminologia esiste (forse solo del perché persiste?), Ma sono sicuro che può aiutare gli studenti a ricordarlo.

Ho spesso usato e sentito questo modo di parlare. Immagino che la sequenza che menziona l'esito o la risposta prima che i predittori seguano dalle convenzioni scritte, usando le parole o usando la notazione o mescolando i due, fino a

$Y = X\beta$

mettendo da parte la domanda altrettanto interessante (o poco interessante!) di ciò che chiamiamo diversi tipi di variabili.

Ma sembra ugualmente valido matematicamente e statisticamente menzionare prima i predittori, proprio come molti matematici scrivono prima mappe o funzioni con argomenti.

Ciò che spesso guida la sequenza che usiamo nelle discussioni statistiche è che scientificamente o praticamente di solito abbiamo una chiara idea di ciò che stiamo cercando di prevedere: è la mortalità, o il reddito, o il rendimento del grano, o i voti in un'elezione, o qualunque cosa - mentre il pool di predittori potenziali o effettivi potrebbe non essere così chiaro. Anche se è chiaro, ha senso menzionare prima le cose importanti. Cosa stai cercando di fare? Prevedi qualunque cosa . Come hai intenzione di farlo? Usa alcune o tutte queste variabili .

Non ho una storia per "on" piuttosto che per qualsiasi altra parola adatta. Non sento "regredito contro" o "regredito con". Qui potrebbe non esserci alcuna logica, solo meme trasmesse nei libri di testo, nell'insegnamento e nelle discussioni.

$y$$x$

1) Il termine regressione deriva dal fatto che nel solito modello di regressione lineare semplice:

$y = \alpha + \beta x + \epsilon$

$y$$x$$\hat{y}$$\bar{y}$$x$$\bar{x}$

$|\hat{y} - \bar{y}| / s_y < |x - \bar{x}| / s_x$

Ad esempio, se utilizziamo il frame di dati BOD incorporato in R, allora:

fm <- lm(demand ~ Time, BOD)
with(BOD, all( abs(fitted(fm) - mean(demand)) / sd(demand) < abs(scale(Time))))
## [1] TRUE

Per una prova vedi: https://en.wikipedia.org/wiki/Regression_toward_the_mean

2) Il termine sulla deriva dal fatto che i valori stimati sono la proiezione della variabile risultato sul il sottospazio dalle variabili predittive (compreso l'intercetta) come ulteriormente spiegato in molte fonti quali http: //people.eecs.ku .edu / ~ jhuan / EECS940_S12 / slides / linearRegression.pdf .

Nota

Per quanto riguarda il commento di seguito, ciò che il commentatore afferma è ciò che la risposta afferma già sopra in forma di formula, tranne che la risposta lo afferma correttamente. In effetti, a causa dell'uguaglianza:

$(\hat{y} - \bar{y}) = \hat{\beta} (x - \bar{x})$

la variabile dipendente non è necessariamente mediamente più vicina alla sua media di quanto il predittore sia alla sua media a meno che $| \beta | < 1$. Ciò che è vero è che la variabile dipendente è in media un numero inferiore di deviazioni standard dalla sua media rispetto al predittore rispetto a quello indicato nella formula nella risposta.

Usando i dati di Galton a cui si riferisce il commento (che è disponibile nel pacchetto UsingR in R) ho eseguito la regressione e in effetti la pendenza è di 0,646, quindi il bambino medio era più vicino alla sua media di quanto non lo fosse il suo genitore ma non è il caso generale. L'uso corrente della regressione alla media si basa sulla corretta relazione generale che abbiamo mostrato nella risposta. Nell'esempio mostrato nel codice R nella risposta sopra$beta > 1$quindi non è vero che la domanda sia necessariamente più vicina alla domanda media rispetto al Tempo sia al Tempo medio e in questo esempio possiamo facilmente verificare numericamente che non sia sempre più vicino. È vero solo se misuriamo la vicinanza nelle deviazioni standard come mostra la disuguaglianza nella risposta.

Personalmente, quando si tratta di spiegare la terminologia, trovo sempre utile la definizione del termine stesso, specialmente quando si spiega agli studenti. La definizione effettiva della parola regresso è:

"ritorno a uno stato precedente o meno sviluppato".

Quindi un modo per spiegare immagino sarebbe il seguente:

"Considerando il risultato come lo stato pienamente sviluppato, proviamo a spiegare il risultato usando stati meno sviluppati, cioè le variabili indipendenti. Pertanto, il risultato viene regredito sui predittori."

Spero possa aiutare.