Qual è la differenza tra regressione lineare su y con xe x con y?

Il coefficiente di correlazione di Pearson di xey è lo stesso, sia che si calcoli pearson (x, y) o pearson (y, x). Ciò suggerisce che fare una regressione lineare di y dato x o x dato y dovrebbe essere lo stesso, ma non penso che sia il caso.

Qualcuno può fare luce quando la relazione non è simmetrica e in che modo si riferisce al coefficiente di correlazione di Pearson (che considero sempre come una sintesi della linea più adatta)?

Il modo migliore per pensarci è immaginare un grafico a dispersione di punti con sull'asse verticale e x rappresentati dall'asse orizzontale. Dato questo quadro, vedi una nuvola di punti, che può essere vagamente circolare o può essere allungata in un'ellisse. Quello che stai cercando di fare in regressione è trovare quella che potrebbe essere definita la "linea della migliore misura". Tuttavia, sebbene ciò sembri semplice, dobbiamo capire cosa intendiamo per "migliore", e ciò significa che dobbiamo definire quale sarebbe una linea per essere buona, o per una linea essere migliore di un'altra, ecc. In particolare , dobbiamo stipulare una funzione di perdita$y$$x$. Una funzione di perdita ci dà un modo per dire quanto sia "cattivo" qualcosa, e quindi, quando lo minimizziamo, rendiamo la nostra linea il più "buona" possibile o troviamo la linea "migliore".

Tradizionalmente, quando eseguiamo un'analisi di regressione, troviamo le stime della pendenza e dell'intercettazione in modo da ridurre al minimo la somma degli errori al quadrato . Questi sono definiti come segue:

$$SSE=\sum_{i=1}^N(y_i-(\hat\beta_0+\hat\beta_1x_i))^2$$

In termini di grafico a dispersione, ciò significa che stiamo minimizzando le distanze verticali (somma dei quadrati) tra i punti di dati osservati e la linea.

D'altra parte, è perfettamente ragionevole regredire su y , ma in tal caso, inseriremmo x sull'asse verticale e così via. Se abbiamo tenuto la trama così com'è (con x sull'asse orizzontale), che regredisce x su y (di nuovo, utilizzando una versione leggermente adattata dell'equazione sopra con x ed y commutata) significa che ci sarebbe minimizzando la somma delle distanze orizzontali$x$$y$$x$$x$$x$$y$$x$$y$tra i punti dati osservati e la linea. Sembra molto simile, ma non è esattamente la stessa cosa. (Il modo per riconoscerlo è farlo in entrambi i modi, quindi convertire algebricamente una serie di stime dei parametri nei termini dell'altra. Confrontando il primo modello con la versione riorganizzata del secondo modello, diventa facile capire che sono non lo stesso.)

Si noti che nessuno dei due modi produrrebbe la stessa linea che trarremmo intuitivamente se qualcuno ci consegnasse un pezzo di carta millimetrata con punti tracciati su di esso. In tal caso, disegneremmo una linea dritta attraverso il centro, ma minimizzare la distanza verticale produce una linea leggermente più piatta (cioè con una pendenza più bassa), mentre minimizzare la distanza orizzontale produce una linea leggermente più ripida .

Una correlazione è simmetrica; è correlato con y come y è con x . La correlazione del momento-prodotto di Pearson può essere compresa in un contesto di regressione. Il coefficiente di correlazione, r , è la pendenza della linea di regressione quando entrambe le variabili sono state standardizzate per prime. Cioè, prima hai sottratto la media da ogni osservazione e poi diviso le differenze per la deviazione standard. La nuvola di punti dati sarà ora centrato sull'origine, e la pendenza sarebbe lo stesso se regredito y su x , o x su $x$$y$$y$$x$$r$$y$$x$$x$$y$ (ma nota il commento di @DilipSarwate di seguito).

$y$$x$$y$. Questo è molto diverso dal dire il contrario. Ciò è stato importante in un episodio storico interessante: tra la fine degli anni '70 e l'inizio degli anni '80 negli Stati Uniti, è stato dimostrato che c'era discriminazione nei confronti delle donne sul posto di lavoro, e questo è stato supportato da analisi di regressione che mostrano che le donne con un background uguale (ad es. , qualifiche, esperienza, ecc.) sono stati pagati, in media, meno degli uomini. I critici (o solo le persone che erano molto approfondite) hanno sostenuto che se ciò fosse vero, le donne pagate allo stesso modo con gli uomini avrebbero dovuto essere più qualificate, ma quando questo è stato verificato, è stato scoperto che sebbene i risultati fossero "significativi" quando valutati in un modo, non erano "significativi" se controllati nell'altro modo, il che ha gettato tutte le persone coinvolte in un brivido. Vedi qui per un famoso documento che ha cercato di chiarire il problema.

---

(Aggiornato molto più tardi) Ecco un altro modo di pensare a questo che affronta l'argomento attraverso le formule anziché visivamente:

$y$$x$$x$$y$

$$\overbrace{\hat\beta_1=\frac{\text{Cov}(x,y)}{\text{Var}(x)}}^{y\text{ on } x}~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~\overbrace{\hat\beta_1=\frac{\text{Cov}(y,x)}{\text{Var}(y)}}^{x\text{ on }y}$$ $\text{Var}(x)$$\text{Var}(y)$$\text{SD}(x)\text{SD}(y)$$\hat\beta_1$$r$ $$\overbrace{r=\frac{\text{Cov}(x,y)}{\text{SD}(x)\text{SD}(y)}}^{\text{correlating }x\text{ with }y}~~~~~~~~~~~~~~~~~~~~~~~~~~~\overbrace{r=\frac{\text{Cov}(y,x)}{\text{SD}(y)\text{SD}(x)}}^{\text{correlating }y\text{ with }x}$$

Illustrerò la risposta con un po 'di Rcodice e output.

Innanzitutto, costruiamo una distribuzione normale casuale y, con una media di 5 e una SD di 1:

y <- rnorm(1000, mean=5, sd=1)

Successivamente, creo di proposito una seconda distribuzione normale casuale x, che è semplicemente 5 volte il valore di yper ciascuno y:

x <- y*5

In base alla progettazione, abbiamo una correlazione perfetta di xe y:

cor(x,y)
[1] 1
cor(y,x)
[1] 1

Tuttavia, quando facciamo una regressione, stiamo cercando una funzione che si collega xe yquindi i risultati dei coefficienti di regressione dipendono da quale usiamo come variabile dipendente e quali usiamo come variabile indipendente. In questo caso, non inseriamo un'intercettazione perché abbiamo fatto xuna funzione ysenza variazione casuale:

lm(y~x-1)
Call:
lm(formula = y ~ x - 1)

Coefficients:
  x  
0.2

lm(x ~ y-1)
Call:
lm(formula = x ~ y - 1)

Coefficients:
y  
5  

Quindi le regressioni ci dicono questo y=0.2xe quello x=5y, che ovviamente sono equivalenti. Il coefficiente di correlazione ci sta semplicemente mostrando che esiste una corrispondenza esatta tra i livelli di variazione unitaria tra xe y, quindi (per esempio) un aumento di 1 unità yproduce sempre un aumento di 0,2 unità x.

L'intuizione che, poiché la correlazione di Pearson è la stessa sia che facciamo una regressione di x contro y, sia che y contro x sia buona, dovremmo ottenere la stessa regressione lineare è buona. È solo leggermente errato e possiamo usarlo per capire cosa sta realmente accadendo.

Questa è l'equazione per una linea, che è ciò che stiamo cercando di ottenere dalla nostra regressione

L'equazione per la pendenza di quella linea è guidata dalla correlazione di Pearson

Questa è l'equazione per la correlazione di Pearson. È lo stesso se stiamo regredendo x contro y o y contro x

Tuttavia, quando guardiamo indietro alla nostra seconda equazione per la pendenza, vediamo che la correlazione di Pearson non è l'unico termine in quella equazione. Se calcoliamo y rispetto a x, abbiamo anche la deviazione standard del campione di y divisa per la deviazione standard del campione di x. Se dovessimo calcolare la regressione di x contro y avremmo bisogno di invertire quei due termini.

Su domande come questa è facile farsi prendere dalle questioni tecniche, quindi mi piacerebbe concentrarmi specificamente sulla domanda nel titolo del thread che chiede: Qual è la differenza tra regressione lineare su y con xe x con y ?

$$\begin{equation} \text{wages} = b_{0} + b_{1}~\text{years of education} + \text{error} \end{equation}$$

$$\begin{equation} \text{years of education} = b_{0} + b_{1}~\text{wages} + \text{error} \end{equation}$$

Sono sicuro che puoi pensare a più esempi come questo (anche al di fuori del regno dell'economia), ma come puoi vedere, l'interpretazione del modello può cambiare in modo abbastanza significativo quando passiamo dalla regressione di y su x a x su y.

Quindi, alla risposta alla domanda: qual è la differenza tra la regressione lineare su y con xe x con y? , possiamo dire che l' interpretazione dell'equazione di regressione cambia quando regrediamo x su y anziché y su x. Non dovremmo trascurare questo punto perché un modello che ha un'interpretazione sonora può rapidamente trasformarsi in uno che ha poco o nessun senso.

C'è un fenomeno molto interessante su questo argomento. Dopo aver scambiato xey, anche se il coefficiente di regressione cambia, ma la statistica t / statistica F e il livello di significatività per il coefficiente non cambiano. Questo vale anche anche nella regressione multipla, dove scambiamo y con una delle variabili indipendenti.

È dovuto a una delicata relazione tra la statistica F e il coefficiente di correlazione (parziale). Questa relazione tocca davvero il nucleo della teoria dei modelli lineari. Nel mio taccuino ci sono maggiori dettagli su questa conclusione: perché scambiare yey non ha alcun effetto su p

Espandendo l'eccellente risposta di @ gung:

$r$$y$$x$$x$$y$

$$\sqrt{{\hat{\beta}_1}_{y\,on\,x} \cdot {\hat{\beta}_1}_{x\,on\,y}} = \sqrt{\frac{\text{Cov}(x,y)}{\text{Var}(x)} \cdot \frac{\text{Cov}(y,x)}{\text{Var}(y)}} = \frac{|\text{Cov}(x,y)|}{\text{SD}(x) \cdot \text{SD}(y)} = |r|$$ $r$
$$r = sign({\hat{\beta}_1}_{y\,on\,x}) \cdot \sqrt{{\hat{\beta}_1}_{y\,on\,x} \cdot {\hat{\beta}_1}_{x\,on\,y}}$$ $$r = sign({\hat{\beta}_1}_{x\,on\,y}) \cdot \sqrt{{\hat{\beta}_1}_{y\,on\,x} \cdot {\hat{\beta}_1}_{x\,on\,y}}$$

$r$

$$|\frac{1}{2} \cdot ({\hat{\beta}_1}_{y\,on\,x} + {\hat{\beta}_1}_{x\,on\,y})| \geq \sqrt{{\hat{\beta}_1}_{y\,on\,x} \cdot {\hat{\beta}_1}_{x\,on\,y}} = |r|$$

$\textbf{ Doing regression of $y$ given $x$}$

$$\min_b \mathbb E(Y - bX)^2$$

$\textbf{doing regression of $x$ given $y$}$

$$\min_b \mathbb E(X - bY)^2$$

$$\min_b \frac{1}{b^2} \mathbb E(Y - bX)^2$$

È anche importante notare che due problemi di aspetto diverso possono avere la stessa soluzione.

Bene, è vero che per una semplice regressione bivariata, il coefficiente di correlazione lineare e il quadrato R saranno gli stessi per entrambe le equazioni. Ma le pendenze saranno r Sy / Sx o r Sx / Sy, che non sono reciproche, a meno che r = 1.

L'idea di base della regressione può essere la "causa ed effetto" o "indipendente e dipendente". La normale pratica di posizionare una variabile indipendente nell'asse X e una variabile dipendente nell'asse Y, è rappresentata da Y = mX + c. Se la pendenza deve essere chiamata come m (X su Y) o (Y su X) e la regressione come: (X su Y) o (Y su X). È gestito in entrambi i modi, il che non è positivo e deve essere chiarito. I modellisti usano spesso grafici a dispersione per giudicare se la serie simulata corrisponde alla serie osservata; e l'uso della linea di regressione è inevitabile. qui non c'è una clausola causale. Andando per questa necessità, la domanda muta posta dal thread rimane. O semplicemente, chiarisci come chiamare la normale analisi di regressione: X su Y; o Y su X ?, andando oltre la risposta causale. Non è una risposta al thread principale; ma una domanda parallela.