Come può la somma di due variabili spiegare più varianza rispetto alle singole variabili?

Sto ottenendo alcuni risultati sconcertanti per la correlazione di una somma con una terza variabile quando i due predittori sono correlati negativamente. Cosa sta causando questi risultati sconcertanti?

Esempio 1: correlazione tra la somma di due variabili e una terza variabile

Considera la formula 16.23 a pagina 427 del testo di Guildford del 1965, mostrato di seguito.

Risultati perplessi: se entrambe le variabili correlano .2 alla terza variabile e -7 tra loro, la formula risulta in un valore di .52. Come può la correlazione del totale con la terza variabile essere .52 se le due variabili sono correlate solo solo .2 con la terza variabile?

Esempio 2: qual è la correlazione multipla tra due variabili e una terza variabile?

Considera la formula 16.1 a pagina 404 del testo di Guildford del 1965 (mostrato sotto).

Scoperta perplessa: stessa situazione. Se entrambe le variabili correlano .2 con la terza variabile e correlano -.7 l'una con l'altra, la formula si traduce in un valore di .52. Come può la correlazione del totale con la terza variabile essere .52 se le due variabili sono correlate solo solo .2 con la terza variabile?

Ho provato una rapida simulazione Monte Carlo e questo conferma i risultati delle formule di Guilford.

Ma se i due predittori predicono ciascuno il 4% della varianza della terza variabile, come può una somma di essi prevedere 1/4 della varianza?

Fonte: Statistica fondamentale in psicologia e istruzione, 4a ed., 1965.

UNA PRECISAZIONE

La situazione con cui mi sto occupando prevede la previsione delle prestazioni future delle singole persone sulla base della misurazione delle loro capacità.

I due diagrammi di Venn qui sotto mostrano la mia comprensione della situazione e hanno lo scopo di chiarire la mia perplessità.

Questo diagramma di Venn (Fig. 1) riflette l'ordine zero r = .2 tra x1 e C. Nel mio campo ci sono molte variabili predittive che predicono modestamente un criterio.

Questo diagramma di Venn (Fig. 2) riflette due predittori, x1 e x2, ciascuno dei quali predice C a r = .2 e i due predittori sono negativamente correlati, r = -. 7.

Non riesco a immaginare una relazione tra i due predittori r = .2 che li farebbero prevedere insieme il 25% della varianza di C.

Cerco aiuto per comprendere la relazione tra x1, x2 e C.

Se (come suggerito da alcuni in risposta alla mia domanda) x2 funge da variabile soppressore per x1, quale area nel secondo diagramma di Venn viene soppressa?

Se un esempio concreto sarebbe utile, possiamo considerare x1 e x2 come due abilità umane e C come 4 anni di college GPA, 4 anni dopo.

Ho difficoltà a immaginare come una variabile soppressore potrebbe causare l'ampliamento dell'8% dei due r = .2 ordine zero r e spiegare il 25% della varianza di C. Un esempio concreto sarebbe una risposta molto utile.

Questo può accadere quando i due predittori contengono entrambi un grande fattore di disturbo, ma con segno opposto, quindi quando li sommi il fastidio si annulla e si ottiene qualcosa di molto più vicino alla terza variabile.

Illustriamo con un esempio ancora più estremo. Supponiamo che siano variabili casuali normali standard indipendenti. Adesso molla$X, Y \sim N(0,1)$

$A = X$

$B = -X + 0.00001Y$

Supponi che sia la tua terza variabile, A , B siano i tuoi due predittori e X sia una variabile latente di cui non sai nulla. La correlazione di A con Y è 0 e la correlazione di B con Y è molto piccola, vicina a 0,00001. * Ma la correlazione di A + B con Y è 1.$Y$$A, B$$X$$A+B$$Y$

* C'è una piccola correzione per la deviazione standard di B che è un po 'più di 1.

Può essere utile concepire le tre variabili come combinazioni lineari di altre variabili non correlate. Per migliorare la nostra comprensione possiamo descriverli geometricamente, lavorare con loro algebricamente e fornire descrizioni statistiche a nostro piacimento.

Si consideri, poi, tre incorrelati a media zero, variabili unità varianza , Y , e Z . Da questi costruire il seguente:$X$$Y$$Z$

$$U = X,\quad V = (- 7 X + \sqrt{51}Y )/10;\quad W=(\sqrt{3} X + \sqrt{17} Y + \sqrt{55}Z)/\sqrt{75}.$$

Spiegazione geometrica

Il seguente grafico riguarda tutto ciò che serve per comprendere le relazioni tra queste variabili.

Questo diagramma pseudo-3D mostra , V , W e U + V nel sistema di coordinate X , Y , Z. Gli angoli tra i vettori riflettono le loro correlazioni (i coefficienti di correlazione sono i coseni degli angoli). La grande correlazione negativa tra U e V si riflette nell'angolo ottuso tra di loro. Le piccole correlazioni positive di U e V con W si riflettono nella loro quasi perpendicolarità. Tuttavia, la somma di U e V rientra direttamente sotto $U$$V$$W$$U+V$$X,Y,Z$$U$$V$$U$$V$$W$$U$$V$$W$, formando un angolo acuto (circa 45 gradi): c'è una correlazione positiva inaspettatamente alta.

---

Calcoli Algebrici

Per chi desidera più rigore, ecco l'algebra per eseguire il backup della geometria nella grafica.

Tutte quelle radici quadrate sono lì per far sì che anche , V e W abbiano varianze unitarie: ciò rende facile calcolare le loro correlazioni, perché le correlazioni saranno uguali alle covarianze. Perciò$U$$V$$W$

$$\operatorname{Cor}(U, V) = \operatorname{Cov}(U,V) = \mathbb{E}(UV) = \mathbb{E}(\sqrt{51}XY- 7 X^2)/10 = -7/10 = -0.7$$

perché e Y non sono correlati. Allo stesso modo,$X$$Y$

$$\operatorname{Cor}(U,W) = \sqrt{3/75} = 1/5 = 0.2$$

e

$$\operatorname{Cor}(V,W) = (-7\sqrt{3} + \sqrt{15}\sqrt{17})/(10\sqrt{75}) = 1/5 = 0.2.$$

Infine,

$$\operatorname{Cor}(U+V,W) = \frac{\operatorname{Cov}(U+V,W)}{\sqrt{\operatorname{Var}(U+V)\operatorname{Var}(W)}} = \frac{1/5 + 1/5}{\sqrt{\operatorname{Var}(U) + \operatorname{Var}(V) + 2\operatorname{Cov}(U,V)}} = \frac{2/5}{\sqrt{1 + 1 - 2(7/10)}} = \frac{2/5}{\sqrt{3/5}}\approx 0.5164.$$

Di conseguenza queste tre variabili hanno le correlazioni desiderate.

---

Spiegazione statistica

Ora possiamo vedere perché tutto funziona così:

• e V hanno una forte correlazione negativa di - 7 / 10 poiché V è proporzionale al negativo di U più un piccolo "rumore" sotto forma di un piccolo multiplo di Y .$U$$V$$-7/10$$V$$U$$Y$

• e W hanno debole correlazione positiva di 1 / 5 perché W comprende un piccolo multiplo di U più un sacco di rumore sotto forma di multipli di Y e Z .$U$$W$$1/5$$W$$U$$Y$$Z$

• e W hanno debole correlazione positiva di 1 / 5 perché W (moltiplicata per$V$$W$$1/5$$W$ , che non cambierà alcuna correlazione) è la somma di tre cose:$\sqrt{75}$

  • , che è correlato positivamente conV;$\sqrt{17}Y$$V$
  • , la cuicorrelazionenegativacon$-\sqrt{3}X$$V$ riduce la correlazione generale;
  • e un multiplo di che introduce molto rumore.$Z$

• Tuttavia, è correlata positivamente con piuttostoWperché è un multiplo di quella parte diWche non comprendeZ.$U+V = (3X + \sqrt{51}Y)/10 = \sqrt{3/100}(\sqrt{3}X + \sqrt{17}Y)$$W$$W$$Z$

Un altro semplice esempio:

• Sia $z \sim \mathcal{N}(0,1)$
• Sia $x_1 \sim \mathcal{N}(0,1)$
• Sia (quindi z = x 1 + x 2 )$x_2 = z - x_1$$z = x_1 + x_2$

Poi:

• $\mathrm{Corr}(z, x_1) = 0$
• $\mathrm{Corr}(z, x_2) \approx .7$
• $\mathrm{Corr}(z, x_1 + x_2) = 1$

Geometricamente, ciò che sta accadendo è come nella grafica di WHuber. Concettualmente, potrebbe assomigliare a questo:

$E[XY]$

$x_1$$z$$\theta$

• $\mathrm{Corr}(z, x_1) = \cos \theta_{zx_1} = 0 \quad \quad \theta_{z,x_1} = \frac{\pi}{2}$
• $\mathrm{Corr}(z, x_2) = \cos \theta_{zx_2} \approx .7 \quad \quad \theta_{z,x_2} = \frac{\pi}{4}$
• $\mathrm{Corr}(z, x_1 + x_2) = \cos \theta_{z,x_1+x_2} = 1 \quad \quad \theta_{z, x_1 + x_2} = 0$

$z$$-x_1$$x_2$$z$$-x_1$$x_1$$x_2$$-x_1$$x_2$

Addressing your comment:

Despite the math, I still do not see the logic of the sum of two variables explaining 25+% of the variance of a third variable when each off the two variables that go into the sum predict but 4% of the variance of that third variable. How can 8% explained variance become 25% explained variance just by adding the two variables?

The issue here seems to be the terminology "variance explained". Like a lot of terms in statistics, this has been chosen to make it sound like it means more than it really does.

Here's a simple numerical example. Suppose some variable $Y$ has the values

$$y = (6, 7, 4, 8, 9, 6, 6, 3, 5, 10)$$

and $U$ is a small multiple of $Y$ plus some error $R$. Let's say the values of $R$ are much larger than the values of $Y$.

$$r = (-20, -80, 100, 90, 50, 70, 40, 30, 40, 60)$$

and $U = R + 0.1Y$, so that

$$u = (-19.4, -79.3, 100.4, 90.8, 50.9, 70.6, 40.6, 30.3, 40.5, 61.0)$$

and suppose another variable $V=-R+0.1Y$ so that

$$v = (20.6, 80.7, -99.6, -89.2, -49.1, -69.4, -39.4, -29.7, -39.5, -59.0)$$

Then both $U$ and $V$ have very small correlation with $Y$, but if you add them together then the $r$'s cancel and you get exactly $0.2Y$, which is perfectly correlated with $Y$.

In terms of variance explained, this makes perfect sense. $Y$ explains a very small proportion of the variance in $U$ because most of the variance in $U$ is due to $R$. Similarly, most of the variance in $V$ is due to $R$. But $Y$ explains all of the variance in $U+V$. Here is a plot of each variable:

However, when you try to use the term "variance explained" in the other direction, it becomes confusing. This is because saying that something "explains" something else is a one-way relationship (with a strong hint of causation). In everyday language, $A$ can explain $B$ without $B$ explaining $A$. Textbook authors seem to have borrowed the term "explain" to talk about correlation, in the hope that people won't realise that sharing a variance component isn't really the same as "explaining".