Analogia della correlazione di Pearson per 3 variabili

Sono interessato a sapere se una "correlazione" di tre variabili è qualcosa e, in caso affermativo, quale sarebbe?

Coefficiente di correlazione del momento del prodotto Pearson

Ora la domanda per 3 variabili: Is

nulla?

In R sembra qualcosa di interpretabile:

> a <- rnorm(100); b <- rnorm(100); c <- rnorm(100)
> mean((a-mean(a)) * (b-mean(b)) * (c-mean(c))) / (sd(a) * sd(b) * sd(c))
[1] -0.3476942

Normalmente osserviamo la correlazione tra 2 variabili dato il valore di una terza variabile fissa. Qualcuno potrebbe chiarire?

esso è davvero qualcosa. Per scoprirlo, dobbiamo esaminare ciò che sappiamo sulla correlazione stessa.

1. La matrice di correlazione di una variabile casuale a valori vettoriali $\mathbf{X}=(X_1,X_2,\ldots,X_p)$ è la varianza-covarianza matrice, o semplicemente "varianza," della versione standardizzata di $\mathbf{X}$ . Cioè, ogni $X_i$ è sostituito dalla sua versione recente e riscalata.

2. La covarianza di e X j è l'attesa del prodotto delle loro versioni centrati. Cioè, scrivendo X ′ i = X i - E [ X i ] e X ′ j = X j - E [ X j ] , abbiamo$X_i$$X_j$$X^\prime_i = X_i - E[X_i]$$X^\prime_j = X_j - E[X_j]$

   $$\operatorname{Cov}(X_i,X_j) = E[X^\prime_i X^\prime_j].$$

3. La varianza di , che scriverò Var ( X ) , non è un singolo numero. È l'array di valori Var ( X ) i j = Cov ( X i , X j ) $\mathbf{X}$$\operatorname{Var}(\mathbf{X})$

   $$\operatorname{Var}(\mathbf{X})_{ij}=\operatorname{Cov}(X_i,X_j).$$

4. Il modo di pensare alla covarianza per la generalizzazione prevista è considerarlo un tensore . Ciò significa che è una raccolta completa dei quantitativi , indicizzati da i e j che va da 1 attraverso p , i cui valori cambiare in modo particolarmente semplice prevedibile quando X subisce una trasformazione lineare. In particolare, sia Y = ( Y 1 , Y 2 , … , Y q ) un'altra variabile casuale valutata dal vettore definita da$v_{ij}$$i$$j$$1$$p$$\mathbf{X}$$\mathbf{Y}=(Y_1,Y_2,\ldots,Y_q)$

   $$Y_i = \sum_{j=1}^p a_i^{\,j}X_j.$$

   Le costanti (iejsonoindici-jnon è una potenza) formano unarrayq×pA=$a_i^{\,j}$$i$$j$$j$$q\times p$,j=1,…,pei=1,…,$\mathbb{A} = (a_i^{\,j})$$j=1,\ldots, p$$i=1,\ldots, q$ . La linearità delle aspettative implica

   $$\operatorname{Var}(\mathbf Y)_{ij} = \sum a_i^{\,k}a_j^{\,l}\operatorname{Var}(\mathbf X)_{kl} .$$

   In notazione matriciale,

   $$\operatorname{Var}(\mathbf Y) = \mathbb{A}\operatorname{Var}(\mathbf X) \mathbb{A}^\prime .$$

5. Tutti i componenti di realtà sono varianze univariate, a causa dell'identità di polarizzazione$\operatorname{Var}(\mathbf{X})$

   $$4\operatorname{Cov}(X_i,X_j) = \operatorname{Var}(X_i+X_j) - \operatorname{Var}(X_i-X_j).$$

   Questo ci dice che se capisci le varianze delle variabili casuali univariate, capisci già le covarianze delle variabili bivariate: sono "solo" combinazioni lineari di varianze.

L'espressione nella domanda è perfettamente analoga: le variabili sono state standardizzate come in ( 1 ) . Possiamo capire cosa rappresenta considerando ciò che significa per qualsiasi variabile, standardizzata o meno. Vorremmo sostituire ogni X i con la sua versione centrata, come in ( 2 ) , e formare quantità con tre indici,$X_i$$(1)$$X_i$$(2)$

Questi sono i momenti centrali (multivariati) di grado $3$ . Come in , formano un tensore: quando Y = A X , allora$(4)$$\mathbf{Y} = \mathbb{A}\mathbf{X}$

Gli indici in questa tripla somma vanno oltre tutte le combinazioni di numeri interi da a $1$$p$ .

L'analogo dell'identità di polarizzazione è

On the right hand side, $\mu_3$ refers to the (univariate) central third moment: the expected value of the cube of the centered variable. When the variables are standardized, this moment is usually called the skewness. Accordingly, we may think of $\mu_3(\mathbf{X})$ as being the multivariate skewness of $\mathbf{X}$. It is a tensor of rank three (that is, with three indices) whose values are linear combinations of the skewnesses of various sums and differences of the $X_i$. If we were to seek interpretations, then, we would think of these components as measuring in $p$ dimensions whatever the skewness is measuring in one dimension. In many cases,

• I primi momenti misurano la posizione of a distribution;

• I secondi momenti (la matrice varianza-covarianza) misurano la sua diffusione;

• I secondi momenti standardizzati (le correlazioni) indicano come varia la diffusione in $p$-dimensional space; and

• Il terzo e il quarto momento standardizzati sono presi per misurare la forma of a distribution relative to its spread.

Per approfondire cosa potrebbe significare una "forma" multidimensionale, osserviamo che possiamo comprendere PCA come un meccanismo per ridurre qualsiasi distribuzione multivariata a una versione standard situata all'origine e uguali spread in tutte le direzioni. Dopo aver eseguito PCA, quindi, $\mu_3$ fornirebbe gli indicatori più semplici della forma multidimensionale della distribuzione. Queste idee si applicano altrettanto bene ai dati quanto alle variabili casuali, poiché i dati possono sempre essere analizzati in termini di distribuzione empirica.

Riferimento

Alan Stuart e J. Keith Ord, Quinta teoria della statistica avanzata di Kendall Quinta edizione, Volume 1: Teoria della distribuzione ; Capitolo 3, Momenti e Cumulanti . Oxford University Press (1987).

Appendix: Proof of the Polarization Identity

Let $x_1,\ldots, x_n$ be algebraic variables. There are $2^n$ ways to add and subtract all $n$ of them. When we raise each of these sums-and-differences to the $n^\text{th}$ power, pick a suitable sign for each of those results, and add them up, we will get a multiple of $x_1x_2\cdots x_n$.

More formally, let $S=\{1,-1\}^n$ be the set of all $n$-tuples of $\pm 1$, so that any element $s\in S$ is a vector $s=(s_1,s_2,\ldots,s_n)$ whose coefficients are all $\pm 1$. The claim is

Indeed, the Multinomial Theorem states that the coefficient of the monomial $x_1^{i_1}x_2^{i_2}\cdots x_n^{i_n}$ (where the $i_j$ are nonnegative integers summing to $n$) in the expansion of any term on the right hand side is

In the sum $(1)$, the coefficients involving $x_1^{i_1}$ appear in pairs where one of each pair involves the case $s_1=1$, with coefficient proportional to $\color{red}{s_1}$ times $s_1^{i_1}$, equal to $1$, and the other of each pair involves the case $s_1=-1$, with coefficient proportional to $\color{red}{-1}$ times $(-1)^{i_1}$, equal to $(-1)^{i_1+1}$. They cancel in the sum whenever $i_1+1$ is odd. The same argument applies to $i_2, \ldots, i_n$. Consequently, the only monomials that occur with nonzero coefficients must have odd powers of all the $x_i$. The only such monomial is $x_1x_2\cdots x_n$. It appears with coefficient $\binom{n}{1,1,\ldots,1}=n!$ in all $2^n$ terms of the sum. Consequently its coefficient is $2^nn!$, QED.

We need take only half of each pair associated with $x_1$: that is, we can restrict the right hand side of $(1)$ to the terms with $s_1=1$ and halve the coefficient on the left hand side to $2^{n-1}n!$ . That gives precisely the two versions of the Polarization Identity quoted in this answer for the cases $n=2$ and $n=3$: $2^{2-1}2! = 4$ and $2^{3-1}3!=24$.

Of course the Polarization Identity for algebraic variables immediately implies it for random variables: let each $x_i$ be a random variable $X_i$. Take expectations of both sides. The result follows by linearity of expectation.

Hmmm. If we run...

a <- rnorm(100);
b <- rnorm(100);
c <- rnorm(100)
mean((a-mean(a))*(b-mean(b))*(c-mean(c)))/
  (sd(a) * sd(b) * sd(c))

it does seem to center on 0 (I haven't done a real simulation), but as @ttnphns alludes, running this (all variables the same)

a <- rnorm(100)
mean((a-mean(a))*(a-mean(a))*(a-mean(a)))/
  (sd(a) * sd(a) * sd(a))

also seems to center on 0, which certainly makes me wonder what use this could be.

Se è necessario calcolare la "correlazione" tra tre o più variabili, non è possibile utilizzare Pearson, poiché in questo caso sarà diverso per il diverso ordine delle variabili, consultare qui . Se sei interessato alla dipendenza lineare, o quanto bene sono adattati dalla linea 3D, puoi usare PCA, ottenere varianza spiegata per il primo PC, permutare i tuoi dati e trovare probabilità, che questo valore possa essere dovuto a ragioni casuali. Ho discusso qualcosa di simile qui (vedi i dettagli tecnici di seguito).

Codice Matlab

% Simulate our experimental data
x=normrnd(0,1,100,1);
y=2*x.*normrnd(1,0.1,100,1);
z=(-3*x+1.5*y).*normrnd(1,2,100,1);
% perform pca
[loadings, scores,variance]=pca([x,y,z]);
% Observed Explained Variance for first principal component
OEV1=variance(1)/sum(variance)
% perform permutations
permOEV1=[];
for iPermutation=1:1000
    permX=datasample(x,numel(x),'replace',false);
    permY=datasample(y,numel(y),'replace',false);
    permZ=datasample(z,numel(z),'replace',false);
    [loadings, scores,variance]=pca([permX,permY,permZ]);
    permOEV1(end+1)=variance(1)/sum(variance);
end

% Calculate p-value
p_value=sum(permOEV1>=OEV1)/(numel(permOEV1)+1)