Vincolato per la correlazione di tre variabili casuali

28

Esistono tre variabili casuali, . Le tre correlazioni tra le tre variabili sono le stesse. Questo è, $x,y,z$

ρ = cor (x, y) = cor (x, z) = cor (y, z)

$\rho=\textrm{cor}(x,y)=\textrm{cor}(x,z)=\textrm{cor}(y,z)$

Qual è il limite più stretto che puoi dare a $\rho$ ?

correlation correlation-matrix

— user1352399
fonte

1

Presumibilmente con "pho", intendi rho (

ρ

$\rho$ ). Tuttavia, la tua domanda non è chiara. Cosa intendi con "Qual è il limite più stretto che puoi dare"?

— gung - Ripristina Monica

Bene, il nome della variabile è solo un manichino. Per limite più stretto, intendo qualcosa come [-1, 1] per una correlazione, ma questo chiaramente non è il limite più stretto possibile.

— user1352399

Vuoi dire che rho = cor (x, y) = cor (x, z) = cor (y, z), e quali sono i limiti di rho?

— user31264,

Sì, intendo che rho = cor (x, y) = cor (x, z) = cor (y, z) e quali sono i limiti di rho. Dilip, puoi estenderlo per dire che rho deve essere non negativo, cioè> = 0?

— user1352399

1

Un libro di testo da citare per questo è Seber & Lee "Linear Regression Analysis" (almeno era nella prima edizione ...)

— kjetil b halvorsen,

29

La correlazione comune può avere valore ma non . Se , allora non può essere uguale a ma in realtà è . Il valore più piccolo della correlazione comune di tre variabili casuali è . Più in generale, la correlazione minima comune di variabili casuali è quando, considerati come vettori, si trovano ai vertici di un simplex (di dimensione ) nello spazio -dimensionale. $\rho$ $+1$ $-1$ $\rho_{X,Y}= \rho_{X,Z}=-1$ $\rho_{Y,Z}$ $-1$ $+1$ $-\frac{1}{2}$ $n$ $-\frac{1}{n-1}$ $n-1$ $n$

Considera la varianza della somma delle variabili casuali varianza unità . Abbiamo che dove è la media valore dei coefficienti di correlazione . Ma poiché , otteniamo prontamente da quel $n$ $X_i$

\begin{aligned} var (\sum_{i = 1}^{n} X_{i}) & = \sum_{i = 1}^{n} var (X_{i}) + \sum_{i = 1}^{n} \sum_{j \neq i}^{n} cov (X_{i}, X_{j}) \\ = n + \sum_{i = 1}^{n} \sum_{j \neq i}^{n} ρ_{X_{i}, X_{j}} \\ (1) & = n + n (n - 1) \bar{ρ} \end{aligned}

$\begin{align*} \operatorname{var}\left(\sum_{i=1}^n X_i\right) &= \sum_{i=1}^n \operatorname{var}(X_i) + \sum_{i=1}^n\sum_{j\neq i}^n \operatorname{cov}(X_i,X_j)\\ &= n + \sum_{i=1}^n\sum_{j\neq i}^n \rho_{X_i,X_j}\\ &= n + n(n-1)\bar{\rho} \tag{1} \end{align*}$

\bar{ρ}

$\bar{\rho}$

(\binom{n}{2})

$\binom{n}{2}$

var (\sum_{i} X_{i}) \geq 0

$\operatorname{var}\left(\sum_i X_i\right) \geq 0$

(1)

$(1)$

\bar{ρ} \geq - \frac{1}{n - 1} .

$\bar{\rho} \geq -\frac{1}{n-1}.$

Quindi, il valore medio di un coefficiente di correlazione è almeno . Se tutti i coefficienti di correlazione hanno lo stesso valore , allora anche la loro media è uguale a e quindi abbiamo quel È possibile avere variabili casuali per le quali il valore di correlazione comune uguale a ? Sì. Supponiamo che gli siano variabili casuali di varianza unitaria non correlate e impostate . Quindi, , mentre $-\frac{1}{n-1}$ $\rho$ $\rho$

ρ \geq - \frac{1}{n - 1} .

$\rho \geq -\frac{1}{n-1}.$

ρ

$\rho$

- \frac{1}{n - 1}

$-\frac{1}{n-1}$

X_{i}

$X_i$

Y_{i} = X_{i} - \frac{1}{n} \sum_{j = 1}^{n} X_{j} = X_{i} - \bar{X}

$Y_i = X_i - \frac{1}{n}\sum_{j=1}^n X_j = X_i -\bar{X}$

E [Y_{i}] = 0

$E[Y_i]=0$

var (Y_{i}) = {(\frac{n - 1}{n})}^{2} + (n - 1) {(\frac{1}{n})}^{2} = \frac{n - 1}{n}

$\displaystyle \operatorname{var}(Y_i) = \left(\frac{n-1}{n}\right)^2 + (n-1)\left(\frac{1}{n}\right)^2 = \frac{n-1}{n}$ e dà Quindi sono variabili casuali che raggiungono il valore minimo comune di correlazione di . Si noti, per inciso, che , e quindi, considerati vettori, le variabili casuali si trovano in un iperpiano dimensionale di

cov (Y_{i}, Y_{j}) = - 2 (\frac{n - 1}{n}) (\frac{1}{n}) + (n - 2) {(\frac{1}{n})}^{2} = - \frac{1}{n}

$\operatorname{cov}(Y_i,Y_j) = -2\left(\frac{n-1}{n}\right)\left(\frac{1}{n}\right) + (n-2)\left(\frac{1}{n}\right)^2 = -\frac{1}{n}$

ρ_{Y_{i}, Y_{j}} = \frac{cov (Y_{i}, Y_{j})}{\sqrt{var (Y_{i}) var (Y_{j})}} = \frac{- 1 / n}{(n - 1) / n} = - \frac{1}{n - 1} .

$\rho_{Y_i,Y_j} = \frac{\operatorname{cov}(Y_i,Y_j)}{\sqrt{\operatorname{var}(Y_i)\operatorname{var}(Y_j)}} =\frac{-1/n}{(n-1)/n} = -\frac{1}{n-1}.$

Y_{i}

$Y_i$

- \frac{1}{n - 1}

$-\frac{1}{n-1}$

\sum_{i} Y_{i} = 0

$\sum_i Y_i = 0$

(n - 1)

$(n-1)$

n

$n$ spazio tridimensionale.

— Dilip Sarwate
fonte

25

Il limite più stretto possibile è . $-1/2 \le \rho \le 1$ Tutti questi valori possono effettivamente apparire - nessuno è impossibile.

Per mostrare che non c'è nulla di particolarmente profondo o misterioso nel risultato, questa risposta presenta innanzitutto una soluzione completamente elementare, che richiede solo il fatto ovvio che le varianze - essendo i valori attesi dei quadrati - devono essere non negativi. Questa è seguita da una soluzione generale (che utilizza fatti algebrici leggermente più sofisticati).

Soluzione elementare

La varianza di qualsiasi combinazione lineare di deve essere non negativa. $x,y,z$ Lascia che le varianze di queste variabili siano rispettivamente e . Tutti sono diversi da zero (altrimenti non verrebbero definite alcune delle correlazioni). Usando le proprietà di base delle varianze possiamo calcolare $\sigma^2, \tau^2,$ $\upsilon^2$

0 \leq Var (α x / σ + β y / τ + γ z / υ) = α^{2} + β^{2} + γ^{2} + 2 ρ (α β + β γ + γ α)

$0 \le \text{Var}(\alpha x/\sigma + \beta y/\tau + \gamma z/\upsilon) = \alpha^2 +\beta^2+\gamma^2 + 2\rho(\alpha\beta+\beta\gamma+\gamma\alpha)$

per tutti i numeri reali . $(\alpha, \beta, \gamma)$

Supponendo , una piccola manipolazione algebrica implica che ciò equivale a $\alpha+\beta+\gamma\ne 0$

\frac{- ρ}{1 - ρ} \leq \frac{1}{3} {(\frac{\sqrt{(α^{2} + β^{2} + γ^{2}) / 3}}{(α + β + γ) / 3})}^{2} .

$\frac{-\rho}{1-\rho} \le \frac{1}{3} \left(\frac{\sqrt{(\alpha^2+\beta^2+\gamma^2)/3}}{(\alpha+\beta+\gamma)/3}\right)^2.$

Il termine quadrato sul lato destro è il rapporto tra due mezzi di potenza di . La disuguaglianza elementare media potenza (con pesi ) afferma che il rapporto non può superare (e sarà uguale a quando ). Un po 'più di algebra implica quindi $(\alpha, \beta, \gamma)$ $(1/3, 1/3, 1/3)$ $1$ $1$ $\alpha=\beta=\gamma\ne 0$

ρ \geq - 1 / 2.

$\rho \ge -1/2.$

L'esempio esplicito di seguito (che coinvolge variabili normali banali ) mostra che tutti questi valori, , nascono effettivamente come correlazioni. In questo esempio viene utilizzata solo la definizione di normali multivariati, ma in caso contrario non viene richiamato alcun risultato di calcolo o algebra lineare. $n=3$ $(x,y,z)$ $-1/2 \le \rho \le 1$

Soluzione generale

Panoramica

Qualsiasi matrice di correlazione è la matrice di covarianza delle variabili casuali standardizzate, per cui - come tutte le matrici di correlazione - deve essere semi-definita positiva. Equivalentemente, i suoi autovalori sono non negativi. Ciò impone una condizione semplice su : non deve essere inferiore a (e ovviamente non può superare ). Al contrario, tale effettivamente corrisponde alla matrice di correlazione di qualche distribuzione trivariata, dimostrando questi limiti sono il più stretto possibile. $\rho$ $-1/2$ $1$ $\rho$

Derivazione delle condizioni su $\rho$

Considera la matrice di correlazione per con tutti i valori off-diagonali uguali a(La domanda riguarda il caso ma questa generalizzazione non è più difficile da analizzare.) Chiamiamolo Per definizione, è un autovalore di purché esista un vettore diverso da zero tale che $n$ $n$ $\rho.$ $n=3,$ $\mathbb{C}(\rho, n).$ $\lambda$ $\mathbf{x}_\lambda$

C (ρ, n) x_{λ} = λ x_{λ} .

$\mathbb{C}(\rho,n) \mathbf{x}_\lambda = \lambda \mathbf{x}_\lambda.$

Questi autovalori sono facili da trovare nel caso presente, perché

Lasciando , calcola quello $\mathbf{1} = (1, 1, \ldots, 1)'$

$C (ρ, n) 1 = (1 + (n - 1) ρ) 1 .$ $\mathbb{C}(\rho,n)\mathbf{1} = (1+(n-1)\rho)\mathbf{1}.$
Lasciando con un solo nella posizione (per ), calcola quello $\mathbf{y}_j = (-1, 0, \ldots, 0, 1, 0, \ldots, 0)$ $1$ $j^\text{th}$ $j = 2, 3, \ldots, n$

$C (ρ, n) y_{j} = (1 - ρ) y_{j} .$ $\mathbb{C}(\rho,n)\mathbf{y}_j = (1-\rho)\mathbf{y}_j.$

Dato che gli autovettori trovati finora occupano l'intero spazio dimensionale (prova: una facile riduzione di riga mostra il valore assoluto del loro determinante uguale a , che è diverso da zero), costituiscono una base di tutti gli autovettori. Abbiamo quindi trovato tutti gli autovalori e determinato che sono o (quest'ultimo con molteplicità ). Oltre alla ben nota disuguaglianza soddisfatta da tutte le correlazioni, la non negatività del primo autovalore implica ulteriormente $n$ $n$ $n$ $1+(n-1)\rho$ $1-\rho$ $n-1$ $-1 \le \rho \le 1$

ρ \geq - \frac{1}{n - 1}

$\rho \ge -\frac{1}{n-1}$

mentre la non negatività del secondo autovalore non impone nuove condizioni.

Prova di sufficienza delle condizioni

Le implicazioni funzionano in entrambe le direzioni: purché la matrice è definita non negativa e quindi è una matrice di correlazione valida. È, ad esempio, la matrice di correlazione per una distribuzione multinormale. In particolare, scrivi $-1/(n-1)\le \rho \le 1,$ $\mathbb{C}(\rho, n)$

Σ (ρ, n) = (1 + (n - 1) ρ) I_{n} - \frac{ρ}{(1 - ρ) (1 + (n - 1) ρ)} 1 1^{'}

$\Sigma(\rho, n) = (1 + (n-1)\rho)\mathbb{I}_n - \frac{\rho}{(1-\rho)(1+(n-1)\rho)}\mathbf{1}\mathbf{1}'$

per l'inverso di quando Ad esempio, quando $\mathbb{C}(\rho, n)$ $-1/(n-1) \lt \rho \lt 1.$ $n=3$

Σ (ρ, 3) = \frac{1}{(1 - ρ) (1 + 2 ρ)} (\begin{array}{ccc} ρ + 1 & - ρ & - ρ \\ - ρ & ρ + 1 & - ρ \\ - ρ & - ρ & ρ + 1 \end{array}) .

$\color{gray}{\Sigma(\rho, 3) = \frac{1}{(1-\rho)(1+2\rho)} \left( \begin{array}{ccc} \rho +1 & -\rho & -\rho \\ -\rho & \rho +1 & -\rho \\ -\rho & -\rho & \rho +1 \\ \end{array} \right)}.$

Lascia che il vettore di variabili casuali abbia una funzione di distribuzione $(X_1, X_2, \ldots, X_n)$

f_{ρ, n} (x) = \frac{\exp (- \frac{1}{2} x Σ (ρ, n) x^{'})}{(2 π)^{n / 2} {((1 - ρ)^{n - 1} (1 + (n - 1) ρ))}^{1 / 2}}

$f_{\rho, n}(\mathbf{x}) = \frac{\exp\left(-\frac{1}{2}\mathbf{x}\Sigma(\rho, n)\mathbf{x}'\right)}{(2\pi)^{n/2}\left((1-\rho)^{n-1}(1+(n-1)\rho)\right)^{1/2}}$

dove . Ad esempio, quando uguale $\mathbf{x} = (x_1, x_2, \ldots, x_n)$ $n=3$

\frac{1}{\sqrt{(2 π)^{3} (1 - ρ)^{2} (1 + 2 ρ)}} \exp (- \frac{(1 + ρ) (x^{2} + y^{2} + z^{2}) - 2 ρ (x y + y z + z x)}{2 (1 - ρ) (1 + 2 ρ)}) .

$\color{gray}{\frac{1}{\sqrt{(2\pi)^{3}(1-\rho)^2(1+2\rho)}} \exp\left(-\frac{(1+\rho)(x^2+y^2+z^2) - 2\rho(xy+yz+zx)}{2(1-\rho)(1+2\rho)}\right)}.$

La matrice di correlazione per queste variabili casuali è $n$ $\mathbb{C}(\rho, n).$

figura

Contorni delle funzioni di densità Da sinistra a destra, . Nota come la densità si sposta dalla concentrazione vicino al piano alla concentrazione vicino alla linea . $f_{\rho,3}.$ $\rho=-4/10, 0, 4/10, 8/10$ $x+y+z=0$ $x=y=z$

I casi speciali e possono anche essere realizzati con distribuzioni degenerate ; Non entrerò nei dettagli se non per sottolineare che nel primo caso la distribuzione può essere considerata supportata sull'hyperplane , dove è una somma di media identicamente distribuita- Distribuzione normale, mentre in quest'ultimo caso (perfetta correlazione positiva) è supportata sulla linea generata da , dove ha una distribuzione normale pari a . $\rho = -1/(n-1)$ $\rho = 1$ $\mathbf{x}.\mathbf{1}=0$ $0$ $\mathbf{1}'$ $0$

Maggiori informazioni sulla non degenerazione

Una revisione di questa analisi chiarisce che la matrice di correlazione ha un rango di e ha un rango di (perché solo un autovettore ha un autovalore diverso da zero). Per , ciò rende degenerata la matrice di correlazione in entrambi i casi. Altrimenti, l'esistenza del suo inverso dimostra che non è generosa. $\mathbb{C}(-1/(n-1), n)$ $n-1$ $\mathbb{C}(1, n)$ $1$ $n\ge 2$ $\Sigma(\rho, n)$

— whuber
fonte

20

La tua matrice di correlazione è

(\begin{matrix} 1 & ρ & ρ \\ ρ & 1 & ρ \\ ρ & ρ & 1 \end{matrix})

$\begin{pmatrix} 1&\rho&\rho\\ \rho&1&\rho\\ \rho&\rho&1 \end{pmatrix}$

La matrice è semidefinita positiva se i principali minori principali sono tutti non negativi. I principali minori sono i determinanti dei blocchi "nord-ovest" della matrice, ovvero 1, il determinante di

(\begin{matrix} 1 & ρ \\ ρ & 1 \end{matrix})

$\begin{pmatrix} 1&\rho\\ \rho&1\end{pmatrix}$

e il determinante della matrice di correlazione stessa.

1 è ovviamente positivo, il secondo minore minore è , che non è negativo per qualsiasi correlazione ammissibile . Il determinante dell'intera matrice di correlazione è $1-\rho^2$ $\rho\in[-1,1]$

2 ρ^{3} - 3 ρ^{2} + 1.

$2\rho^3-3\rho^2+1.$

Il diagramma mostra il determinante della funzione nell'intervallo di correlazioni ammissibili . $[-1,1]$ inserisci qui la descrizione dell'immagine

Vedi la funzione non è negativa nell'intervallo dato da @stochazesthai (che puoi anche verificare trovando le radici dell'equazione determinante).

— Christoph Hanck
fonte

Non stiamo assumendo nella tua risposta che ? Perché possiamo

V a r () = 1

$Var( )=1$

— Un vecchio nel mare.

1

@Anold Sembra che tu stia leggendo "covarianza" in cui è scritta "correlazione".

— whuber

6

Esistono variabili casuali , e con correlazioni a coppie se e solo se la matrice di correlazione è semidefinita positiva. Questo succede solo per . $X$ $Y$ $Z$ $\rho_{XY} = \rho_{YZ} = \rho_{XZ} = \rho$ $\rho \in [-\frac{1}{2},1]$

— stochazesthai
fonte

2

puoi spiegarlo in termini molto semplici.

— Elizabeth Susan Joseph

1

Non penso che esista una spiegazione che non richiede la conoscenza dell'algebra matriciale. Ti consiglio di guardare la pagina di Wikipedia ( en.wikipedia.org/wiki/… ).

— Stochazesthai,

4

Ho trovato una spiegazione che richiede solo l'algebra di base (livello superiore) e l'ho inclusa nella mia risposta.