Perché l'inversione di una matrice di covarianza produce correlazioni parziali tra variabili casuali?

Ho sentito che correlazioni parziali tra variabili casuali possono essere trovate invertendo la matrice di covarianza e prendendo le cellule appropriate da tale matrice di precisione risultante (questo fatto è menzionato in http://en.wikipedia.org/wiki/Partial_correlation , ma senza una prova) .

Perché è così?

— Michal
fonte

Se intendi ottenere una correlazione parziale in una cella controllata per tutte le altre variabili, l'ultimo paragrafo qui potrebbe far luce.

— ttnphns

Risposte:

Quando una variabile casuale multivariata ha una matrice di covarianza non degenerata , l'insieme di tutte le combinazioni lineari reali di formano uno spazio vettoriale reale dimensionale con base e un prodotto interno non degenerato dato da $(X_1,X_2,\ldots,X_n)$ $\mathbb{C} = (\gamma_{ij}) = (\text{Cov}(X_i,X_j))$ $X_i$ $n$ $E=(X_1,X_2,\ldots, X_n)$

⟨ X_{i}, X_{j} ⟩ = γ_{i j} .

$\langle X_i,X_j \rangle = \gamma_{ij}\ .$

La sua duplice base rispetto a questo prodotto interno , , è definita in modo univoco dalle relazioni $E^{*} = (X_1^{*},X_2^{*}, \ldots, X_n^{*})$

⟨ X_{i}^{*}, X_{j} ⟩ = δ_{i j},

$\langle X_i^{*}, X_j \rangle = \delta_{ij}\ ,$

il delta di Kronecker (uguale a quando e altrimenti). $1$ $i=j$ $0$

La doppia base è interessante qui perché la correlazione parziale di e si ottiene come correlazione tra la parte di che rimane dopo averlo proiettato nello spazio attraversato da tutti gli altri vettori (chiamiamolo semplicemente "residuo", ) e la parte comparabile di , il suo residuo . Eppure è un vettore ortogonale a tutti i vettori oltre a e ha un prodotto interno positivo con da cui deve essere un multiplo non negativo di , e allo stesso modo per $X_i$ $X_j$ $X_i$ $X_{i\circ}$ $X_j$ $X_{j\circ}$ $X_i^{*}$ $X_i$ $X_i$ $X_{i\circ}$ $X_i^{*}$ $X_j$ . Scriviamo quindi

X_{i \circ} = λ_{i} X_{i}^{*}, X_{j \circ} = λ_{j} X_{j}^{*}

$X_{i\circ} = \lambda_i X_i^{*},\ X_{j\circ} = \lambda_j X_j^{*}$

per numeri reali positivi e . $\lambda_i$ $\lambda_j$

La correlazione parziale è il prodotto punto normalizzato dei residui, che è invariato dal riscalaggio:

ρ_{i j \circ} = \frac{⟨ X_{i \circ}, X_{j \circ} ⟩}{\sqrt{⟨ X_{i \circ}, X_{i \circ} ⟩ ⟨ X_{j \circ}, X_{j \circ} ⟩}} = \frac{λ_{i} λ_{j} ⟨ X_{i}^{*}, X_{j}^{*} ⟩}{\sqrt{λ_{i}^{2} ⟨ X_{i}^{*}, X_{i}^{*} ⟩ λ_{j}^{2} ⟨ X_{j}^{*}, X_{j}^{*} ⟩}} = \frac{⟨ X_{i}^{*}, X_{j}^{*} ⟩}{\sqrt{⟨ X_{i}^{*}, X_{i}^{*} ⟩ ⟨ X_{j}^{*}, X_{j}^{*} ⟩}} .

$\rho_{ij\circ} = \frac{\langle X_{i\circ}, X_{j\circ} \rangle}{\sqrt{\langle X_{i\circ}, X_{i\circ} \rangle\langle X_{j\circ}, X_{j\circ} \rangle}} = \frac{\lambda_i\lambda_j\langle X_{i}^{*}, X_{j}^{*} \rangle}{\sqrt{\lambda_i^2\langle X_{i}^{*}, X_{i}^{*} \rangle\lambda_j^2\langle X_{j}^{*}, X_{j}^{*} \rangle}} = \frac{\langle X_{i}^{*}, X_{j}^{*} \rangle}{\sqrt{\langle X_{i}^{*}, X_{i}^{*} \rangle\langle X_{j}^{*}, X_{j}^{*} \rangle}}\ .$

(In entrambi i casi la correlazione parziale sarà zero ogni volta che i residui sono ortogonali, indipendentemente dal fatto che siano o meno zero.)

Dobbiamo trovare i prodotti interni degli elementi a doppia base. A tal fine, espandere gli elementi a doppia base in termini di base originale : $E$

X_{i}^{*} = \sum_{j = 1}^{n} β_{i j} X_{j} .

$X_i^{*} = \sum_{j=1}^n \beta_{ij} X_j\ .$

Quindi per definizione

δ_{i k} = ⟨ X_{i}^{*}, X_{k} ⟩ = \sum_{j = 1}^{n} β_{i j} ⟨ X_{j}, X_{k} ⟩ = \sum_{j = 1}^{n} β_{i j} γ_{j k} .

$\delta_{ik} = \langle X_i^{*}, X_k \rangle = \sum_{j=1}^n \beta_{ij}\langle X_j, X_k \rangle = \sum_{j=1}^n \beta_{ij}\gamma_{jk}\ .$

In notazione matriciale con la matrice identità e la matrice change-of-base, questo afferma $\mathbb{I} = (\delta_{ij})$ $\mathbb{B} = (\beta_{ij})$

I = B C .

$\mathbb{I} = \mathbb{BC}\ .$

Cioè, , che è esattamente ciò che afferma l'articolo di Wikipedia. La formula precedente per la correlazione parziale dà $\mathbb{B} = \mathbb{C}^{-1}$

ρ_{i j \cdot} = \frac{β_{i j}}{\sqrt{β_{i i} β_{j j}}} = \frac{C_{i j}^{- 1}}{\sqrt{C_{i i}^{- 1} C_{j j}^{- 1}}} .

$\rho_{ij\cdot} = \frac{\beta_{ij}}{\sqrt{\beta_{ii} \beta_{jj}}} = \frac{\mathbb{C}^{-1}_{ij}}{\sqrt{\mathbb{C}^{-1}_{ii} \mathbb{C}^{-1}_{jj}}}\ .$

— whuber
fonte

+1, ottima risposta. Ma perché chiamate questa doppia base "doppia base rispetto a questo prodotto interno" - cosa significa esattamente "rispetto a questo prodotto interno"? Sembra che tu usi il termine "doppia base" come definito qui mathworld.wolfram.com/DualVectorSpace.html nel secondo paragrafo ("Data una base di spazio vettoriale per esiste una doppia base .. . ") oppure qui en.wikipedia.org/wiki/Dual_basis ed è indipendente da qualsiasi prodotto scalare.

v_{1}, . . ., v_{n}

$v_1, ..., v_n$

V

$V$

— ameba dice Ripristina Monica l'

@amoeba Esistono due tipi di dual. Il doppio (naturale) di qualsiasi spazio vettoriale su un campo è l'insieme di funzioni lineari , chiamato . Non esiste un modo canonico per identificare con , anche se hanno la stessa dimensione quando è di dimensione finita. Qualsiasi prodotto interno corrisponde a tale mappa e viceversa , tramite(La non generosità di assicura che sia un isomorfismo dello spazio vettoriale.) Questo dà un modo per visualizzare elementi di

V

$V$

R

$R$

ϕ : V \to R

$\phi:V\to R$

V^{*}

$V^*$

V^{*}

$V^*$

V

$V$

V

$V$

γ

$\gamma$

g : V \to V^{*}

$g:V\to V^*$

g (v) (w) = γ (v, w) .

$g(v)(w)=\gamma(v,w).$

γ

$\gamma$

g

$g$

V

$V$ come se fossero elementi del doppio - ma dipende da .

V^{*}

$V^*$

γ

$\gamma$

— whuber

@mpettis Quei punti erano difficili da notare. Li ho sostituiti con piccoli cerchi aperti per facilitare la lettura della notazione. Grazie per averlo segnalato.

— whuber

Le risposte al piano di @Andy Ron Christensen a domande complesse potrebbero essere il tipo di cosa che stai cercando. Sfortunatamente, il suo approccio fa (IMHO) un'indebita dipendenza da argomenti e calcoli coordinati. Nell'introduzione originale (vedi p. Xiii), Christensen spiega che è per ragioni pedagogiche.

— whuber

@whuber, La tua prova è fantastica. Mi chiedo se un libro o un articolo contenga una prova del genere in modo da poterlo citare.

— Harry

Ecco una prova con solo calcoli di matrice.

Apprezzo la risposta di Whuber. È molto approfondito sulla matematica dietro la scena. Tuttavia, non è ancora così banale come utilizzare la sua risposta per ottenere il segno meno nella formula indicata nella Wikipedia Partial_correlation # Using_matrix_inversion .

ρ_{X_{i} X_{j} \cdot V ∖ {X_{i}, X_{j}}} = - \frac{p_{i j}}{\sqrt{p_{i i} p_{j j}}}

$\rho_{X_iX_j\cdot \mathbf{V} \setminus \{X_i,X_j\}} = - \frac{p_{ij}}{\sqrt{p_{ii}p_{jj}}}$

Per ottenere questo segno meno, ecco una prova diversa che ho trovato in "Modelli grafici Lauriten 1995 Pagina 130". È semplicemente fatto da alcuni calcoli di matrice.

La chiave è la seguente identità matrice: dove , e .

{(\begin{matrix} A & B \\ C & D \end{matrix})}^{- 1} = (\begin{matrix} E^{- 1} & - E^{- 1} G \\ - F E^{- 1} & D^{- 1} + F E^{- 1} G \end{matrix})

$\begin{pmatrix} A & B \\ C & D \end{pmatrix}^{-1} = \begin{pmatrix} E^{-1} & -E^{-1}G \\ -FE^{-1} & D^{-1}+FE^{-1}G \end{pmatrix}$

E = A - B D^{- 1} C

$E = A - BD^{-1}C$

F = D^{- 1} C

$F = D^{-1}C$

G = B D^{- 1}

$G = BD^{-1}$

Annota la matrice di covarianza come dove è matrice di covarianza di e è matrice di covarianza di .

Ω = (\begin{matrix} Ω_{11} & Ω_{12} \\ Ω_{21} & Ω_{22} \end{matrix})

$\Omega = \begin{pmatrix} \Omega_{11} & \Omega_{12} \\ \Omega_{21} & \Omega_{22} \end{pmatrix}$

Ω_{11}

$\Omega_{11}$

(X_{i}, X_{j})

$(X_i, X_j)$

Ω_{22}

$\Omega_{22}$

V ∖ {X_{i}, X_{j}}

$\mathbf{V} \setminus \{X_i, X_j \}$

Sia . Allo stesso modo, annota come $P = \Omega^{-1}$ $P$

P = (\begin{matrix} P_{11} & P_{12} \\ P_{21} & P_{22} \end{matrix})

$P = \begin{pmatrix} P_{11} & P_{12} \\ P_{21} & P_{22} \end{pmatrix}$

Dall'identità della matrice chiave,

P_{11}^{- 1} = Ω_{11} - Ω_{12} Ω_{22}^{- 1} Ω_{21}

$P_{11}^{-1} = \Omega_{11} - \Omega_{12}\Omega_{22}^{-1}\Omega_{21}$

Sappiamo anche che è la matrice di covarianza di (da Multivariate_normal_distribution # Conditional_distributions ). La correlazione parziale è quindi Uso la notazione che la th voce della matrice è indicata da . $\Omega_{11} - \Omega_{12}\Omega_{22}^{-1}\Omega_{21}$ $(X_i, X_j) | \mathbf{V} \setminus \{X_i, X_j\}$

ρ_{X_{i} X_{j} \cdot V ∖ {X_{i}, X_{j}}} = \frac{[P_{11}^{- 1}]_{12}}{\sqrt{[P_{11}^{- 1}]_{11} [P_{11}^{- 1}]_{22}}} .

$\rho_{X_iX_j\cdot \mathbf{V} \setminus \{X_i,X_j\}} = \frac{[P_{11}^{-1}]_{12}}{\sqrt{[P_{11}^{-1}]_{11}[P_{11}^{-1}]_{22}}}.$

(k, l)

$(k,l)$

M

$M$

[M]_{k l}

$[M]_{kl}$

Solo una semplice formula di inversione della matrice 2 per 2,

(\begin{matrix} [P_{11}^{- 1}]_{11} & [P_{11}^{- 1}]_{12} \\ [P_{11}^{- 1}]_{21} & [P_{11}^{- 1}]_{22} \end{matrix}) = P_{11}^{- 1} = \frac{1}{det P_{11}} (\begin{matrix} [P_{11}]_{22} & - [P_{11}]_{12} \\ - [P_{11}]_{21} & [P_{11}]_{11} \end{matrix})

$\begin{pmatrix} [P_{11}^{-1}]_{11} & [P_{11}^{-1}]_{12} \\ [P_{11}^{-1}]_{21} & [P_{11}^{-1}]_{22} \\ \end{pmatrix} = P_{11}^{-1} = \frac{1}{\text{det} P_{11}} \begin{pmatrix} [P_{11}]_{22} & -[P_{11}]_{12} \\ -[P_{11}]_{21} & [P_{11}]_{11} \\ \end{pmatrix}$

Pertanto, che è esattamente ciò che afferma l'articolo di Wikipedia .

ρ_{X_{i} X_{j} \cdot V ∖ {X_{i}, X_{j}}} = \frac{[P_{11}^{- 1}]_{12}}{\sqrt{[P_{11}^{- 1}]_{11} [P_{11}^{- 1}]_{22}}} = \frac{- \frac{1}{det P_{11}} [P_{11}]_{12}}{\sqrt{\frac{1}{det P_{11}} [P_{11}]_{22} \frac{1}{det P_{11}} [P_{11}]_{11}}} = \frac{- [P_{11}]_{12}}{\sqrt{[P_{11}]_{22} [P_{11}]_{11}}}

$\rho_{X_iX_j\cdot \mathbf{V} \setminus \{X_i,X_j\}} = \frac{[P_{11}^{-1}]_{12}}{\sqrt{[P_{11}^{-1}]_{11}[P_{11}^{-1}]_{22}}} = \frac{- \frac{1}{\text{det}P_{11}}[P_{11}]_{12}}{\sqrt{\frac{1}{\text{det}P_{11}}[P_{11}]_{22}\frac{1}{\text{det}P_{11}}[P_{11}]_{11}}} = \frac{-[P_{11}]_{12}}{\sqrt{[P_{11}]_{22}[P_{11}]_{11}}}$

— Po C.
fonte

Se lasciamo i=j, quindi rho_ii V\{X_i, X_i} = -1, come interpretiamo quegli elementi diagonali nella matrice di precisione?

— Jason,

Buon punto. La formula dovrebbe essere valida solo per i = / = j. Dalla dimostrazione, il segno meno deriva dall'inversione della matrice 2 per 2. Non accadrebbe se i = j.

— Po C.

Quindi i numeri diagonali non possono essere associati alla correlazione parziale. Cosa rappresentano? Non sono solo inversioni delle varianze, vero?

— Jason,

Questa formula è valida per i = / = j. Non ha senso per i = j.

— Po C.

Si noti che il segno della risposta dipende in realtà da come si definisce la correlazione parziale. C'è una differenza tra regredire e sulle altre variabili separatamente rispetto alla regressione di e sulle altre variabili insieme. Sotto la seconda definizione, lascia che la correlazione tra i residui e sia . Quindi la correlazione parziale dei due (regredendo su e viceversa) è . $X_i$ $X_j$ $n - 1$ $X_i$ $X_j$ $n - 2$ $\epsilon_i$ $\epsilon_j$ $\rho$ $\epsilon_i$ $\epsilon_j$ $-\rho$

Questo spiega la confusione nei commenti sopra, così come su Wikipedia. La seconda definizione è usata universalmente da quello che posso dire, quindi dovrebbe esserci un segno negativo.

Inizialmente avevo pubblicato una modifica sull'altra risposta, ma ho fatto un errore - mi dispiace per quello!

— Johnny Ho
fonte