Perché la matrice di correlazione deve essere semi-definita positiva e cosa significa essere o meno semi-definita positiva?

Ho studiato il significato della proprietà semi-definita positiva delle matrici di correlazione o covarianza.

Sto cercando informazioni su

Definizione di semi-definitività positiva;
Le sue proprietà importanti, implicazioni pratiche;
La conseguenza di avere determinante negativo, impatto sull'analisi multivariata o risultati della simulazione ecc.

— Melone
fonte

Vuoi capire cosa semi-determinatezza è , o vuoi sapere perché matrici di correlazione devono essere semi-definita, o vuoi sapere quali importanti risultati sono implicite da questa proprietà?

— whuber

Se le matrici di correlazione non fossero definite semi-positive, si potrebbero ottenere varianze negative.

Ho modificato un po 'la tua domanda, per favore controlla. Inoltre, si noti che una matrice con un numero pari di autovalori negativi avrà comunque un determinante positivo.

— ttnphns,

Una matrice di covarianza NON è sempre uguale alla matrice di correlazione! La covarianza considera variabili normalizzate mentre la matrice di correlazione no.

— Manoj Kumar,

Domande correlate: ogni matrice di covarianza è definita positiva? considera il caso più ampio delle matrici di covarianza, di cui le matrici di correlazione sono un caso speciale; inoltre ogni matrice di correlazione è semi-definita positiva? e ogni matrice di correlazione è definita positiva?

— Silverfish,

Risposte:

La varianza di una somma ponderata di variabili casuali deve essere non negativa per tutte le scelte di numeri reali . Poiché la varianza può essere espressa come $\sum_i a_i X_i$ $a_i$

var (\underset{io}{Σ} {un'}_{io} X_{io}) = \underset{io}{Σ} \underset{j}{Σ} {un'}_{io} {un'}_{j} COV (X_{io}, X_{j}) = \underset{io}{Σ} \underset{j}{Σ} {un'}_{io} {un'}_{j} Σ_{io, j},

$\operatorname{var}\left(\sum_i a_i X_i\right) = \sum_i \sum_j a_ia_j \operatorname{cov}(X_i,X_j) = \sum_i \sum_j a_ia_j \Sigma_{i,j},$ abbiamo che la matrice di covarianza

deve essere semidefinita positiva (che a volte viene definita definita non negativa). Ricordiamo che una matrice

è chiamata semidefinita positiva se e solo se

Σ = [Σ_{i, j}]

$\Sigma = [\Sigma_{i,j}]$

C

$C$

\underset{io}{Σ} \underset{j}{Σ} {un'}_{io} {un'}_{j} C_{io, j} \geq 0 \forall {un'}_{io}, {un'}_{j} \in R .

$\sum_i \sum_j a_ia_j C_{i,j} \geq 0 \;\; \forall a_i, a_j \in \mathbb R.$

— Dilip Sarwate
fonte

Grazie, ho rimosso il mio voto negativo ma non ho votato perché non risponde delle implicazioni pratiche. Supponiamo che io abbia una matrice non definita positiva (dovuta per esempio alla modifica da parte di "esperti"). Cosa accadrebbe se lo usassi per calibrare e / o simulare i dati? In particolare, questo è un vero problema quando si cerca di studiare una somma grande e ci sono solo pochi valori di autovalori negativi? Quale sarebbe un algoritmo efficiente per trasformare una matrice di correlazione semi-definita non positiva in una matrice semi-definita positiva? Quale sarebbe l'impatto di questo algoritmo?

— lcrmorin,

@Were_cat Grazie per l'inversione del downvote.

— Dilip Sarwate,

Potresti spiegare la prima uguaglianza nella prima equazione?

— Vivek Subramanian,

@VivekSubramanian varianza è un caso speciale della funzione di covarianza:

e la funzione di covarianza è bilineare (che significa che è una funzione lineare rispetto alla ogni argomento:

var (X) = cov (X, X)

$\operatorname{var}(X)=\operatorname{cov}(X,X)$

\begin{aligned} cov (\sum_{i} a_{i} X_{i}, Y) & = \sum_{i} a_{i} cov (X_{i}, Y) \\ cov (X, \sum_{i} b_{j} Y_{j},) & = \sum_{j} b_{j} cov (X, Y_{j}) \end{aligned}

$\begin{align}\operatorname{cov}\left(\sum_i a_iX_i,Y\right)&=\sum_i a_i\operatorname{cov}(X_i,Y)\\ \operatorname{cov}\left(X, \sum_i b_jY_j,\right) &=\sum_j b_j \operatorname{cov}(X,Y_j)\end{align}$

— Dilip Sarwate

La risposta è abbastanza semplice

La matrice di correlazione è così definita:

$X = [x_1, x_2, ..., x_n]$ $m\times n$ $m$ $n$

$X_b= [\frac{(x_1-\mu_1 e)}{s_1}, \frac{(x_2-\mu_2 e)}{s_2}, \frac{(x_3-\mu_3 e)}{s_3}, ...]$ $\mu_1$ $\mu_2$ $s_1$ $e$ è un vettore di tutti 1 .

La matrice di correlazione è quindi

C = X_{B}^{'} X_{B}

$C=X_b' X_b$

$A$ $z$ $z' A z <0$ .

$C$ $w' C w<0$

$(w' C w)=(w' X_b' X_b w)=(X_b w)'(X_b w) = {z_1^2+z_2^2...}$ $z=X_b w$ $w' C w$ è una somma di quadrati e quindi non può essere inferiore a zero.

$U$ $V' V$

— Gregor
fonte

Questa è di gran lunga la risposta più concisa e più chiara. Grazie !

— Yohan Obadia,

(La possibile scioltezza nel ragionamento sarebbe la mia. Non sono un matematico: questa è una rappresentazione, non una prova, e proviene dalla mia sperimentazione numerica, non dai libri.)

Un semidefinito positivo matrice di (psd), chiamata anche matrice di Gramian, è una matrice senza autovalori negativi. La matrice con autovalori negativi non è semidefinita positiva o non gramiana. Entrambi possono essere definiti (senza autovalori zero) o singolari (con almeno un autovalore zero). [La parola "Gramian" è usata in molti significati diversi in matematica, quindi forse dovrebbe essere evitata.]
In statistica, di solito applichiamo questi termini a una matrice di tipo SSCP, chiamata anche matrice di prodotto scalare. Le matrici di correlazione o covarianza sono casi particolari di tale matrice .
$n$ $p$ $p$ $p$ $n$ $n$ matrice di covarianza tra i casi. Quando lo calcoli da dati reali, la matrice sarà sempre Gramian. È possibile ottenere una matrice non Gramian (non psd) se (1) è una matrice di somiglianza misurata direttamente (cioè non calcolata dai dati) o la misura di somiglianza non è di tipo SSCP; (2) i valori della matrice non sono stati inseriti correttamente; (3) la matrice è in realtà Gramiana ma è (o così vicina ad essere) singolare che a volte il metodo spettrale per calcolare gli autovalori produce minuscoli negativi al posto di zero reale o minuscoli positivi.
$d_{12}^2 = h_1^2+h_2^2-2s_{12}$ $s$ $h$ $X$ $Y$ $d_{xy}^2 = \sigma_x^2+\sigma_y^2-2cov_{xy}$
$m$ $m$
$m$ $m$ $m$
Quali sono le possibili cause o versioni della configurazione non Gramiana (non Euclidea)? Le risposte seguono dopo aver contemplato [punto 4].
- $m$ $m$ $d$
- Causa 2. Vi è una discrepanza generale (a livello di matrice) tra $h$ $d$ $d$ $h$ $h$
- $d$ $h$ $h_1+h_2 \ge d_{12} \ge |h_1-h_2|$
$|cov_{ij}| \gt \sigma_i \sigma_j$

Fig. 1.

Fig. 1

Fig2.

Fig2

Fig3.

fig3

— ttnphns
fonte

Il punto 6 ha bisogno di dimostrazione: hai dimostrato che una matrice di distanze euclidee quadrate è pd, ma affermi senza prove che a ciascuna matrice pd corrisponde una configurazione euclidea di punti. Inoltre non hai collegato la tua definizione di pd ("nessun autovalore negativo") a nessuna delle tue caratterizzazioni successive. L'idea chiave arriva alla fine (punto 8): una matrice pd può essere utilizzata per definire una distanza. Logicamente, è qui che dovresti iniziare l'analisi.

— whuber

@whuber: Grazie per la valutazione critica. Temo che, quando si tratta di provare matematicamente qualcosa, affondo. Ho riportato parte della mia esperienza pratica (l'ho detto); la risposta non era proprio una sequenza analitica. Non ti piacerebbe quindi aggiungere la tua risposta che può correggere / migliorare la mia? Potrebbe rivelarsi un aiuto prezioso. Oppure, sei libero di lavorare sul mio testo per migliorarlo se lo trovi non del tutto inutile.

— ttnphns,

PS Il mio punto 8 implica che, poiché il doppio centraggio fissa una configurazione di punti al suo centroide, questa stessa operazione non introduce non-euclidità (produce solo singolarità perché il nuovo punto, centro, appartiene allo stesso spazio). Quindi possiamo verificare se la configurazione iniziale era euclidea. Non è corretto?

— ttnphns,