Misura appropriata per trovare la matrice di covarianza più piccola

Nel libro di testo che sto leggendo usano la nitidezza positiva (semi-positività) per confrontare due matrici di covarianza. L'idea è che se è pd allora è più piccolo di . Ma sto lottando per ottenere l'intuizione di questa relazione? $A-B$ $B$ $A$

C'è un thread simile qui:

/math/239166/what-is-the-intuition-for-using-definiteness-to-compare-matrices

Qual è l'intuizione di usare la determinazione per confrontare le matrici?

Sebbene le risposte siano carine, in realtà non affrontano l'intuizione.

Ecco un esempio che trovo confuso:

[\begin{matrix} 16 & 12 \\ 12 & 9 \end{matrix}] - [\begin{matrix} 1 & 2 \\ 2 & 4 \end{matrix}]

$\begin{equation} \begin{bmatrix} 16 & 12 \\ 12 & 9 \end{bmatrix} - \begin{bmatrix} 1 & 2 \\ 2 & 4 \end{bmatrix} \end{equation}$

ora qui il determinante della differenza è -25 quindi la relazione non è pd o nemmeno psd e quindi la prima matrice non è maggiore della prima?

Voglio semplicemente confrontare due matrici di covarianza 3 * 3 per vedere qual è la più piccola? Mi sembrerebbe più intuitivo usare qualcosa come la norma euclidea per confrontarli? Tuttavia, ciò significherebbe che la prima matrice sopra è maggiore del secondo matix. Inoltre vedo sempre e solo il criterio pd / psd usato per confrontare le matrici di covarianza.

Qualcuno può spiegare perché pd / psd è meglio che usare un'altra misura come la norma euclidea?

Ho anche pubblicato questa domanda sul forum di matematica (non ero sicuro di cosa fosse meglio) spero che questo non contravvenga a nessuna regola.

/math/628135/comparing-two-covariance-matrices

— Baz
fonte

Potresti voler leggere questo in cui si considera l'intuizione dietro la (semi) definitività positiva. Quando si confrontano 2 varianze ae b, se a-bè positiva, allora potremmo dire che al momento la rimozione di variabilità bfuori arimane una certa variabilità "reale" a sinistra in a. Allo stesso modo è un caso di varianze multivariate (= matrici di covarianza) Ae B. Se A-Bè definito positivo, ciò significa che la A-Bconfigurazione dei vettori è "reale" nello spazio euclideo: in altre parole, una volta rimosso Bda A, quest'ultimo è ancora una variabilità praticabile.

— ttnphns,

Che cosa si intende per il "più piccolo" di due matrici di covarianza?

— whuber

Ciao whuber, le matrici di covarianza si riferiscono a stimatori concorrenti, desidero selezionare lo stimatore che ha la varianza più piccola. (Questo chiarisce le cose?)

— Baz,

Baz: Allora perché non confrontare direttamente le varianze degli stimatori?

— Glen_b

Salve, viene impostato il metodo, viene data l'espressione per ciò che chiamano varianza (che include le covarianze). Tuttavia, anche se dovessi confrontare solo varianze, ciò implicherebbe comunque il confronto di valori vettoriali che avranno problemi simili al confronto dei valori di matrice?

— Baz,

Risposte:

L'ordinamento delle matrici a cui si fa riferimento è noto come ordine del Loewner ed è un ordine parziale molto utilizzato nello studio di matrici definite positive. Un trattamento di lunghezza del libro della geometria sul collettore di matrici positive-definite (posdef) è qui .

Cercherò innanzitutto di rispondere alla tua domanda sulle intuizioni . A (simmetrica) matrice è posdef se per tutti . Se è una variabile casuale (rv) con matrice di covarianza , allora è (proporzionale a) la sua proiezione su un sottospazio unidimensionale e . Applicando questo ad nella tua Q, in primo luogo: è una matrice di covarianza, in secondo luogo: una variabile casuale con matrice di covar proietta in tutte le direzioni con varianza minore di un camper con matrice di covarianza $A$ $c^T A c\ge 0$ $c \in \mathbb{R}^n$ $X$ $A$ $c^T X$ $\mathbb{Var}(c^T X) = c^T A c$ $A-B$ $B$ $A$ . Questo rende intuitivamente chiaro che questo ordinamento può essere solo parziale, ci sono molti camper che proietteranno in direzioni diverse con varianze selvaggiamente diverse. La tua proposta di alcune norme euclidee non ha un'interpretazione statistica così naturale.

Il tuo "esempio confuso" è confuso perché entrambe le matrici hanno zero determinante. Quindi per ognuno esiste una direzione (autovettore con autovalore zero) in cui proiettano sempre a zero . Ma questa direzione è diversa per le due matrici, quindi non possono essere confrontate.

L'ordine del Loewner è definito in modo tale che , sia definito più positivo di , se è posdef. Questo è un ordine parziale, per alcune matrici posdef né né sono posdef. Un esempio è: Un modo di mostrarlo graficamente significa disegnare un diagramma con due ellissi, ma centrato sull'origine, associato in modo standard alle matrici (quindi la distanza radiale in ciascuna direzione è proporzionale alla varianza della proiezione in quella direzione): $A \preceq B$ $B$ $A$ $B-A$ $B-A$ $A-B$

A = (\begin{matrix} 1 & 0.5 \\ 0.5 & 1 \end{matrix}), B = (\begin{matrix} 0.5 & 0 \\ 0 & 1.5 \end{matrix})

$A=\begin{pmatrix} 1 & 0.5 \\ 0.5 & 1 \end{pmatrix}, \quad B= \begin{pmatrix} 0.5 & 0\\ 0 & 1.5 \end{pmatrix}$

In questi casi le due ellissi sono congruenti, ma ruotate in modo diverso (in effetti l'angolo è di 45 gradi). Ciò corrisponde al fatto che le matrici e hanno gli stessi autovalori, ma gli autovettori sono ruotati. $A$ $B$

Poiché questa risposta dipende molto dalle proprietà delle ellissi, la seguente Qual è l'intuizione dietro le distribuzioni gaussiane condizionate? spiegare le ellissi in modo geometrico, può essere utile.

Ora spiegherò come sono definite le ellissi associate alle matrici. Una matrice posdef definisce una forma quadratica . Questo può essere tracciato come una funzione, il grafico sarà quadratico. Se il grafico di sarà sempre sopra il grafico di . Se tagliamo i grafici con un piano orizzontale all'altezza 1, i tagli descriveranno le ellissi (che in realtà è un modo per definire le ellissi). Le ellissi di questo taglio sono date dalle equazioni e vediamo che $A$ $Q_A(c) = c^T A c$ $A \preceq B$ $Q_B$ $Q_A$

Q_{A} (c) = 1, Q_{B} (c) = 1

$Q_A(c)=1, \quad Q_B(c)=1$

A ⪯ B

$A \preceq B$ corrisponde all'ellisse di B (ora con interno) è contenuta all'interno dell'ellisse di A. Se non c'è ordine, non ci sarà contenimento. Osserviamo che l'ordine di inclusione è opposto all'ordine parziale del Loewner, se non ci piace che possiamo disegnare ellissi degli inversi. Questo perché è equivalente a . Ma rimarrò con le ellissi come definito qui.

A ⪯ B

$A \preceq B$

B^{- 1} ⪯ A^{- 1}

$B^{-1} \preceq A^{-1}$

Un'ellisse può essere descritta con i semiassiali e la loro lunghezza. Discuteremo solo matrici qui, poiché sono quelle che possiamo disegnare ... Quindi abbiamo bisogno dei due assi principali e della loro lunghezza. Questo può essere trovato, come spiegato qui con un'egendecomposizione della matrice posdef. Quindi gli assi principali sono dati dagli autovettori e la loro lunghezza può essere calcolata dagli autovalori da Possiamo anche vedere che l'area dell'ellisse che rappresenta è . $2\times 2$ $a,b$ $\lambda_1, \lambda_2$

a = \sqrt{1 / λ_{1}}, b = \sqrt{1 / λ_{2}} .

$a = \sqrt{1/\lambda_1}, \quad b=\sqrt{1/\lambda_2}.$

A

$A$

π a b = π \sqrt{1 / λ_{1}} \sqrt{1 / λ_{2}} = \frac{π}{\sqrt{det A}}

$\pi a b= \pi \sqrt{1/\lambda_1}\sqrt{1/\lambda_2} = \frac{\pi}{\sqrt{\det A}}$

Farò un ultimo esempio in cui è possibile ordinare le matrici:

Le due matrici in questo caso erano:

A = (\begin{matrix} 2 / 3 & 1 / 5 \\ 1 / 5 & 3 / 4 \end{matrix}), B = (\begin{matrix} 1 & 1 / 7 \\ 1 / 7 & 1 \end{matrix})

$A =\begin{pmatrix}2/3 & 1/5 \\ 1/5 & 3/4\end{pmatrix}, \quad B=\begin{pmatrix} 1& 1/7 \\ 1/7& 1 \end{pmatrix}$

— kjetil b halvorsen
fonte

@kjetil b halvorsen offre una bella discussione dell'intuizione geometrica alla base della semi-definitività positiva come ordinamento parziale. Darò una visione più sporca di quella stessa intuizione. Uno che procede da quale tipo di calcoli potresti voler fare con le tue matrici di varianza.

Supponiamo di avere due variabili casuali e . Se sono scalari, allora possiamo calcolare le loro varianze come scalari e confrontarli in modo ovvio usando i numeri reali scalari e . Quindi se e , diciamo che la variabile casuale ha una varianza minore di . $x$ $y$ $V(x)$ $V(y)$ $V(x)=5$ $V(y)=15$ $x$ $y$

D'altra parte, se ed sono variabili casuali a valori vettoriali (diciamo che sono due vettori), come mettiamo a confronto le loro varianze non è così ovvio. Supponiamo che le loro variazioni siano: Come possiamo confrontare le varianze di questi due vettori casuali? Una cosa che potremmo fare è semplicemente confrontare le varianze dei loro rispettivi elementi. Quindi, possiamo dire che la varianza di è minore della varianza di confrontando semplicemente i numeri reali, come: e $x$ $y$

\begin{aligned} V (x) = [\begin{array}{cc} 1 & 0.5 \\ 0.5 & 1 \end{array}] V (y) = [\begin{array}{cc} 8 & 3 \\ 3 & 6 \end{array}] \end{aligned}

$\begin{align} V(x) = \left[ \begin{array}{c c} 1 & 0.5 \\ 0.5 & 1 \end{array} \right] \qquad V(y) = \left[ \begin{array}{c c} 8 & 3 \\ 3 & 6 \end{array} \right] \end{align}$

x_{1}

$x_1$

y_{1}

$y_1$

V (x_{1}) = 1 < 8 = V (y_{1})

$V(x_1)=1<8=V(y_1)$

V (x_{2}) = 1 < 6 = V (y_{2})

$V(x_2)=1<6=V(y_2)$ . Così, forse potremmo dire che la varianza di è la varianza di se la varianza di ogni elemento di è la varianza dell'elemento corrispondente di . Questo sarebbe come dire se ciascuno degli elementi diagonali di è l'elemento diagonale corrispondente di .

x

$x$

\leq

$\le$

y

$y$

x

$x$

\leq

$\le$

y

$y$

V (x) \leq V (y)

$V(x) \le V(y)$

V (x)

$V(x)$

\leq

$\le$

V (y)

$V(y)$

Questa definizione sembra ragionevole a prima vista. Inoltre, fintanto che le matrici di varianza che stiamo prendendo in considerazione sono diagonali (cioè tutte le covarianze sono 0), è lo stesso che usare la semi-definizione. Cioè, se le varianze sembrano quindi dicendo è semi-definito positivo (cioè che ) è lo stesso che dire e . Tutto sembra buono fino a quando non introduciamo le covarianze. Considera questo esempio:

\begin{aligned} V (x) = [\begin{array}{cc} V (x_{1}) & 0 \\ 0 & V (x_{2}) \end{array}] V (y) = [\begin{array}{cc} V (y_{1}) & 0 \\ 0 & V (y_{2}) \end{array}] \end{aligned}

$\begin{align} V(x) = \left[ \begin{array}{c c} V(x_1) & 0 \\ 0 & V(x_2) \end{array} \right] \qquad V(y) = \left[ \begin{array}{c c} V(y_1) & 0 \\ 0 & V(y_2) \end{array} \right] \end{align}$

V (y) - V (x)

$V(y)-V(x)$

V (x) \leq V (y)

$V(x) \le V(y)$

V (x_{1}) \leq V (y_{1})

$V(x_1) \le V(y_1)$

V (x_{2}) \leq V (y_{2})

$V(x_2) \le V(y_2)$

\begin{aligned} V (x) = [\begin{array}{cc} 1 & 0.1 \\ 0.1 & 1 \end{array}] V (y) = [\begin{array}{cc} 1 & 0 \\ 0 & 1 \end{array}] \end{aligned}

$\begin{align} V(x) = \left[ \begin{array}{c c} 1 & 0.1 \\ 0.1 & 1 \end{array} \right] \qquad V(y) = \left[ \begin{array}{c c} 1 & 0 \\ 0 & 1 \end{array} \right] \end{align}$ Ora, usando un confronto che considera solo le diagonali, dovremmo dire e, in effetti, è ancora vero che elemento per elemento . Ciò che potrebbe iniziare a darci fastidio è che se calcoliamo una somma ponderata degli elementi dei vettori, come e , allora ci nel fatto che anche se stiamo dicendo .

V (x) \leq V (y)

$V(x) \le V(y)$

V (x_{k}) \leq V (y_{k})

$V(x_k) \le V(y_k)$

3 x_{1} + 2 x_{2}

$3x_1 + 2x_2$

3 y_{1} + 2 y_{2}

$3y_1 + 2y_2$

V (3 x_{1} + 2 x_{2}) > V (3 y_{1} + 2 y_{2})

$V(3x_1 + 2x_2) \gt V(3y_1 + 2y_2)$

V (x) \leq V (y)

$V(x) \le V(y)$

Questo è strano, vero? Quando ed sono scalari, allora garantisce che per ogni, non casuale fisso , . $x$ $y$ $V(x) \le V(y)$ $a$ $V(ax) \le V(ay)$

Se, per qualsiasi motivo, siamo interessati a combinazioni lineari degli elementi delle variabili casuali come questa, allora potremmo voler rafforzare la nostra definizione di per matrici di varianza. Forse vogliamo dire se e solo se è vero che , indipendentemente dai numeri fissi e che selezioniamo. Nota, questa è una definizione più forte della definizione solo diagonali poiché se scegliamo dice e se scegliamo dice . $\le$ $V(x) \le V(y)$ $V(a_1x_1 + a_2x_2) \le V(a_1y_1 + a_2y_2)$ $a_1$ $a_2$ $a_1=1,a_2=0$ $V(x_1) \le V(y_1)$ $a_1=0,a_2=1$ $V(x_2) \le V(y_2)$

Questa seconda definizione, quella che dice se e solo se per ogni possibile vettore fisso , è il solito metodo per confrontare la varianza matrici basate sulla semi-definitività positiva: Guarda l'ultima espressione e la definizione di semi-definito positivo per vedere che la definizione di per matrici di varianza è scelta esattamente per garantire che if e only if per qualsiasi scelta di , cioè quando è semi positivo -preciso. $V(x) \le V(y)$ $V(a'x) \le V(a'y)$ $a$

\begin{aligned} V (a^{'} y) - V (a^{'} x) = a^{'} V (x) a - a^{'} V (y) a = a^{'} (V (x) - V (y)) a \end{aligned}

$\begin{align} V(a'y) - V(a'x) = a'V(x)a - a'V(y)a = a'\left(V(x) - V(y) \right)a \end{align}$

\leq

$\le$

V (x) \leq V (y)

$V(x) \le V(y)$

V (a^{'} x) \leq V (a^{'} y)

$V(a'x) \le V(a'y)$

a

$a$

(V (y) - V (x))

$\left( V(y)-V(x) \right)$

Quindi, la risposta alla tua domanda è che le persone dicono che una matrice di varianza è più piccola di una matrice di varianza se è semi-definito positivo perché sono interessati a confrontare le varianze delle combinazioni lineari degli elementi dei vettori casuali sottostanti. La definizione scelta segue ciò che ti interessa calcolare e in che modo tale definizione ti aiuta con tali calcoli. $V$ $W$ $W-V$

— Conto
fonte