Divergenza di KL tra due gaussiani multivariati

Ho problemi a derivare la formula della divergenza KL ipotizzando due distribuzioni normali multivariate. Ho fatto il caso univariato abbastanza facilmente. Tuttavia, è passato un po 'di tempo da quando ho preso le statistiche matematiche, quindi ho qualche problema ad estenderlo al caso multivariato. Sono sicuro che mi manca qualcosa di semplice.

Ecco cosa ho ...

Supponiamo che sia e sono i PDF di distribuzioni normali con mezzi e e varianze e , rispettivamente. La distanza di Kullback-Leibler da a è: $p$ $q$ $\mu_1$ $\mu_2$ $\Sigma_1$ $\Sigma_2$ $q$ $p$

$\int \left[\log( p(x)) - \log( q(x)) \right]\ p(x)\ dx$ , che per due normali multivariate è:

$\frac{1}{2}\left[\log\frac{|\Sigma_2|}{|\Sigma_1|} - d + Tr(\Sigma_2^{-1}\Sigma_1) + (\mu_2 - \mu_1)^T \Sigma_2^{-1}(\mu_2 - \mu_1)\right]$

Seguendo la stessa logica di questa dimostrazione , arrivo qui prima di rimanere bloccato:

$=\int \left[ \frac{d}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} + \frac{1}{2} \left((x-\mu_2)^T\Sigma_2^{-1}(x-\mu_2) - (x-\mu_1)^T\Sigma_2^{-1}(x-\mu_1) \right) \right] \times p(x) dx$

$=\mathbb{E} \left[ \frac{d}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} + \frac{1}{2} \left((x-\mu_2)^T\Sigma_2^{-1}(x-\mu_2) - (x-\mu_1)^T\Sigma_2^{-1}(x-\mu_1) \right) \right]$

Penso di dover implementare il trucco della traccia , ma non sono sicuro di cosa fare dopo. Qualche suggerimento utile per riportarmi sulla strada giusta sarebbe apprezzato!

normal-distribution kullback-leibler proof

— dmartin
fonte

stanford.edu/~jduchi/projects/general_notes.pdf . L'ultima sezione fornisce anche la derivazione.

— user3540823

A partire da dove hai iniziato con alcune lievi correzioni, possiamo scrivere

\begin{aligned} K L & = \int [\frac{1}{2} \log \frac{| Σ_{2} |}{| Σ_{1} |} - \frac{1}{2} (x - μ_{1})^{T} Σ_{1}^{- 1} (x - μ_{1}) + \frac{1}{2} (x - μ_{2})^{T} Σ_{2}^{- 1} (x - μ_{2})] \times p (x) d x \\ = \frac{1}{2} \log \frac{| Σ_{2} |}{| Σ_{1} |} - \frac{1}{2} tr {E [(x - μ_{1}) (x - μ_{1})^{T}] Σ_{1}^{- 1}} + \frac{1}{2} E [(x - μ_{2})^{T} Σ_{2}^{- 1} (x - μ_{2})] \\ = \frac{1}{2} \log \frac{| Σ_{2} |}{| Σ_{1} |} - \frac{1}{2} tr {I_{d}} + \frac{1}{2} (μ_{1} - μ_{2})^{T} Σ_{2}^{- 1} (μ_{1} - μ_{2}) + \frac{1}{2} tr {Σ_{2}^{- 1} Σ_{1}} \\ = \frac{1}{2} [\log \frac{| Σ_{2} |}{| Σ_{1} |} - d + tr {Σ_{2}^{- 1} Σ_{1}} + (μ_{2} - μ_{1})^{T} Σ_{2}^{- 1} (μ_{2} - μ_{1})] . \end{aligned}

$\begin{aligned} KL &= \int \left[ \frac{1}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} - \frac{1}{2} (x-\mu_1)^T\Sigma_1^{-1}(x-\mu_1) + \frac{1}{2} (x-\mu_2)^T\Sigma_2^{-1}(x-\mu_2) \right] \times p(x) dx \\ &= \frac{1}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} - \frac{1}{2} \text{tr}\ \left\{E[(x - \mu_1)(x - \mu_1)^T] \ \Sigma_1^{-1} \right\} + \frac{1}{2} E[(x - \mu_2)^T \Sigma_2^{-1} (x - \mu_2)] \\ &= \frac{1}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} - \frac{1}{2} \text{tr}\ \{I_d \} + \frac{1}{2} (\mu_1 - \mu_2)^T \Sigma_2^{-1} (\mu_1 - \mu_2) + \frac{1}{2} \text{tr} \{ \Sigma_2^{-1} \Sigma_1 \} \\ &= \frac{1}{2}\left[\log\frac{|\Sigma_2|}{|\Sigma_1|} - d + \text{tr} \{ \Sigma_2^{-1}\Sigma_1 \} + (\mu_2 - \mu_1)^T \Sigma_2^{-1}(\mu_2 - \mu_1)\right]. \end{aligned}$

Nota che ho usato un paio di proprietà dalla Sezione 8.2 del libro di cucina Matrix .

— ramhiser
fonte

Vedo che hai eliminato la D che avevo in origine. Non avresti un termine D dopo aver preso il registro del gaussiano nei primi passi?

— dmartin,

Considera il fattore di ridimensionamento , della densità normale multivariata. Quando si calcola la differenza del log, il termine scompare. Non c'è un termine per i determinanti - semplicemente, un , che viene preso in considerazione.

(2 π)^{- d / 2} | Σ_{k} |^{- 1 / 2}

$(2\pi)^{-d/2} |\Sigma_k|^{-1/2}$

k = 1, 2

$k = 1,2$

(2 π)^{- d / 2}

$(2\pi)^{-d/2}$

d

$d$

1 / 2

$1/2$

— Ramhiser,

Nessun problema. Sono contento di aver potuto aiutare.

— Ramhiser,

Ciao, come ti è venuto in mente l'ultimo passaggio? Come hai cambiato il segno di in ?

μ_{1} - μ_{2}

$\mu_1 - \mu_2$

μ_{2} - μ_{1}

$\mu_2 - \mu_1$

— acidghost,

@acidghost O uno funziona perché possiamo escludere uno negativo da entrambe le parti. Moltiplicando i due negativi si ottiene uno positivo.

— Ramhiser,