Dimostra che la massima distribuzione di entropia con una matrice di covarianza fissa è un gaussiano

13

Sto provando a provare la seguente prova che il gaussiano ha la massima entropia.

Che senso ha il passo stellato? Una covarianza specifica risolve solo il secondo momento. Cosa succede al terzo, quarto, quinto momento ecc.?

entropy information-theory maximum-entropy

— Tarrare
fonte

13

Il passaggio a stella è valido perché (a) e hanno gli stessi zeroth e secondi momenti e (b) è una funzione polinomiale dei componenti di cui termini hanno gradi totali o . $p$ $q$ $\log(p)$ $\mathbf{x}$ $0$ $2$

Devi sapere solo due cose su una distribuzione normale multivariata con media zero:

$\log(p)$ è una funzione quadratica di senza termini lineari . In particolare, ci sono costanti e per le quali $\mathbf{x}=(x_1,x_2,\ldots,x_n)$ $C$ $p_{ij}$
$\log (p (X)) = C + Σ_{io, j = 1}^{n} p_{io j} X_{io} X_{j} .$ $\log(p(\mathbf{x}))=C + \sum_{i,j=1}^n p_{ij}\, x_i x_j.$
(Naturalmente e possono essere scritti in termini di , ma questo dettaglio non ha importanza.) $C$ $p_{ij}$ $\Sigma$
$\Sigma$ dà i secondi momenti della distribuzione. Cioè,
$Σ_{io j} = E_{p} (X_{io} X_{j}) = \int p (X) X_{io} X_{j} d X .$ $\Sigma_{ij}=E_p(x_i x_j) = \int p(\mathbf{x})\, x_ix_j\, d\mathbf{x}.$

Potremmo utilizzare queste informazioni per elaborare un integrale:

\begin{aligned} \int (q (X) - p (X)) \log (p (X)) d X \\ = & \int (q (X) - p (X)) (C + Σ_{io, j = 1}^{n} p_{io j} X_{io} X_{j}) d X . \end{aligned}

$\eqalign{ & &\int(q(\mathbf{x}) - p(\mathbf{x}))\log(p(\mathbf{x}))d\mathbf{x} \\ &= &\int(q(\mathbf{x}) - p(\mathbf{x}))\left(C + \sum_{i,j=1}^n p_{ij}\, x_i x_j\right)d\mathbf{x}. }$

Si divide nella somma di due parti:

$\int(q(x) - p(x))C\, d\mathbf{x} = C\left(\int q(\mathbf{x}) d\mathbf{x} - \int p(\mathbf{x}) d\mathbf{x}\right) = C(1 - 1) = 0$ , perché sia che sono funzioni di densità di probabilità. $q$ $p$
$\int(q(\mathbf{x}) - p(\mathbf{x})) \sum_{i,j=1}^n p_{ij}\, x_i x_jd\mathbf{x} = \sum_{i,j=1}^n p_{ij}\int(q(\mathbf{x}) - p(\mathbf{x}))x_i x_jd\mathbf{x} = 0$ perché ognuno degli integrali sulla mano destra side, e , ha lo stesso valore ( a dire, ). Questo è ciò che vuole dire l'osservazione "cedere gli stessi momenti della forma quadratica". $\int q(\mathbf{x}) x_i x_jd\mathbf{x}$ $\int p(\mathbf{x}) x_i x_jd\mathbf{x}$ $\Sigma_{ij}$

Il risultato segue immediatamente: poiché , concludiamo that $\int(q(\mathbf{x}) - p(\mathbf{x}))\log(p(\mathbf{x}))d\mathbf{x}=0$ $\int q(\mathbf{x})\log(p(\mathbf{x}))d\mathbf{x} = \int p(\mathbf{x})\log(p(\mathbf{x}))d\mathbf{x}.$

— whuber
fonte

1

Penso che ciò che accade sia che negli integrali in entrambi (4.27) e (4.28) hai e moltiplicando i termini della forma (perché è una densità normale , quando prendi il registro ottieni esattamente questo tipo di termini dall'esponente più le costanti). Ma poi la condizione nel teorema assicura che quei termini moltiplicati per di integrino allo stesso valore. $q(x)$ $p(x)$ $\sigma_{ij}x_ix_j$ $p(x)$ $p(x)$ $q(x)$

— F. Tusell
fonte