In che modo il registro (p (x, y)) normalizza le informazioni reciproche puntuali?

9

Sto cercando di capire la forma normalizzata di informazioni reciproche puntuali.

$npmi = \frac{pmi(x,y)}{log(p(x,y))}$

Perché la probabilità congiunta del log normalizza l'informazione reciproca puntuale tra [-1, 1]?

Le informazioni reciproche puntuali sono:

$pmi = log(\frac{p(x,y)}{p(x)p(y)})$

p (x, y) è delimitato da [0, 1] quindi il log (p (x, y)) è delimitato da (, 0]. Sembra che il log (p (x, y)) dovrebbe in qualche modo bilanciare i cambiamenti in il numeratore, ma non capisco esattamente come. Mi ricorda anche l'entropia , ma di nuovo non capisco la relazione esatta. $h=-log(p(x))$

entropy information-theory mutual-information

— 2Cents
fonte

Tanto per cominciare, le informazioni reciproche puntuali usano il logaritmo (non sono sicuro che sia un errore di battitura o che tu stia utilizzando un'altra quantità ).

— Piotr Migdal

12

Dalla voce di Wikipedia su informazioni reciproche puntuali :

Le informazioni reciproche puntuali possono essere normalizzate tra [-1, + 1] risultando in -1 (nel limite) per non accadere mai insieme, 0 per indipendenza e +1 per ricorrenza simultanea.

Perché succede? Bene, la definizione di informazione reciproca puntuale è

p m i \equiv \log [\frac{p (x, y)}{p (x) p (y)}] = \log p (x, y) - \log p (x) - \log p (y),

$pmi \equiv \log \left[ \frac{p(x,y)}{p(x)p(y)} \right] = \log p(x,y) - \log p(x) - \log p(y),$

mentre per le informazioni reciproche puntuali normalizzate è:

n p m i \equiv \frac{p m i}{- \log p (x, y)} = \frac{\log [p (x) p (y)]}{\log p (x, y)} - 1.

$npmi \equiv \frac{pmi}{-\log p(x,y)} = \frac{\log[ p(x) p(y)]}{\log p(x,y)} - 1.$

Quando ci sono:

$\log p(x,y)\to -\infty$
$\log p(x,y)= \log[p(x) p(y)]$
$\log p(x,y)= \log p(x) = \log p(y)$

— Piotr Migdal
fonte

[- 1, 1]

$[-1,1]$

1

$[-1,1]$

\begin{aligned} \log p (x, y) \\ \leq & \log p (x, y)) - \log p (x) - \log p (y) \\ = & \log \frac{p (x, y)}{p (x) p (y)} =: pmi (x; y) \\ = & \log p (y | x) + \log p (y | x) - \log p (x, y) \\ \leq & - \log p (x, y) \end{aligned}

$\begin{align} &\log\,p(x,y) \\ \le&\log\,p(x,y))-\log\,p(x)-\log\,p(y) \\ =&\log \frac{p(x,y)}{p(x)p(y)}=:\text{pmi}(x;y) \\ =&\log\, p(y|x)+\log\, p(y|x)-\log\,p(x,y) \\ \le&-\log\,p(x,y) \end{align}$

- \log p (A) \geq 0

$-\log\,p(A)\ge0$

A

$A$

h (x, y) := - \log p (x, y)

$h(x,y):=-\log\,p(x,y)$

- 1 \leq nmpi (x; y) := \frac{mpi(x;y)}{h (x, y)} \leq 1.

$-1\le\text{nmpi}(x;y):=\frac{\text{mpi(x;y)}}{h(x,y)}\le1.$

— Hans
fonte