Limitare l'informazione reciproca dato limiti all'informazione reciproca puntuale

Supponiamo che io abbia due insiemi e e una distribuzione di probabilità congiunta su questi insiemi . Let e indicano le distribuzioni marginali oltre e rispettivamente. $X$ $Y$ $p(x,y)$ $p(x)$ $p(y)$ $X$ $Y$

Le informazioni reciproche tra e sono definite come: $X$ $Y$

I (X; Y) = \sum_{x, y} p (x, y) \cdot \log (\frac{p (x, y)}{p (x) p (y)})

$I(X; Y) = \sum_{x,y}p(x,y)\cdot\log\left(\frac{p(x,y)}{p(x)p(y)}\right)$

cioè è il valore medio dell'informazione reciproca puntuale pmi . $(x,y) \equiv \log\left(\frac{p(x,y)}{p(x)p(y)}\right)$

Supponiamo di conoscere i limiti superiore e inferiore di pmi : cioè so che per tutti vale quanto segue: $(x,y)$ $x,y$

- k \leq \log (\frac{p (x, y)}{p (x) p (y)}) \leq k

$-k \leq \log\left(\frac{p(x,y)}{p(x)p(y)}\right) \leq k$

Quale limite superiore implica questo su $I(X; Y)$ . Ovviamente implica $I(X; Y) \leq k$ , ma vorrei un limite più stretto, se possibile. Questo sembra plausibile perché p definisce una distribuzione di probabilità, e pmi $(x,y)$ non può assumere il suo valore massimo (o anche essere non negativo) per ogni valore di $x$ ed $y$ .

entropy mutual-information information-theory

— Florian
fonte

Quando le probabilità congiunte e marginali sono uniformi, pmi (

x

$x$ ,

y

$y$ ) è uniformemente zero (e quindi non negativo, apparentemente in contraddizione con la tua ultima affermazione, ma a malapena). Mi sembra, se non sbaglio, che perturbare questa situazione su piccoli sottoinsiemi di

X \times Y

$X \times Y$ indica che i limiti su pmi non dicono quasi nulla di

I (X; Y)

$I(X;Y)$ stesso.

— whuber

In effetti, se e sono indipendenti, allora è costante, indipendentemente dalle distribuzioni marginali. Quindi c'è tutta una classe di distribuzioni per i quali ottiene il suo valore massimo per ogni e .

X

$X$

Y

$Y$

p m i (x, y)

$\mathrm{pmi}(x,y)$

p (x, y)

$p(x,y)$

p m i (x, y)

$\mathrm{pmi}(x,y)$

x

$x$

y

$y$

— cardinale il

Sì, è certamente vero che pmi può essere uguale per tutti ed , ma che non esclude un balzo stretto. Ad esempio, non è difficile dimostrare che . Questo è quando ed è un rafforzamento non banale del limite quando . Mi chiedo se ci siano limiti non banali che valgono più in generale.

(x, y)

$(x,y)$

x

$x$

y

$y$

I (X; Y) \leq k (e^{k} - 1)

$I(X; Y) \leq k(e^k-1)$

\approx k^{2}

$\approx k^2$

k < 1

$k < 1$

k

$k$

k < 1

$k < 1$

— Florian,

Sono dubbioso che otterrai un limite migliore di per . Se vuoi sembrare più difficile, prova a ri-inquadrare la tua domanda in termini di divergenza KL tra p (x) p (y) e p (x, y). La disuguaglianza di Pinsker fornisce un limite inferiore all'MI che potrebbe confermare il mio sospetto. Vedi anche la Sezione 4 di ajmaa.org/RGMIA/papers/v2n4/relog.pdf .

O (k^{2})

$O(k^2)$

k \to 0

$k \to 0$

— vqv,

Risposte:

Il mio contributo consiste in un esempio. Illustra alcuni limiti su come le informazioni reciproche possono essere delimitate dati limiti sulle informazioni reciproche puntuali.

Prendere e per tutti . Per ogni sia la soluzione all'equazione Quindi posizioniamo la massa dei punti in punti nello spazio prodotto in modo tale che ci siano di questi punti in ciascuna riga e ogni colonna. (Questo può essere fatto in diversi modi. Inizia, ad esempio, con i primi punti nella prima riga e quindi compila le righe rimanenti spostando la $X = Y = \{1,\ldots, n\}$ $p(x) = 1/n$ $x \in X$ $m \in \{1,\ldots, n/2\}$ $k > 0$

m e^{k} + (n - m) e^{- k} = n .

$m e^{k} + (n - m) e^{-k} = n.$

e^{k} / n^{2}

$e^k / n^2$

n m

$nm$

{1, \dots, n}^{2}

$\{1,\ldots,n\}^2$

m

$m$

m

$m$

m

$m$ punta uno a destra con una condizione al contorno ciclica per ogni riga). Posizioniamo la massa punto nei restanti punti . La somma di queste masse di punti è quindi forniscono una misura di probabilità. Tutte le probabilità dei punti marginali sono quindi entrambe le distribuzioni marginali sono uniformi.

e^{- k} / n^{2}

$e^{-k}/n^2$

n^{2} - n m

$n^2 - nm$

\frac{n m}{n^{2}} e^{k} + \frac{n^{2} - n m}{n^{2}} e^{- k} = \frac{m e^{k} + (n - m) e^{- k}}{n} = 1,

$\frac{nm}{n^2} e^{k} + \frac{n^2 - nm}{n^2} e^{-k} = \frac{me^k + (n-m)e^{-k}}{n} = 1,$

\frac{m}{n^{2}} e^{k} + \frac{m - n}{n^{2}} e^{- k} = \frac{1}{n},

$\frac{m}{n^2} e^{k} + \frac{m - n}{n^2} e^{-k} = \frac{1}{n},$

Dalla costruzione è chiaro che per tutti e (dopo alcuni calcoli) con l'informazione reciproca che si comporta come per e come per . $\mathrm{pmi}(x,y) \in \{-k,k\},$ $x,y \in \{1,\ldots,n\}$

I (X; Y) = k \frac{n m}{n^{2}} e^{k} - k \frac{n^{2} - n m}{n^{2}} e^{- k} = k (\frac{1 - e^{- k}}{e^{k} - e^{- k}} (e^{k} + e^{- k}) - e^{- k}),

$I(X;Y) = k \frac{nm}{n^2} e^{k} - k \frac{n^2 - nm}{n^2} e^{-k} = k\Big(\frac{1-e^{-k}}{e^k - e^{-k}} (e^k + e^{-k}) - e^{-k}\Big),$

k^{2} / 2

$k^2 / 2$

k \to 0

$k \to 0$

k

$k$

k \to \infty

$k \to \infty$

— NRH
fonte

Non sono sicuro se questo è quello che stai cercando, poiché è per lo più algebrico e non sfrutta davvero le proprietà di p essendo una distribuzione di probabilità, ma qui è qualcosa che puoi provare.

A causa dei limiti di pmi, chiaramente e quindi . Possiamo sostituire in per ottenere $\frac{p(x,y)}{p(x)p(y)}\leq e^k$ $p(x,y)\leq p(x)p(y)\cdot e^k$ $p(x,y)$ $I(X;Y)$ $I(X;Y)\leq \sum_{x,y}p(x)p(y)\cdot e^k\cdot log(\frac{p(x)p(y)\cdot e^k}{p(x)p(y)}) = \sum_{x,y}p(x)p(y)\cdot e^k\cdot k$

Non sono sicuro che sia utile o meno.

EDIT: Dopo un'ulteriore revisione credo che questo sia in realtà meno utile del limite superiore originale di k. Non lo eliminerò comunque nel caso in cui possa suggerire un punto di partenza.

— Michael McGowan
fonte

Il valore di questo limite diventa evidente dopo aver notato e (da ) che .

\sum_{x, y} p (x) p (y) = 1

$\sum_{x,y}p(x)p(y)=1$

k \geq 0

$k \ge 0$

e^{k} \geq 1

$e^k \ge 1$

— whuber

Sì, quando mi sono reso conto di aver apportato la mia modifica.

— Michael McGowan,