Un contrario alla disuguaglianza di Fano?

10

La disuguaglianza di Fano può essere dichiarata in molte forme e una particolarmente utile è dovuta (con una piccola modifica) a Oded Regev :

Sia $X$ una variabile casuale e sia $Y = g(X)$ dove $g(\cdot)$ è un processo casuale. Supponi l'esistenza di una procedura $f$ che dato $y = g(x)$ può ricostruire $x$ con probabilità $p$ . Quindi
$io (X; Y) \geq p H (X) - H (p)$ $I(X; Y) \ge pH(X) − H(p)$

In altre parole, se posso ricostruire, ci sono molte informazioni reciproche nel sistema.

Esiste una "conversione" alla disuguaglianza di Fano: qualcosa della forma

"Dato un canale con sufficienti informazioni reciproche, esiste una procedura per ricostruire l'input dall'output con un errore che dipende dall'informazione reciproca"

Sarebbe troppo aspettarsi che anche questa procedura sia efficace, ma sarebbe anche interessante vedere esempi (naturali) in cui la ricostruzione esiste ma deve essere inefficiente.

it.information-theory randomized-algorithms

— Suresh Venkat
fonte

12

Considera la seguente procedura di ricostruzione : dato , l'output tale che è massimizzato. La probabilità che questa procedura abbia esito positivo è . Questo è anche , dove $P(y)$ $y$ $x$ $\Pr[X = x \mid Y = y]$ $\max_x \Pr[x \mid Y = y]$ $2^{-H_\infty(X | Y = y)}$ è l'entropia mindella variabile casuale condizionata su . Sappiamo che , dove è l'entropia standard di Shannon della variabile casuale . Ora non ci resta che limite superiore in termini di informazione reciproca $H_\infty(X \mid Y = y)$ $X$ $Y = y$ $H_\infty(X) \leq H_1(X)$ $H_1(X)$ $X$ $H_\infty(X|Y = y)$ . $I(X:Y)$

Scrivi . Usando la disuguaglianza di cui sopra, $I(X:Y) = H(X) - H(X|Y) = H(X) - \mathbb{E}_y[H(X \mid Y = y)]$ o . $I(X:Y) \leq H(X) - \mathbb{E}_y[H_\infty(X \mid Y = y)]$ $\mathbb{E}_y[H_\infty(X \mid Y = y)] \leq H(X) - I(X:Y)$

La probabilità che la procedura abbia successo quando e sono scelti a caso è , che per concavità è almeno . Pertanto la probabilità che la procedura abbia esito positivo è almeno $X$ $Y$ $\mathbb{E}_y [2^{-H_\infty(X\mid Y = y)}]$ $2^{-\mathbb{E}_y[H_\infty(X \mid Y = y)]}$ $2^{I(X:Y) - H(X)}$ .

Questa procedura è ottimale: data qualsiasi procedura di casualità , la probabilità di successo è , che è massimizzato punto-punto quando produce in modo deterministico l' più probabile . $P$ $\mathbb{E}_y [ \sum_{x} \Pr(X = x \mid Y = y) \Pr(P(y) = x) ]$ $P(y)$ $x$

— Henry Yuen
fonte

1

Quindi, c'è un'affermazione quantitativa che è un contrario della disuguaglianza di Fano che segue da questo argomento?

— gnocco di mobius il

Cosa intendi per quantitativo? L'argomento che ho esposto sopra dovrebbe dire: "Dato un canale con informazioni reciproche

, esiste una procedura di ricostruzione con errore al massimo

".

I (X : Y)

$I(X:Y)$

1 - 2^{I (X : Y) - H (X)}

$1 - 2^{I(X:Y) - H(X)}$

— Henry Yuen,

2

Bella risposta e prova. Quindi, il limite nella tua risposta può anche essere riscritto poiché per definizione. Questo è apparso in IEEE ISIT 1994, in un discorso di Baumer, per quanto ne so.

p_{e r r} \leq 1 - 2^{I (X; Y) - H (X)} = 1 - 2^{- H (X | Y)}, (1)

$p_{err} \leq 1-2^{I(X;Y)-H(X)}=1-2^{-H(X|Y)},\quad\quad(1)$

I (X; Y) = H (X) - H (X | Y)

$I(X;Y)=H(X)-H(X|Y)$

Allo stesso modo, si può ottenere dove

p_{e r r} \leq 1 - \underset{y \in Y}{Σ} P_{Y} (y) 2^{- H_{2} (X | Y)}, (2)

$p_{err} \leq 1 - \sum_{y \in {\cal Y}} P_Y(y) 2^{-H_2(X|Y)},\quad\quad(2)$

è l'entropia Renyi dell'ordine

Qui,

quindi il limite (2) è più stretto di (1).

H_{α} (Z) = \frac{1}{1 - α} (\underset{z \in Z}{Σ} P_{Z} (z)^{α})

$H_{\alpha}(Z)=\frac{1}{1-\alpha}\left( \sum_{z \in {\cal Z}} P_Z(z)^{\alpha}\right)$

α \in (0, 1) \cup (1, \infty) .

$\alpha \in (0,1)\cup(1,\infty).$

α = 2,

$\alpha=2,$

— kodlu
fonte