Le informazioni reciproche possono ottenere un valore maggiore di 1

Ho un dubbio molto basilare. Scusa se questo irrita pochi. So che il valore delle informazioni reciproche dovrebbe essere maggiore di 0, ma dovrebbe essere inferiore a 1? È limitato da un valore superiore?

Grazie Amit.

information-theory mutual-information

— Amit
fonte

Sì, ha un limite superiore, ma non 1.

Le informazioni reciproche (in bit) sono 1 quando due parti (statisticamente) condividono un bit di informazioni. Tuttavia, possono condividere arbitrariamente dati di grandi dimensioni. In particolare, se condividono 2 bit, allora è 2.

$I(X,Y) \leq \min \left[ H(X), H(Y) \right]$

— Piotr Migdal
fonte

Se le due parti sono variabili binarie, ognuna delle quali ha solo due possibili esiti {0,1} , allora entropie massimo a quando e . Pertanto, la massima informazione reciproca per due variabili binarie è

X, Y

$X,Y$

H (X), H (Y)

$H(X), H(Y)$

1

$1$

P (X) = 0.5

$P(X)=0.5$

P (Y) = 0.5

$P(Y)=0.5$

1

$1$

— Akseli Palén