Qual è il significato delle informazioni reciproche oltre il calcolo numerico?

Al di là dell'equazione grezza per il calcolo delle informazioni reciproche, cosa significa in termini fisici? Ad esempio: dalla teoria dell'informazione, sappiamo che l'entropia è il più piccolo schema di compressione senza perdite che possiamo usare su un alfabeto con una distribuzione di probabilità specifica.

Cosa significherebbe in termini di informazioni reciproche?

Contesto: sto cercando di calcolare le informazioni reciproche delle parole uni-gram e determinare da quale dei due libri provengono.

essenziale

Le informazioni reciproche per definizione si riferiscono a due variabili casuali (RV) e misurano la dipendenza tra i due camper dal punto di vista del contenuto delle informazioni, ovvero la misura della quantità di informazioni contenute da un camper sull'altro camper. E le informazioni reciproche sono una quantità simmetrica, cioè .$I(X;Y) = I(Y; X)$

Nel caso di un canale di comunicazione, la capacità massima raggiungibile per il canale è il massimo delle informazioni reciproche tra l'ingresso del canale e l'uscita .$C = \max_{p(x)} I(X; Y)$

Nel tuo caso, i due camper e corrisponderebbero a libri e parole. Le informazioni reciproche misurerebbero la quantità di informazioni comuni tra una coppia (libro, parola). Ovviamente assoceresti la parola al libro con cui hai la massima informazione reciproca. Questo è il massimo approccio di informazione reciproca.$X$$Y$

Altre due intuizioni intuitive sulle informazioni reciproche:

• Quando due variabili casuali sono indipendenti, la distribuzione congiunta e il prodotto delle distribuzioni marginali e sono identici. Si potrebbe quindi valutare il grado di indipendenza tra due variabili casuali calcolando una distanza probabilistica tra e - questa distanza è 0 quando le due variabili sono indipendenti. Una distanza probabilistica comune tra le variabili è la divergenza di Kullback-Leibler. Se si prende la divergenza di Kullback-Leibler tra la distribuzione congiunta e il prodotto dei margini di due variabili casuali, si finisce con ... informazioni reciproche.$p(x, y)$$p(x)$$p(y)$$p(x) \times p(y)$$p(x, y)$

• Dal punto di vista della compressione / codifica, immagina di avere una sequenza di coppie di osservazioni . Vuoi comprimerli in un file. Due strategie: memorizzare tutte le (x) in un file compresso, quindi in modo indipendente tutte le (y) in un altro file compresso; vs comprimere le coppie. Utilizzando un programmatore ottimale, la dimensione del file nel primo caso è , mentre nel secondo caso la dimensione del file è . Il secondo approccio è più efficiente se esiste una relazione tra le due variabili osservate! Quanti bit abbiamo salvato per osservazione? $N$$(x, y)$$N \times H(X) + N \times H(Y)$$N \times H(X, Y)$$\frac{N \times H(X) + N \times H(Y) - N \times H(X, Y)}{N} = I(X,Y)$! Quindi le informazioni reciproche ci dicono quanti bit per osservazione risparmiamo codificando due flussi di dati congiuntamente anziché indipendentemente.

Non sono sicuro del tuo esempio, però ... Le informazioni reciproche vengono calcolate tra due variabili casuali (distribuzioni). Vedo come "libro" può rappresentare la distribuzione di parole in un libro; ma non sono sicuro di cosa significhi "parola" qui. Le informazioni reciproche richiedono anche il calcolo di osservazioni "accoppiate".