Stimare l'entropia delle informazioni attraverso il campionamento di Monte Carlo

Sto cercando metodi che consentano di stimare l'entropia delle informazioni di una distribuzione quando le uniche modalità pratiche di campionamento da quella distribuzione sono i metodi Monte Carlo.

Il mio problema non è diverso dal modello Ising standard che viene generalmente utilizzato come esempio introduttivo per il campionamento di Metropolis-Hastings. Ho una distribuzione di probabilità su un insieme , vale a dire ho p ( una ) per ogni un ∈ A . Gli elementi a ∈ A sono di natura combinatoria, come gli stati di Ising, e ne esiste un numero molto elevato. Ciò significa che in pratica non ricevo mai lo stesso campione due volte durante il campionamento da questa distribuzione su un computer. p ( a ) non può essere calcolato direttamente (a causa della non conoscenza del fattore di normalizzazione), ma il rapporto p ( $A$$p(a)$$a \in A$$a \in A$$p(a)$ è facile da calcolare.$p(a_1)/p(a_2)$

Voglio stimare l'entropia informativa di questa distribuzione,

In alternativa, voglio stimare la differenza di entropia tra questa distribuzione e quella ottenuta restringendola a un sottoinsieme (e ovviamente ri-normalizzando).$a\in A_1 \subset A$

Se capisco quali informazioni hai a disposizione, ciò che desideri non è possibile: le informazioni a tua disposizione non sono sufficienti per determinare l'entropia. Non è nemmeno abbastanza per approssimare l'entropia.

Sembra che tu abbia un modo per campionare dalla distribuzione e hai un modo per calcolare il rapporto p ( a 1 ) / p ( a 2 ) per qualsiasi coppia di elementi a 1 , a 2 che hai ottenuto tramite campionamento, ma non hai altre informazioni. In tal caso, il problema non è risolvibile.$p(\cdot)$$p(a_1)/p(a_2)$$a_1,a_2$

In particolare, possiamo trovare una coppia di distribuzioni che hanno entropie diverse, ma che non possono essere distinte utilizzando le informazioni a tua disposizione. Considerare innanzitutto la distribuzione uniforme su un set (casuale) di dimensioni . Considera quindi la distribuzione uniforme su un set (casuale) di dimensioni 2 300 . Questi hanno entropie diverse (200 bit contro 300 bit). Tuttavia, date le informazioni a tua disposizione, non hai modo di sapere con quale di queste due distribuzioni stai lavorando. In particolare, in entrambi i casi, il rapporto p ( a 1 ) / p ( a 2$2^{200}$$2^{300}$$p(a_1)/p(a_2)$sarà sempre esattamente 1, quindi i rapporti non ti aiuteranno a distinguere tra le due distribuzioni. E a causa del paradosso del compleanno, puoi campionare quanto vuoi, ma non otterrai mai lo stesso valore due volte (non durante la tua vita, tranne con una probabilità esponenzialmente piccola), quindi i valori che ottieni dal campionamento sembreranno solo punti casuali e non contengono informazioni utili.

Quindi, per risolvere il tuo problema, dovrai sapere qualcosa di più. Ad esempio, se si conosce qualcosa sulla struttura della distribuzione , ciò potrebbe consentire di risolvere il problema.$p(\cdot)$

Per la seconda parte della tua domanda (la stima di entropia differenza tra le distribuzioni) si può essere in grado di utilizzare l'identità dove ⟨ E ⟩ è l'energia media, T è la temperatura (è proporzionale a θ in p ∝ e θ E ), e S è l'entropia. Per i dettagli, vedere: Jaynes, E. (1957). Teoria dell'informazione e meccanica statistica. Revisione fisica, 106 (4), 620–630. http://doi.org/10.1103/PhysRev.106.620 .

$\Delta F$$\Delta S$$\Delta F$$\Delta \langle E \rangle$$A_1$$A$$E$$A_1$

Ecco due riferimenti aggiuntivi sugli algoritmi per il calcolo dell'energia libera:

Lelièvre, T., Rousset, M., & Stoltz, G. (2010). Calcoli energetici gratuiti. Imperial College Press. http://doi.org/10.1142/9781848162488

Chipot, C., & Pohorille, A. (2007). Calcoli energetici gratuiti. (C. Chipot & A. Pohorille, Eds.) (Vol. 86). Berlino, Heidelberg: Springer Berlin Heidelberg. http://doi.org/10.1007/978-3-540-38448-9