Divergenza di Kullback-Leibler SENZA teoria dell'informazione

Dopo molte ricerche su Cross Validated, non mi sento ancora più vicino alla comprensione della divergenza di KL al di fuori del regno della teoria dell'informazione. È piuttosto strano come qualcuno con un background matematico per trovare molto più facile capire la spiegazione della teoria dell'informazione.

Per delineare la mia comprensione da un background di teoria dell'informazione: se abbiamo una variabile casuale con un numero finito di risultati, esiste una codifica ottimale che ci consente di comunicare il risultato con qualcun altro con in media il messaggio più breve (lo trovo più facile da immagine in termini di bit). La lunghezza prevista del messaggio che sarebbe necessario comunicare il risultato è data da

$$-\sum _{\alpha}p_{\alpha}\log_{2}(p_{\alpha})$$ se si utilizza la codifica ottimale. Se dovessi utilizzare una codifica non ottimale, allora la divergenza di KL ci dice in media quanto tempo sarebbe il nostro messaggio.

Mi piace questa spiegazione, perché si occupa in modo abbastanza intuitivo dell'asimmetria della divergenza di KL. Se abbiamo due sistemi diversi, cioè due monete caricate che sono caricate in modo diverso, avranno codifiche ottimali diverse. In qualche modo non ho istintivamente la sensazione che l'uso della codifica del secondo sistema per il primo sia "ugualmente negativo" rispetto all'utilizzo della codifica del primo sistema per il secondo. Senza passare attraverso il processo di pensiero di come mi sono convinto, ora sono abbastanza felice che

$$\sum _{\alpha}p_{\alpha}( \log _{2}q_{\alpha}-\log_{2}p_{\alpha})$$ ti dia questa "lunghezza di messaggio extra prevista", quando usi la codifica per .$q$$p$

Tuttavia, la maggior parte delle definizioni della divergenza di KL, tra cui Wikipedia, fanno quindi l'affermazione (mantenendola in termini discreti in modo che possa essere confrontata con l'interpretazione della teoria dell'informazione che funziona molto meglio in termini discreti poiché i bit sono discreti) che se abbiamo due probabilità discrete distribuzioni, poi KL fornisce alcune metriche di "quanto sono diverse". Devo ancora vedere una singola spiegazione di come questi due concetti siano addirittura correlati. Mi sembra di ricordare nel suo libro sull'inferenza, Dave Mackay fa notare come la compressione e l'inferenza dei dati siano sostanzialmente la stessa cosa, e sospetto che la mia domanda sia realmente correlata a questo.

Indipendentemente dal fatto che sia o meno, il tipo di domanda che ho in mente riguarda i problemi di inferenza. (Mantenendo le cose discrete), se abbiamo due campioni radioattivi, e sappiamo che uno di questi è un certo materiale con radioattività nota (questa è una fisica dubbia ma facciamo finta che l'universo funzioni così) e quindi conosciamo la "vera" distribuzione dei clic radioattivi che dovremmo misurare dovrebbe essere poissoniano con noto , è giusto costruire una distribuzione empirica per entrambi i campioni e confrontare le loro divergenze di KL con la distribuzione nota e dire che il più basso è più probabile che sia quel materiale?$\lambda$

Allontanandosi dalla fisica dubbia, se so che due campioni sono estratti dalla stessa distribuzione ma so che non sono selezionati casualmente, il confronto delle loro divergenze KL con la distribuzione globale nota mi darebbe un'idea di "quanto distorti" siano i campioni , rispetto all'una e all'altra comunque?

E infine, se la risposta alle domande precedenti è sì, allora perché? È possibile capire queste cose da un punto di vista statistico da solo senza fare collegamenti (forse tenui) alla teoria dell'informazione?

Esiste un approccio puramente statistico alla divergenza di Kullback-Leibler: prendere un campione iid da una distribuzione sconosciuta p ⋆ e considerare l'adattamento potenziale di una famiglia di distribuzioni, F = { p $X_1,\ldots,X_n$$p^\star$ La probabilità corrispondente è definita come L ( θ | x 1 , … , x n ) = n ∏ i = 1 p θ ( x i ) e il suo logaritmo è ℓ ( θ | x 1 , … , x n ) = n ∑ i = 1 log p θ ( x i

$$\mathfrak{F}=\{p_\theta\,,\ \theta\in\Theta\}$$ $$L(\theta|x_1,\ldots,x_n)=\prod_{i=1}^n p_\theta(x_i)$$ $$\ell(\theta|x_1,\ldots,x_n)=\sum_{i=1}^n \log p_\theta(x_i)$$ Pertanto, che è la parte interessante della divergenza di Kullback-Leibler tra p θ e p ⋆ H ( p θ | p ⋆ ) def = ∫ log { p ⋆ ( x ) / p θ ( x ) $$\frac{1}{n} \ell(\theta|x_1,\ldots,x_n) \longrightarrow \mathbb{E}[\log p_\theta(X)]=\int \log p_\theta(x)\,p^\star(x)\text{d}x$$ $p_\theta$$p^\star$ l'altra parte ∫ log { p ⋆ ( x ) $$\mathfrak{H}(p_\theta|p^\star)\stackrel{\text{def}}{=}\int \log \{p^\star(x)/p_\theta(x)\}\,p^\star(x)\text{d}x$$ essere lì per avere il minimo [in θ ] di H ( p θ | p ⋆ ) uguale a zero. $$\int \log \{p^\star(x)\}\,p^\star(x)\text{d}x$$ $\theta$$\mathfrak{H}(p_\theta|p^\star)$

Un libro che collega divergenza, teoria dell'informazione e inferenza statistica è la stima ottimale dei parametri di Rissanen , che ho esaminato qui .

Ecco un'interpretazione statistica della divergenza di Kullback-Leibler, liberamente presa da IJ Good ( Peso dell'evidenza: un breve sondaggio , Bayesian Statistics 2, 1985).

Il peso delle prove.

$x_1, x_2, \dots, x_n$$f_0$$H_1$$H_2$$f_0$$H_1 = \{f_1\}$$H_2 = \{f_2\}$$f_0$$f_1$$f_2$

$x = (x_1, \dots, x_n)$$H_1$$H_2$

$$W(x) = \log \frac{f_1(x)}{f_2(x)} .$$ $P$$H_0$$H_1$$W$ $$\log \frac{P(H_0 | x)}{P(H_1 | x)} = W(x) + \log\frac{P(H_0)}{P(H_1)}.$$ $$W(x_1, \dots, x_n) = W(x_1) + \dots +W(x_n) .$$ $W(x)$$x$$H_1$$H_2$

$x$$W(x)$$W(x) > 2$

La divergenza di Kullback-Leibler

$f_1$$f_2$$x \sim f_1$

$$KL(f_1, f_2) = \mathbb{E}_{x \sim f_1} W(x) = \int f_1 \log\frac{f_1}{f_2}.$$

$x \sim f_1$$H_1 = \{f_1\}$$H_2$

$$\mathbb{E}_{x \sim f_1} W(x) \geq 0.$$

Devo ancora vedere una singola spiegazione di come questi due concetti siano addirittura correlati.

Non so molto sulla teoria dell'informazione, ma è così che ci penso: quando sento una persona della teoria dell'informazione dire "lunghezza del messaggio", il mio cervello dice "sorpresa". La sorpresa è 1.) casuale e 2.) soggettiva.

$X$$q(X)$$- \log q(X)$

$q$$X$$p$$p$$E_p[-\log p(X)]$$q$$p$$E_p[-\log q(X)]$

Invece di pensare a "quanto sono diversi" Penso all'aumento della sorpresa attesa dall'uso della distribuzione sbagliata ". Questo è tutto dalle proprietà del logaritmo.

$$E_p[\log \left( \frac{p(X)}{q(X)} \right)] = E_p[-\log q(X)] - E_p[- \log p(X)] \ge 0.$$

modificare

$−\log(q(x))$$q$

$X$$q$$x$$0$$-\log(0) = \infty$$1$$0$

$-\log$

$q(x) > 1$

$X \sim q_X(x)$$Y=aX+b \sim q_x((y-b)/a)|1/a|$$X$$-\log q_X(X) \neq -\log q_Y(Y)$

$(X-EX)^2$

Modifica 2: sembra che non sia l'unico a pensare a questo come a "sorpresa". Da qui :

$y$$\theta$$-2 \log\{ p(y \mid \theta)\}$