Collegamento tra metrica di Fisher ed entropia relativa

20

Qualcuno può provare la seguente connessione tra la metrica di informazioni di Fisher e la relativa entropia (o divergenza di KL) in modo rigorosamente matematico rigoroso?

D (p (\cdot, a + d a) ∥ p (\cdot, a)) = \frac{1}{2} g_{i, j} d a^{i} d a^{j} + (O (‖ d a ‖^{3})

$D( p(\cdot , a+da) \parallel p(\cdot,a) ) =\frac{1}{2} g_{i,j} \, da^i \, da^j + (O( \|da\|^3)$ dove

a = (a^{1}, \dots, a^{n}), d a = (d a^{1}, \dots, d a^{n})

$a=(a^1,\dots, a^n), da=(da^1,\dots,da^n)$ ,

g_{i, j} = \int \partial_{i} (\log p (x; a)) \partial_{j} (\log p (x; a)) p (x; a) d x

$g_{i,j}=\int \partial_i (\log p(x;a)) \partial_j(\log p(x;a))~ p(x;a)~dx$ and

g_{i, j} d a^{i} d a^{j} := \sum_{i, j} g_{i, j} d a^{i} d a^{j}

$g_{i,j} \, da^i \, da^j := \sum_{i,j}g_{i,j} \, da^i \, da^j$ è la convenzione di sommatoria di Einstein.

Ho trovato quanto sopra nel bel blog di John Baez in cui Vasileios Anagnostopoulos dice questo nei commenti.

mathematical-statistics kullback-leibler fisher-information

— Kumara
fonte

1

Caro Kumara: per chiarire, sarebbe utile spiegare meglio la tua notazione, in particolare il significato di

g_{i, j}

$g_{i,j}$ . Inoltre, penso che alla tua espressione manchi un fattore costante di

1 / 2

$1/2$ davanti al primo termine del lato destro dell'equazione di visualizzazione. Nota che ciò che Kullback stesso ha chiamato divergenza (usando la notazione

J (\cdot, \cdot)

$J(\cdot,\cdot)$ ) è la versione simmetrizzata di ciò che è noto chiamato divergenza KL, cioè

J (p, q) = D (p ‖ q) + D (q ‖ p)

$J(p,q) = D(p \| q) + D(q \| p)$ . La divergenza di KL era indicata con

I (\cdot, \cdot)

$I(\cdot,\cdot)$ negli scritti di Kullback. Questo spiega anche il fattore

1 / 2

$1/2$ . Saluti.

— cardinale il

19

Nel 1946, il geofisico e statistico bayesiano Harold Jeffreys introdusse quella che oggi chiamiamo divergenza di Kullback-Leibler e scoprì che per due distribuzioni che sono "infinitamente vicine" (speriamo che i ragazzi di Math SE non vedano questo ;-) possiamo scrivere la loro divergenza di Kullback-Leibler come una forma quadratica i cui coefficienti sono dati dagli elementi della matrice di informazioni di Fisher. Ha interpretato questa forma quadratica come l'elemento di lunghezza di una varietà riemanniana, con l'informazione di Fisher che ha il ruolo della metrica riemanniana. Da questa geometrizzazione del modello statistico, ha derivato il suo precedente di Jeffreys come misura indotta naturalmente dalla metrica riemanniana, e questa misura può essere interpretata come una distribuzione intrinsecamente uniforme sulla varietà, sebbene, in generale, non sia una misura finita.

Per scrivere una prova rigorosa, è necessario individuare tutte le condizioni di regolarità e prendersi cura dell'ordine dei termini di errore nelle espansioni di Taylor. Ecco un breve schizzo dell'argomento.

La divergenza simmetrizzata di Kullback-Leibler tra due densità e è definita come $f$ $g$

D [f, g] = \int (f (X) - g (X)) \log (\frac{f (X)}{g (X)}) d X .

$D[f,g] = \int (f(x) - g(x)) \log\left(\frac{f(x)}{g(x)} \right) dx \, .$

Se abbiamo una famiglia di densità parametrizzata da , allora $\theta=(\theta_1,\dots,\theta_k)$

D [p (\cdot ∣ θ), p (\cdot ∣ θ + Δ θ)] = \int (p (x, ∣ θ) - p (x ∣ θ + Δ θ)) \log (\frac{p (x ∣ θ)}{p (x ∣ θ + Δ θ)}) d x,

$D[p(\,\cdot\,\mid\theta), p(\,\cdot\,\mid\theta + \Delta\theta)] = \int ( p(x,\mid\theta) - p(x\mid\theta + \Delta\theta)) \log\left( \frac{p(x\mid\theta)}{p(x\mid\theta + \Delta\theta)}\right) \,dx \, ,$ in cui . Introducendo la notazione una semplice algebra dà Usando l'espansione di Taylor per il logaritmo naturale, abbiamo

Δ θ = (Δ θ_{1}, \dots, Δ θ_{k})

$\Delta\theta=(\Delta\theta_1,\dots,\Delta\theta_k)$

Δ p (X | θ) = p (X | θ) - p (X | θ + Δ θ),

$\Delta p(x\mid\theta) = p(x\mid\theta) - p(x\mid\theta + \Delta\theta) \, ,$

D [p (\cdot | θ), p (\cdot | θ + Δ θ)] = \int \frac{Δ p (X | θ)}{p (X | θ)} \log (1 + \frac{Δ p (X | θ)}{p (X | θ)}) p (X | θ) d X .

$D[p(\;\cdot\,\mid\theta), p(\;\cdot\,\mid\theta + \Delta\theta)] = \int\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)} \log\left(1+\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)}\right)p(x\mid\theta)\,dx \, .$

\log (1 + \frac{Δ p (X | θ)}{p (X | θ)}) \approx \frac{Δ p (X | θ)}{p (X | θ)},

$\log\left(1+\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)}\right) \approx \frac{\Delta p(x\mid\theta)}{p(x\mid\theta)} \, ,$ e quindi Ma Quindi in cui

D [p (\cdot | θ), p (\cdot | θ + Δ θ)] \approx \int {(\frac{Δ p (X | θ)}{p (X | θ)})}^{2} p (X | θ) d X .

$D[p(\;\cdot\,\mid\theta), p(\;\cdot\,\mid\theta + \Delta\theta)] \approx \int\left(\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)}\right)^2p(x\mid\theta)\,dx \, .$

\frac{Δ p (X | θ)}{p (X | θ)} \approx \frac{1}{p (X | θ)} Σ_{io = 1}^{K} \frac{\partial p (X | θ)}{\partial θ_{io}} Δ θ_{io} = Σ_{io = 1}^{K} \frac{\partial \log p (X | θ)}{\partial θ_{io}} Δ θ_{io} .

$\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)} \approx \frac{1}{p(x\mid\theta)} \sum_{i=1}^k \frac{\partial p(x\mid\theta)}{\partial\theta_i} \, \Delta\theta_i = \sum_{i=1}^k \frac{\partial \log p(x\mid\theta)}{\partial\theta_i} \, \Delta\theta_i \, .$

D [p (\cdot | θ), p (\cdot | θ + Δ θ)] \approx Σ_{io, j = 1}^{K} g_{io j} Δ θ_{io} Δ θ_{j},

$D[p(\,\cdot\,\mid\theta), p(\,\cdot\,\mid\theta + \Delta\theta)] \approx \sum_{i,j=1}^k g_{ij} \,\Delta\theta_i \, \Delta\theta_j \, ,$

g_{io j} = \int \frac{\partial \log p (X | θ)}{\partial θ_{io}} \frac{\partial \log p (X | θ)}{\partial θ_{j}} p (X | θ) d X .

$g_{ij} = \int \frac{\partial \log p(x\mid\theta)}{\partial\theta_i} \frac{\partial \log p(x\mid\theta)}{\partial\theta_j} p(x\mid\theta) \,dx \, .$

Questo è il documento originale:

Jeffreys, H. (1946). Una forma invariante per la probabilità precedente in problemi di stima. Proc. Royal Soc. di Londra, serie A, 186, 453–461.

— zen
fonte

1

Grazie mille per la bella scrittura. Sarebbe bello se tu potessi aiutare anche questo .

— Kumara,

Sì, hai giustamente detto. Devo uscire da questa "trappola dell'astrazione".

— Kumara,

@zen Stai utilizzando l'espansione Taylor del logaritmo sotto l'integrale, perché è valido?

— Sus20200,

1

Sembra fondamentale iniziare con la divergenza KL simmetrizzata, al contrario della divergenza KL standard. L'articolo di Wikipedia non menziona la versione simmetrica, e quindi potrebbe non essere corretto. en.wikipedia.org/wiki/Kullback%E2%80%93Leibler_divergence

— Surgical Commander

11

Prova della normale divergenza KL (non simmetrica)

La risposta dello Zen usa la divergenza KL simmetrizzata, ma il risultato vale anche per la forma normale, poiché diventa simmetrico per distribuzioni infinitamente simili.

Ecco una prova per distribuzioni discrete parametrizzate da uno scalare (perché sono pigro), ma possono essere facilmente riscritte per distribuzioni continue o un vettore di parametri: $\theta$

D (p_{θ}, p_{θ + d θ}) = Σ p_{θ} \log p_{θ} - Σ p_{θ} \log p_{θ + d θ} .

$\begin{equation} D(p_\theta,p_{\theta+d\theta})=\sum p_\theta \log p_\theta - \sum p_\theta \log p_{\theta+d\theta}\ . \end{equation}$ Taylor: espandendo l'ultimo termine: Supponendo alcune regolarità, ho usato i due risultati:

= \underset{= 0}{\underset{⏟}{Σ p_{θ} \log p_{θ} - Σ p_{θ} \log p_{θ}}} - d θ \underset{= 0 †}{\underset{⏟}{Σ p_{θ} \frac{d}{d θ} \log p_{θ}}} - \frac{1}{2} {d θ}^{2} \underset{= - Σ p_{θ} (\frac{d}{d θ} \log p_{θ})^{2} ‡}{\underset{⏟}{Σ p_{θ} \frac{d^{2}}{d θ^{2}} \log p_{θ}}} + O ({d θ}^{3}) = \frac{1}{2} {d θ}^{2} \underset{Informazioni Fisher}{\underset{⏟}{Σ p_{θ} (\frac{d}{d θ} \log p_{θ})^{2}}} + O ({d θ}^{3}) .

$\begin{equation} = \underbrace{\sum p_\theta \log p_\theta - \sum p_\theta \log p_\theta}_{=\ 0} - d\theta \underbrace{\sum p_\theta \frac{d}{d\theta}\log p_\theta}_{=\ 0 \ \dagger} - \frac{1}{2}{d\theta}^2 \underbrace{\sum p_\theta \frac{d^2}{d\theta^2}\log p_\theta}_{= -\sum p_\theta (\frac{d}{d\theta}\log p_\theta)^2 \ \ddagger} + \mathcal{O}({d\theta}^3) \\ = \frac{1}{2}{d\theta}^2 \underbrace{\sum p_\theta (\frac{d}{d\theta}\log p_\theta)^2}_{\textrm{Fisher information}} + \mathcal{O}({d\theta}^3). \end{equation}$

† : Σ p_{θ} \frac{d}{d θ} \log p_{θ} = Σ \frac{d}{d θ} p_{θ} = \frac{d}{d θ} Σ p_{θ} = 0,

$\begin{equation} \dagger: \sum p_\theta \frac{d}{d\theta}\log p_\theta = \sum \frac{d}{d\theta} p_\theta = \frac{d}{d\theta} \sum p_\theta =0, \end{equation}$

\begin{aligned} ‡ : Σ p_{θ} \frac{d^{2}}{d θ^{2}} \log p_{θ} & = Σ p_{θ} \frac{d}{d θ} (\frac{1}{p_{θ}} \frac{d p_{θ}}{d θ}) \\ = Σ p_{θ} [\frac{1}{p_{θ}} \frac{d^{2} p_{θ}}{d θ} - (\frac{1}{p_{θ}} \frac{d p_{θ}}{d θ})^{2}] \\ = Σ \frac{d^{2} p_{θ}}{d θ^{2}} - Σ p_{θ} (\frac{1}{p_{θ}} \frac{d p_{θ}}{d θ})^{2} \\ = \underset{= 0}{\underset{⏟}{\frac{d^{2}}{d θ^{2}} Σ p_{θ}}} - Σ p_{θ} (\frac{d}{d θ} \log p_{θ})^{2} . \end{aligned}

$\begin{align} \ddagger: \sum p_\theta \frac{d^2}{d\theta^2}\log p_\theta &= \sum p_\theta \frac{d}{d\theta}(\frac{1}{p_\theta}\frac{dp_\theta}{d\theta}) \\ &= \sum p_\theta \left[\frac{1}{p_\theta}\frac{d^2p_\theta}{d\theta}-(\frac{1}{p_\theta}\frac{dp_\theta}{d\theta})^2\right] \\ &= \sum \frac{d^2p_\theta}{d\theta^2} - \sum p_\theta (\frac{1}{p_\theta} \frac{dp_\theta}{d\theta})^2 \\ &= \underbrace{\frac{d^2}{d\theta^2} \sum p_\theta}_{=\ 0} - \sum {p_\theta} (\frac{d}{d\theta}\log p_\theta)^2. \end{align}$

— Abhranil Das
fonte

4

È possibile trovare una relazione simile (per un parametro unidimensionale) nell'equazione (3) del seguente documento

D. Guo (2009), Entropia relativa e funzione di punteggio: nuove relazioni informazioni-stima attraverso perturbazione additiva arbitraria , in Proc. Simposio internazionale IEEE sulla teoria dell'informazione , 814–818. ( collegamento stabile ).

Gli autori si riferiscono a

S. Kullback, Teoria dell'informazione e statistica . New York: Dover, 1968.

per una prova di questo risultato.

— Primo Carnera
fonte

1

Una versione multivariata dell'equazione (3) di quel documento è dimostrata nel citato testo di Kullback alle pagine 27-28. La costante sembra essere scomparsa nella domanda del PO. :)

1 / 2

$1/2$

— cardinale il