Divergenza di Kullback-Leibler tra due distribuzioni gamma

15

Scegliere di parametrizzare la distribuzione gamma con il pdf La divergenza di Kullback-Leibler tra e è data da [1] come $\Gamma(b,c)$ $g(x;b,c) = \frac{1}{\Gamma(c)}\frac{x^{c-1}}{b^c}e^{-x/b}$ $\Gamma(b_q,c_q)$ $\Gamma(b_p,c_p)$

\begin{aligned} K L_{G a} (b_{q}, c_{q}; b_{p}, c_{p}) & = (c_{q} - 1) Ψ (c_{q}) - \log b_{q} - c_{q} - \log Γ (c_{q}) + \log Γ (c_{p}) \\ + c_{p} \log b_{p} - (c_{p} - 1) (Ψ (c_{q}) + \log b_{q}) + \frac{b_{q} c_{q}}{b_{p}} \end{aligned}

$\begin{align} KL_{Ga}(b_q,c_q;b_p,c_p) &= (c_q-1)\Psi(c_q) - \log b_q - c_q - \log\Gamma(c_q) + \log\Gamma(c_p)\\ &\qquad+ c_p\log b_p - (c_p-1)(\Psi(c_q) + \log b_q) + \frac{b_qc_q}{b_p} \end{align}$

Immagino che $\Psi(x):= \Gamma'(x)/\Gamma(x)$ sia la funzione digamma .

Questo è dato senza derivazione. Non riesco a trovare alcun riferimento che ne derivi. Qualsiasi aiuto? Un buon riferimento sarebbe sufficiente. La parte difficile è l'integrazione di con una gamma pdf. $\log x$

[1] Densità WD Penny, KL-Divergences di Normal, Gamma, Dirichlet e Wishart , disponibile su: www.fil.ion.ucl.ac.uk/~wpenny/publications/densities.ps

kullback-leibler gamma-distribution exponential-family

— Ian Langmore
fonte

2

Prendendo la derivata della pdf rispetto al

c

$c$ introduce il fattore di

l o g (x)

$log(x)$ che desideri: è per questo che digamma presenta.

— whuber

Se ti capita di imbatterti in Pierre Baldi e Laurent Itti (2010) "Di frammenti: una teoria bayesiana della sorpresa con applicazioni all'attenzione" Neural Networks 23: 649-666, troverai che l'Equazione 73 fornisce una divergenza KL tra due pdf gamma. Fai attenzione, tuttavia, sembra che la formula sia stampata male.

— Clarinet,

Sto cercando una soluzione per lo stesso problema e trovare questo uno è utile.

— Yi Yang,

15

La divergenza KL è una differenza di integrali del modulo

$$ \ eqalign {I (a, b, c, d) & = \ int_0 ^ {\ infty} \ log \ left (\ frac {e ^ {- x / a} x ^ {b-1}} {a ^ b \ Gamma (b)} \ right) \ frac {e ^ {- x / c} x ^ {d-1}} {c ^ d \ Gamma (d)} dx \

& = - \ frac {1} {a} \ int_0 ^ \ infty \ frac {x ^ de ^ {- x / c}} {c ^ d \ Gamma (d)} \, dx - \ log (a ^ b \ Gamma (b)) \ int_0 ^ \ infty \ frac {e ^ {- x / c} x ^ {d-1}} {c ^ d \ Gamma (d)} \, dx \ & \ quad + (b- 1) \ int_0 ^ \ infty \ log (x) \ frac {e ^ {- x / c} x ^ {d-1}} {c ^ d \ Gamma (d)} \, dx \

& = - \ frac {cd} {a} - \ log (a ^ b \ Gamma (b)) + (b-1) \ int_0 ^ \ infty \ log (x) \ frac {e ^ {- x / c } x ^ {d-1}} {c ^ d \ Gamma (d)} \, dx} $$

Non ci resta che trattare l'integrale della mano destra, che si ottiene osservando

\begin{aligned} \frac{\partial}{\partial d} Γ (d) = & \frac{\partial}{\partial d} \int_{0}^{\infty} e^{- x / c} \frac{x^{d - 1}}{c^{d}} d x \\ = & \frac{\partial}{\partial d} \int_{0}^{\infty} e^{- x / c} \frac{(x / c)^{d - 1}}{c} d x \\ = & \int_{0}^{\infty} e^{- x / c} \frac{x^{d - 1}}{c^{d}} \log \frac{x}{c} d x \\ = & \int_{0}^{\infty} \log (x) e^{- x / c} \frac{x^{d - 1}}{c^{d}} d x - \log (c) Γ (d) . \end{aligned}

$\eqalign{ \frac{\partial}{\partial d}\Gamma(d) =& \frac{\partial}{\partial d}\int_0^{\infty}e^{-x/c}\frac{x^{d-1}}{c^d}dx\\ =& \frac{\partial}{\partial d} \int_0^\infty e^{-x/c} \frac{(x/c)^{d-1}}{c}\,dx\\ =&\int_0^\infty e^{-x/c}\frac{x^{d-1}}{c^d} \log\frac{x}{c} \,dx\\ =&\int_0^{\infty}\log(x)e^{-x/c}\frac{x^{d-1}}{c^d}dx - \log(c)\Gamma(d). }$

da cui

\frac{b - 1}{Γ (d)} \int_{0}^{\infty} \log (x) e^{- x / c} (x / c)^{d - 1} d x = (b - 1) \frac{Γ^{'} (d)}{Γ (d)} + (b - 1) \log (c) .

$\frac{b-1}{\Gamma(d)}\int_0^{\infty} \log(x)e^{-x/c}(x/c)^{d-1}dx = (b-1)\frac{\Gamma'(d)}{\Gamma(d)} + (b-1)\log(c).$

Collegare ai rendimenti precedenti

I (a, b, c, d) = \frac{- c d}{a} - \log (a^{b} Γ (b)) + (b - 1) \frac{Γ^{'} (d)}{Γ (d)} + (b - 1) \log (c) .

$I(a,b,c,d)=\frac{-cd}{a} -\log(a^b\Gamma(b))+(b-1)\frac{\Gamma'(d)}{\Gamma(d)} + (b-1)\log(c).$

La divergenza KL tra e uguale a , che è semplice da assemblare. $\Gamma(c,d)$ $\Gamma(a,b)$ $I(c,d,c,d) - I(a,b,c,d)$

Dettagli di implementazione

Le funzioni gamma crescono rapidamente, quindi per evitare il trabocco non calcolare Gamma e prendere il suo logaritmo: utilizzare invece la funzione log-Gamma che si troverà in qualsiasi piattaforma di calcolo statistico (incluso Excel, del resto).

Il rapporto è la derivata logaritmica di generalmente chiamata la funzione digamma . Se non è disponibile per te, ci sono modi relativamente semplici per approssimarlo, come descritto nell'articolo di Wikipedia . $\Gamma^\prime(d)/\Gamma(d)$ $\Gamma,$ $\psi,$

Qui, per illustrare, è una diretta Rimplementazione della formula in termini di . Ciò non sfrutta l'opportunità di semplificare algebricamente il risultato, il che lo renderebbe un po 'più efficiente (eliminando un calcolo ridondante di ). $I$ $\psi$

#
# `b` and `d` are Gamma shape parameters and
# `a` and `c` are scale parameters.
# (All, therefore, must be positive.)
#
KL.gamma <- function(a,b,c,d) {
  i <- function(a,b,c,d)
    - c * d / a - b * log(a) - lgamma(b) + (b-1)*(psigamma(d) + log(c))
  i(c,d,c,d) - i(a,b,c,d)
}
print(KL.gamma(1/114186.3, 202, 1/119237.3, 195), digits=12)

— whuber
fonte

2

Buona risposta. Grazie! Credo che ci sia un errore di segno nella quarta uguaglianza. Inoltre, il tuo pdf gamma dovrebbe avere un fattore aggiuntivo di 'c' nel denominatore. Vuoi che lo modifichi?

— Ian Langmore,

@Ian hai ragione; Di solito scrivo la misura come

e, non facendolo, ho omesso quel fattore aggiuntivo di

. Buona cattura dell'errore del segno. Se desideri apportare le modifiche, sentiti libero!

d x / x

$dx/x$

c

$c$

— whuber

2

Ho fatto le correzioni.

— Ian Langmore,

10

La distribuzione gamma è nella famiglia esponenziale perché la sua densità può essere espressa come:

\begin{aligned} f (x ∣ θ) & = \exp (η (θ) \cdot T (x) - g (θ) + h (x)) \end{aligned}

$\begin{align} \newcommand{\mbx}{\mathbf{x}} \newcommand{\btheta}{\boldsymbol{\theta}} f(\mbx \mid \btheta) &= \exp\bigl(\eta(\btheta) \cdot T(\mbx) - g(\btheta) + h(\mbx)\bigr) \end{align}$

g (θ) = \log (Γ (c)) + c \log (b)

$g(\btheta) = \log(\Gamma(c)) + c\log(b)$

θ = [\begin{matrix} c - 1 \\ - \frac{1}{b} \end{matrix}]

$\btheta = \left[\begin{matrix}c-1\\-\frac1 b\end{matrix}\right]$

Tutte le distribuzioni nella famiglia esponenziale hanno divergenze di KL:

\begin{aligned} K L (q; p) & = g (θ_{p}) - g (θ_{q}) - (θ_{p} - θ_{q}) \cdot \nabla g (θ_{q}) . \end{aligned}

$\begin{align} KL(q; p) &= g(\btheta_p) - g(\btheta_q) - (\btheta_p-\btheta_q) \cdot \nabla g(\btheta_q). \end{align}$

There's a really nice proof of that in:

Frank Nielsen, École Polytechnique, and Richard Nock, Entropies and cross-entropies of exponential families.

— Neil G
fonte

Didn't know this. Just a quick question - the

g (.)

$g(.)$ function, does it have to be the same for

θ_{p}

$\theta_p$ as for

θ_{q}

$\theta_q$ ? So for example, would the above formula be valid for KL divergence of normal pdf from gamma pdf?

— probabilityislogic

1

Yes, this formula is for two distributions in the same exponential family.

— Neil G