Domande sulla divergenza di KL?

Sto confrontando due distribuzioni con la divergenza di KL che mi restituisce un numero non standardizzato che, secondo quanto ho letto su questa misura, è la quantità di informazioni necessarie per trasformare un'ipotesi nell'altra. Ho due domande:

a) C'è un modo per quantificare una divergenza KL in modo che abbia un'interpretazione più significativa, ad esempio come una dimensione dell'effetto o un R ^ 2? Qualche forma di standardizzazione?

b) In R, quando si usa KLdiv (pacchetto flexmix) si può impostare il valore 'esp' (standard esp = 1e-4) che imposta tutti i punti più piccoli di esp rispetto ad alcuni standard al fine di fornire stabilità numerica. Ho giocato con diversi valori esp e, per il mio set di dati, sto ottenendo una divergenza KL sempre più grande quanto minore è il numero che scelgo. Cosa sta succedendo? Mi aspetto che quanto più piccolo è l'esp, tanto più affidabili dovrebbero essere i risultati poiché lasciano che più "valori reali" diventino parte della statistica. No? Devo cambiare esp poiché altrimenti non calcola la statistica ma si presenta semplicemente come NA nella tabella dei risultati ...

Supponiamo che ti vengano dati n campioni IID generati da p o da q. Vuoi identificare quale distribuzione li ha generati. Prendi come ipotesi nulla che siano stati generati da q. Lasciate indicare una probabilità di errore di tipo I, rifiutando erroneamente l'ipotesi nulla e b indicano la probabilità di errore di tipo II.

Quindi per n grande, la probabilità di errore di tipo I è almeno

$\exp(-n \text{KL}(p,q))$

In altre parole, per una procedura di decisione "ottimale", la probabilità di tipo I diminuisce al massimo di un fattore di exp (KL (p, q)) con ciascun punto dati. L'errore di tipo II scende al massimo per fattore di .$\exp(\text{KL}(q,p))$

Per n arbitrari, a e b sono correlati come segue

$b \log \frac{b}{1-a}+(1-b)\log \frac{1-b}{a} \le n \text{KL}(p,q)$

e

$a \log \frac{a}{1-b}+(1-a)\log \frac{1-a}{b} \le n \text{KL}(q,p)$

Se esprimiamo il limite sopra come limite inferiore su a in termini di b e KL e riduciamo b a 0, il risultato sembra avvicinarsi al limite "exp (-n KL (q, p))" anche per la piccola n

Maggiori dettagli a pagina 10 qui e pagine 74-77 di "Teoria e statistica dell'informazione" di Kullback (1978).

Come nota a margine, questa interpretazione può essere utilizzata per motivare la metrica di Fisher Information, poiché per ogni coppia di distribuzioni p, q alla distanza di Fisher k l'una dall'altra (piccola k) è necessario lo stesso numero di osservazioni per distinguerle

KL ha un significato profondo quando si visualizza un insieme di dentature come una varietà all'interno del tensore metrico del pescatore, che fornisce la distanza geodetica tra due distribuzioni "ravvicinate". formalmente:

$ds^2=2KL(p(x, \theta ),p(x,\theta + d \theta))$

Le seguenti righe sono qui per spiegare con dettagli cosa si intende con questo las formule matematiche.

Definizione della metrica di Fisher.

$D=(f(x, \theta ))$$R^n$$x$$R^p$$F=(F_{ij})$

$F_{ij}=E[d(\log f(x,\theta))/d \theta_i d(\log f(x,\theta))/d \theta_j]$

$D$$F(\theta)$

Potresti dire ... OK astrazione matematica ma dov'è KL?

$p=1$$F_{11}$

$ds^2$$p(x,\theta)$$p(x,\theta+d \theta)$

$ds^2= \sum F_{ij} d \theta^i d \theta^j$

ed è noto per essere il doppio della divergenza di Kullback Leibler:

$ds^2=2KL(p(x, \theta ),p(x,\theta + d \theta))$

Se vuoi saperne di più, ti suggerisco di leggere l'articolo di Amari http://projecteuclid.org/DPubS?service=UI&version=1.0&verb=Display&handle=euclid.aos/1176345779 (Penso che ci sia anche un libro di Amari su geometria riemanniana in statistica ma non ricordo il nome)

La divergenza KL (p, q) tra le distribuzioni p (.) E q (.) Ha un'interpretazione teorica dell'informazione intuitiva che potresti trovare utile.

Supponiamo di osservare i dati x generati da una certa distribuzione di probabilità p (.). Un limite inferiore sulla lunghezza media del codice in bit richiesto per indicare i dati generati da p (.) È dato dall'entropia di p (.).

Ora, poiché non conosciamo p (.) Scegliamo un'altra distribuzione, diciamo, q (.) Per codificare (o descrivere, dichiarare) i dati. La lunghezza media del codice generata da p (.) E codificata usando q (.) Sarà necessariamente più lunga rispetto alla distribuzione vera p (.) Per la codifica. La divergenza di KL ci parla delle inefficienze di questo codice alternativo. In altre parole, la divergenza KL tra p (.) E q (.) È il numero medio di bit extra richiesti per codificare i dati generati da p (.) Usando la distribuzione di codifica q (.). La divergenza KL non è negativa ed è uguale a zero se viene utilizzata la distribuzione di generazione dei dati effettiva per codificare i dati.

Per la parte (b) della tua domanda, potresti riscontrare il problema che una delle tue distribuzioni ha densità in una regione dove l'altra no.

$i$$p_i>0$$q_i=0$$q_i=0$$q_i$