Usare la geometria dell'informazione per definire distanze e volumi ... utile?

13

Mi sono imbattuto in un ampio corpus di pubblicazioni che sostengono l'uso della metrica Information di Fisher come metrica locale naturale nello spazio delle distribuzioni di probabilità e quindi l'integrazione su di essa per definire distanze e volumi.

Ma queste quantità "integrate" sono effettivamente utili per qualcosa? Non ho trovato giustificazioni teoriche e pochissime applicazioni pratiche. Uno è il lavoro di Guy Lebanon in cui usa "La distanza di Fisher" per classificare i documenti e un altro è l' ABC di selezione dei modelli di Rodriguez ... dove "volume di Fisher" è usato per la selezione dei modelli. Apparentemente, l'uso del "volume di informazioni" offre un miglioramento degli "ordini di grandezza" rispetto ad AIC e BIC per la selezione dei modelli, ma non ho visto alcun seguito su quel lavoro.

Una giustificazione teorica potrebbe essere quella di avere un limite di generalizzazione che utilizza questa misura di distanza o volume ed è migliore dei limiti derivati da MDL o argomenti asintotici, o un metodo basato su una di queste quantità che è decisamente migliore in qualche situazione ragionevolmente pratica, ci sono qualche risultato di questo tipo?

model-selection information-geometry

— Yaroslav Bulatov
fonte

Le informazioni di Fisher forniscono un limite inferiore nella stima dei parametri. È una metrica naturale perché dice approssimativamente qualcosa del tipo "in questa direzione la difficoltà del mio problema non può diminuire più di così". Ciò che chiamate limiti di generalizzazione sono limiti superiori? vuoi conoscere le prestazioni del metodo che utilizza la metrica Fisher (il grande corpo che citi è un buon elenco)? scusa ma non capisco davvero la domanda :) puoi riformulare quel punto?

— Robin Girard,

Diciamo che la matrice di informazioni di Fisher fornisce il nostro tensore metrico riemanniano. Ci permette di trovare la lunghezza di qualsiasi curva integrando. Quindi si definisce la distanza tra p e q come la più piccola lunghezza d'arco su tutte le curve che collegano p e q. Questa è la misura della distanza di cui sto chiedendo. Lo stesso con il volume.

— Yaroslav Bulatov,

1

Quindi, solo come esempio, Rodriguez ottiene un miglioramento significativo usando il "volume di informazioni" come misura della complessità del modello, ma sorprendentemente non riesco a vedere nessun altro che lo provi

— Yaroslav Bulatov

5

La settimana scorsa alla Royal Statistical Society è stato letto un articolo sulle tecniche MCMC sulle varietà di Riemann, principalmente utilizzando la metrica di informazioni Fisher: http://www.rss.org.uk/main.asp?page=1836#Oct_13_2010_Meeting

I risultati sembrano promettenti, sebbene, come sottolineano gli autori, in molti modelli di interesse (come i modelli di miscele) le informazioni di Fisher non abbiano forma analitica.

— Simon Byrne
fonte

1

È quella la carta "Riemann manifold Langevin"? Integrare le informazioni di Fisher ad un certo punto?

— Yaroslav Bulatov,

4

L'argomento più noto è che la metrica del pescatore, essendo invariante per coordinare le trasformazioni, può essere utilizzata per formulare un precedente non informato (precedente di Jeffreys). Non sono sicuro di acquistarlo!

Meno noto, è che a volte queste "quantità integrate" si rivelano divergenze e che si può affermare che le distanze dei pescatori generano un insieme generalizzato di divergenze (e loro proprietà).

Tuttavia, devo ancora trovare una buona descrizione intuitiva delle informazioni sul pescatore e delle quantità che genera. Per favore dimmi se ne trovi uno.

— Lucas
fonte

Si conoscono molte cose sulle informazioni del pescatore, sono integrali delle informazioni del pescatore di cui non sono sicuro. Non ho familiarità con quello che dici sull'informazione di Fisher che si trasforma in una nota divergenza sull'integrazione

— Yaroslav Bulatov,

4

La ragione per cui non c'è "nessun seguito" è che pochissime persone comprendono il lavoro di Rodriguez su questo fatto che risale a molti anni fa. È roba importante e ne vedremo di più in futuro, ne sono sicuro.

Tuttavia, alcuni sosterrebbero che la metrica di Fisher è solo un'approssimazione del 2 ° ordine alla vera metrica (ad esempio il documento di Neumann sull'instaurazione di priori entropici ) che è in realtà definito dalla distanza di Kullback-Liebler (o sue generalizzazioni) e che porta alla formulazione di Zellner di Priori MDI.

— Michael
fonte