Intuizione grafica delle statistiche su una varietà

In questo post , puoi leggere la dichiarazione:

I modelli sono generalmente rappresentati da punti $\theta$ su una varietà dimensionale finita.

Su Geometria differenziale e Statistica di Michael K Murray e John W Rice questi concetti sono spiegati in prosa leggibili anche ignorando le espressioni matematiche. Sfortunatamente, ci sono pochissime illustrazioni. Lo stesso vale per questo post su MathOverflow.

Voglio chiedere aiuto con una rappresentazione visiva che funga da mappa o motivazione per una comprensione più formale dell'argomento.

Quali sono i punti sul collettore? Questa citazione di questo ritrovamento online indica apparentemente che possono essere i punti dati o i parametri di distribuzione:

Le statistiche sulle varietà e sulla geometria dell'informazione sono due modi diversi in cui la geometria differenziale incontra le statistiche. Mentre nelle statistiche sulle varietà, sono i dati che si trovano su una varietà, nella geometria dell'informazione i dati sono in $R^n$ , ma la famiglia parametrizzata di funzioni di densità di probabilità di interesse viene trattata come una varietà. Tali varietà sono note come varietà statistiche.

Ho disegnato questo diagramma ispirato da questa spiegazione dello spazio tangente qui :

[ Modifica per riflettere il commento qui sotto su : $C^\infty$ ] Su una varietà, , lo spazio tangente è l'insieme di tutte le possibili derivate ("velocità") in un punto associato ad ogni possibile curva sul collettore che scorre attraverso Questo può essere visto come un insieme di mappe da ogni curva che attraversa ovvero definita come composizione $(\mathcal M)$ $p\in \mathcal M$ $(\psi: \mathbb R \to \mathcal M)$ $p.$ $p,$ $C^\infty (t)\to \mathbb R,$ , conindica una curva (funzione dalla linea reale alla superficie del collettore ) che attraversa il puntoe raffigurata in rosso sul diagramma sopra; eche rappresenta una funzione di test. Lelinee di contorno bianche"iso-" si mappano sullo stesso punto sulla linea reale e circondano il punto. $\left(f \circ \psi \right )'(t)$ $\psi$ $\mathcal M$ $p,$ $f,$ $f$ $p$

L'equivalenza (o una delle equivalenze applicate alle statistiche) è discussa qui e verrebbe correlata alla seguente citazione :

Se lo spazio dei parametri per una famiglia esponenziale contiene un set aperto dimensionale , viene chiamato rango completo. $s$

Una famiglia esponenziale che non è full rank viene generalmente chiamata famiglia esponenziale curva, poiché in genere lo spazio dei parametri è una curva in di dimensione inferiore a $\mathcal R^s$ $s.$

Questo sembra rendere l'interpretazione della trama come segue: i parametri distributivi (in questo caso delle famiglie di distribuzioni esponenziali) si trovano sul molteplice. I punti dati in verrebbero mappati su una linea sul collettore attraverso la funzione nel caso di un problema di ottimizzazione non lineare carente del rango. Ciò equivarrebbe al calcolo della velocità in fisica: ricerca della derivata della funzione lungo il gradiente delle linee "iso-f" (derivata direzionale in arancione): La funzione $\mathbb R$ $\psi: \mathbb R \to \mathcal M$ $f$ $\left(f \circ \psi \right)'(t).$ avrebbe il ruolo di ottimizzare la selezione di un parametro distributivo mentre la curva sposta lungo le linee di contorno di sul collettore. $f: \mathbb M \to \mathbb R$ $\psi$ $f$

FONDO AGGIUNTO DI FONDO:

Da notare che credo che questi concetti non siano immediatamente correlati alla riduzione della dimensionalità non lineare in ML. Sembrano più simili alla geometria dell'informazione . Ecco una citazione:

$R^n$ $n$

Le seguenti informazioni dalle statistiche sui collettori con applicazioni per modellare le deformazioni delle forme di Oren Freifeld :

$M$ $TpM$ $p \in M$ $TpM$ $M$ $TpM$ $p$ $M$ $TpM$ $M$ $p$ $M$ giace completamente da una parte. Gli elementi di TpM sono chiamati vettori tangenti.

[...] Su varietà, i modelli statistici sono spesso espressi in spazi tangenti.

[...]

$M$

$D_L = \{p_1, \cdots , p_{NL}\} \subset M$

$D_S = \{q_1, \cdots , q_{NS}\} \subset M$

Let e rappresentano due, forse sconosciuta, punti in . Si presume che i due set di dati soddisfino le seguenti regole statistiche: $µ_L$ $µ_S$ $M$

$\{\log_{\mu L} (p_1), \cdots , \log_{\mu L}(p_{NL})\} \subset T_{\mu L}M, \quad \log_{\mu L}(p_i) \overset{\text{i.i.d}}{\sim} \mathscr N(0, \Sigma_L)$ $\{\log_{\mu S} (q_1), \cdots , \log_{\mu S}(q_{NS})\} \subset T_{\mu S}M, \quad \log_{\mu S}(q_i) \overset{\text{i.i.d}}{\sim} \mathscr N(0, \Sigma_S)$

[...]

In altre parole, quando è espresso (come vettori tangenti) nello spazio tangente (a ) in , può essere visto come un insieme di campioni iid da un gaussiano a media zero con covarianza . Allo stesso modo, quando è espresso nello spazio tangente in , può essere visto come un insieme di campioni iid da un gaussiano a media zero con covarianza . Questo generalizza il caso euclideo. $D_L$ $M$ $\mu_L$ $\Sigma_L$ $D_S$ $\mu_S$ $\Sigma_S$

Sullo stesso riferimento, trovo l'esempio più vicino (e praticamente solo) online di questo concetto grafico di cui sto chiedendo:

Ciò indicherebbe che i dati si trovano sulla superficie del collettore espresso come vettori tangenti e che i parametri sarebbero mappati su un piano cartesiano?

— Antoni Parellada
fonte

Cosa stai cercando di fare qui? Disegna le varietà? Molti di loro sono troppo noiosi per disegnare. Ad esempio, prova la distribuzione gaussiana.

— Aksakal,

Normalmente penserei agli spazi dei parametri come spazi vettoriali, ad esempio . Se dovessi pensare a "varietà" parametriche, la prima cosa che mi viene in mente sarebbe "sistemi di vincoli", ad esempio . Altrimenti, perché lo spazio non è "completo"? (Cosa sta definendo il sottoinsieme che è il "collettore"?)

θ \in R^{n}

$\theta\in\mathbb{R}^n$

f (θ) = 0

$f(\theta)=0$

— GeoMatt22

Speriamo che @whuber arrivi ed elabori i commenti che stava facendo in chat.

— gung - Ripristina Monica

La risposta breve alla domanda modificata è "no". Lo spazio tangente descrive le velocità di tutti i percorsi regolari nel collettore. Il suo ruolo principale nelle statistiche è di massimizzare le probabilità, dove la varietà descrive una famiglia finemente parametrizzata. Nell'apprendimento collettivo, un collettore viene utilizzato come approssimazione locale ai dati: è una versione curva dello "spazio colonna" in regressione lineare. Lì, lo spazio tangente è incorporato nello spazio euclideo ambientale. A livello locale, descrive le "direzioni" dei dati e il suo normale pacchetto fornisce le indicazioni "di errore".

— whuber

Sì: lo spazio cotangente at può essere definito come derivazioni di germi di funzioni attorno a . Lo spazio tangente in (quindi!) È semplicemente il suo doppio. e acquisiscono una topologia - cioè, ammettere una nozione di due spazi tangenti e essere "vicino" - mediante i grafici delle coordinate . Ciò riduce la definizione (e il problema della visualizzazione) a quella della definizione dello spazio tangente . Questo è l'insieme di tutti i vettori che hanno origine in . Spivak, in Calcolo su collettori

T_{p}^{*} M

$T_p^{*}M$

p

$p$

p

$p$

p

$p$

T^{*} M

$T^{*}M$

T M

$TM$

T_{p} M

$T_pM$

T_{q} M

$T_qM$

M

$M$

T_{x} R^{n}

$T_x\mathbb{R}^n$

x

$x$ , fornisce una definizione chiara ed elementare di questo tipo.

— whuber

Risposte:

Una famiglia di distribuzioni di probabilità può essere analizzata come punti su una varietà con coordinate intrinseche corrispondenti ai parametri della distribuzione. L'idea è di evitare una rappresentazione con una metrica errata: Gaussiani univariati possono essere tracciati come punti nella varietà euclidea come sul lato destro della trama sotto con la media nell'asse e la SD nell'asse (metà positiva nel caso di tracciare la varianza): $(\Theta)$ $\mathcal N(\mu,\sigma^2),$ $\mathbb R^2$ $x$ $y$

Tuttavia, la matrice identità (distanza euclidea) non riuscirà a misurare il grado di (dis) somiglianza tra i singoli : sulle curve normali a sinistra della trama sopra, dato un intervallo nel dominio, l'area senza sovrapposizione (in blu scuro) è più grande per le curve gaussiane con varianza inferiore, anche se la media viene mantenuta fissa. In effetti, l'unica metrica riemanniana che "ha senso" per le varietà statistiche è la metrica delle informazioni di Fisher . $\mathrm{pdf}$

A distanza di informazioni Fisher: una lettura geometrica , Costa SI, Santos SA e Strapasson JE sfruttano la somiglianza tra la matrice di informazioni Fisher delle distribuzioni gaussiane e la metrica nel modello di disco Beltrami-Pointcaré per derivare una formula chiusa.

Il cono "nord" dell'iperboloide diventa una varietà non euclidea, in cui ogni punto corrisponde a una deviazione media e standard (spazio dei parametri) e la distanza più breve tra ad es. e nel diagramma seguente, è una curva geodetica, proiettata (mappa cartografica) sul piano equatoriale come linee rette iperparaboliche e che consente la misurazione delle distanze tra attraverso un tensore metrico - la metrica di informazioni di Fisher : $x^2 + y^2 - x^2 = -1$ $\mathrm {pdf's,}$ $P$ $Q,$ $\mathrm{pdf's}$ $g_{\mu\nu}\;(\Theta)\;\mathbf e^\mu\otimes \mathbf e^\nu$

D (P (x; θ_{1}), Q (x; θ_{2})) = min_{θ (t) | θ (0) = θ_{1}, θ (1) = θ_{2}} \int_{0}^{1} \sqrt{{(\frac{d θ}{d t})}^{⊤} I (θ) \frac{d θ}{d t} d t}

$D\,\left ( P(x;\theta_1)\,,\,Q(x;\theta_2) \right)=\min_{\theta(t)\,|\,\theta(0)=\theta_1\;,\;\theta(1)=\theta_2}\;\int_0^1 \; \sqrt{\left(\frac{\mathrm d\theta}{\mathrm dt} \right)^\top\;I(\theta)\frac{\mathrm d \theta}{\mathrm dt}dt}$

con

I (θ) = \frac{1}{σ^{2}} [\begin{matrix} 1 & 0 \\ 0 & 2 \end{matrix}]

$I(\theta) = \frac{1}{\sigma^2}\begin{bmatrix}1&0\\0&2 \end{bmatrix}$

La divergenza di Kullback-Leibler è strettamente correlata, sebbene manchi la geometria e la metrica associata.

Ed è interessante notare che la matrice di informazioni di Fisher può essere interpretata come l' entropia dell'Assia dello Shannon :

g_{i j} (θ) = - E [\frac{\partial^{2} \log p (x; θ)}{\partial θ_{i} \partial θ_{j}}] = \frac{\partial^{2} H (p)}{\partial θ_{i} \partial θ_{j}}

$g_{ij}(\theta)=-E\left[ \frac{\partial^2\log p(x;\theta)}{\partial \theta_i \partial\theta_j} \right]=\frac{\partial^2 H(p)}{\partial \theta_i \partial \theta_j}$

con

H (p) = - \int p (x; θ) \log p (x; θ) d x .

$H(p) = -\int p(x;\theta)\,\log p(x;\theta) \mathrm dx.$

Questo esempio è simile nel concetto alla più comune mappa stereografica terrestre .

L'incorporamento multidimensionale ML o l'apprendimento multiplo non sono trattati qui.

— Antoni Parellada
fonte

Esiste più di un modo per collegare le probabilità alla geometria. Sono sicuro che hai sentito parlare di distribuzioni ellittiche (ad es. Gaussiane). Il termine stesso implica un collegamento geometrico ed è evidente quando si disegna la sua matrice di covarianza. Con le varietà inserisce semplicemente ogni possibile valore di parametro nel sistema di coordinate. Ad esempio, un collettore gaussiano sarebbe in due dimensioni: . Puoi avere qualsiasi valore di ma solo varianze positive . Quindi, la varietà gaussiana sarebbe la metà dell'intero spazio . Non così interessante $\mu,\sigma^2$ $\mu\in R$ $\sigma^2>0$ $R^2$

— Aksakal
fonte

Immagino di aver pensato che una "varietà" dovrebbe essere di dimensione inferiore rispetto al suo spazio incorporato? Quindi un mezzo spazio non conta?

— GeoMatt22,

Con Gaussian non è nemmeno una varietà, giusto. Hai bisogno di vincoli, quindi diventa una specie di piano o linea

— Aksakal,

Sto cercando di capire le implicazioni della tua risposta ... Intendi " un collegamento geometrico"? Inoltre, ho appena trovato questo post correlato su MathOverflow .

— Antoni Parellada,

Diventa più interessante con una metrica appropriata ... come quella di Fisher-Rao, e poi diventa la mezza posizione iperbolica di Poincaré en.wikipedia.org/wiki/Poincar%C3%A9_half-plane_model

— mic

A tutti: (1) le varietà che descrivono le famiglie parametriche sono varietà intrinseche : non devono essere incorporate in nessuno spazio vettoriale. (2) Sono più che semplici varietà differenziabili: le Informazioni Fisher forniscono loro una metrica riemanniana - una distanza locale - che consente loro di essere studiati geometricamente. Questo rende la "metà dell'intero spazio di " in una superficie curva.

R^{2}

$\mathbb{R}^2$

— whuber