Riferimenti che giustificano l'uso di miscele gaussiane

I modelli di miscele gaussiane (GMM) sono allettanti perché sono semplici da lavorare sia in termini analitici che pratici e sono in grado di modellare alcune distribuzioni esotiche senza troppa complessità. Ci sono alcune proprietà analitiche che dovremmo aspettarci di possedere che non sono chiare in generale. In particolare:

Supponiamo che $S_n$ sia la classe di tutte le miscele gaussiane con $n$ componenti. Per qualsiasi distribuzione continua $P$ sui reali, ci viene garantito che man mano che $n$ cresce, possiamo approssimare $P$ con un GMM con perdita trascurabile nel senso di entropia relativa? Cioè, fa $lim_{n \to \infty} inf_{\hat{P} \in S_{n}} D (P | | \hat{P}) = 0 ?$ $\lim_{n\rightarrow \infty}\inf_{\hat{P}\in S_n} D(P||\hat{P})=0?$
Supponiamo di avere una distribuzione continua $P$ e di aver trovato una $N$ miscela gaussiana di che è vicina a nella variazione totale: . Possiamo legare in termini di ? $\hat{P}$ $P$ $\delta(P,\hat{P})<\varepsilon$ $D(P||\hat{P})$ $\epsilon$
Se vogliamo osservare attraverso un rumore additivo indipendente (sia reale, continuo), e abbiamo GMM dove , quindi questo valore è piccolo: cioè è vero che la stima $X\sim P_X$ $Y\sim P_Y$ $\hat{X} \sim Q_X, \hat{Y} \sim Q_N$ $\delta(P,Q)<\epsilon$ $| m m S e (X | X + Y) - m m S e (\hat{X} | \hat{X} + \hat{Y}) |,$ $\left|\mathsf{mmse}(X|X+Y)-\mathsf{mmse}(\hat{X}| \hat{X}+\hat{Y})\right|,$ attraverso è rumore circa dura come stimare attraverso rumore? $X$ $Y$ $\hat{X}$ $\hat{Y}$
Puoi farlo per modelli di rumore non additivi come il rumore di Poisson?

Finora la mia (breve) recensione di letteratura ha appena presentato tutorial molto applicati. Qualcuno ha riferimenti che dimostrano rigorosamente in quali condizioni siamo giustificati nell'uso dei modelli di miscele?

— enthdegree
fonte

L'insieme degli MGM è denso nell'insieme delle distribuzioni nella topologia debole (corrispondente alla convergenza nella distribuzione); vedi ad esempio qui . Non sono sicuro se la vostra prima dichiarazione tiene, anche se sarebbe certamente richiedono permettendo componenti zero varianza nella miscela per affrontare eventuali masse puntiformi nel

. Sono anche scettico riguardo al secondo punto elenco, sempre a causa del problema delle masse puntuali.

P

$P$

— Dougal,

Bene, ho specificato che tutto dovrebbe essere continuo

— enthdegree

Potresti avere più fortuna guardando la letteratura sulla stima della densità del kernel con i kernel gaussiani. Dato che hai una miscela di gaussiani con uno per campione, man mano che il numero di campioni aumenta, ottieni uno stimatore asintoticamente imparziale e coerente della distribuzione? Penso che la risposta sia sì, ma non sono riuscito a trovare immediatamente un riferimento.

— Greg Ver Steeg,

@enthdegree: Ottima domanda. Poiché vuoi usare topologie forti (divergenza di KL e variazione totale), la risposta generale ai tuoi primi due punti è no: ad esempio, considera una distribuzione dalla coda grassa; Il KL per qualsiasi miscela gaussiana finita è infinito (sono abbastanza sicuro che funzioni, sebbene non al 100%). Ma questo porta alla domanda molto più interessante, per quale sottoclasse di distribuzioni di probabilità si applicherebbero tutti i punti elenco? Non conosco la risposta ma sembra estremamente interessante. La mia ipotesi è che probabilmente sono quasi tutte le distribuzioni di probabilità.

— Guillaume Dehaene,

Ho preso una lezione con questo libro. link Fa un discreto background sui fondamenti.

— EngrStudent - Ripristina Monica

Risposte:

In econometria, dove il contesto è delle distribuzioni miste di coefficienti nei modelli logit, il riferimento standard è: MODELLI MNL MISTI PER LA RISPOSTA DISCRETA DANIEL MCFADDEN E KENNETH TRAIN, JOURNAL OF APPLIED ECONOMETRICS, J. Appl. Econ. 15: 447-470 (2000).

— Tim
fonte

Rispetto alle tue domande:

Per il problema Bayesiano molto simile della miscela di gaussiani del Dirichlet Process, capisco che la risposta è sì. Ghosal (2013) .
Quando ho partecipato ad alcuni colloqui su questo argomento, mi è sembrato che i progressi fossero stati fatti principalmente usando la divergenza di KL. Guarda le diapositive di Harry van Zanten .
Non sono chiaro Tuttavia, questo sembra un problema di separazione della fonte ( sconosciuto). Questi sono generalmente molto più difficili della modellazione della miscela da sola. In particolare per il semplice caso di non saresti in grado di identificare la vera e causa della simmetria delle distribuzioni su zero. $P_N, P_S$ $P_N = P_S = N(0,1)$ $X$ $Y$
Vedi la quarta delle diapositive collegate sopra, c'è un elenco di modelli bayesiani per i quali la convergenza garantisce la tenuta.

— congetture
fonte

Ecco una risposta parziale.

Supponiamo che sia la classe di tutte le miscele gaussiane con componenti. Per qualsiasi distribuzione continua sui reali, ci viene garantito che man mano che cresce, possiamo approssimare con un GMM con perdita trascurabile nel senso di entropia relativa? Cioè, fa $S_n$ $n$ $P$ $n$ $P$
$lim_{n \to \infty} inf_{\hat{P} \in S_{n}} D (P | | \hat{P}) = 0 ?$ $\lim_{n\rightarrow \infty}\inf_{\hat{P}\in S_n} D(P||\hat{P})=0?$

No. Si può solo sperare che una divergenza KL è piccolo se si sa che 'code s sono alla fine dello stesso ordine ' s. Questo non è vero in generale. Non è difficile vedere che per la Cauchy allora per ogni , $D(P\|Q)$ $Q$ $P$ $P$ $n$

inf_{\hat{P} \in S_{n}} D (P | | \hat{P}) = \infty

$\inf_{\hat{P}\in S_n} D(P||\hat{P})=\infty$

Sono necessarie ulteriori condizioni su per dirlo. $P$

Supponiamo di avere una distribuzione continua e abbiamo trovato un bicomponente gaussiana miscela , che si trova vicino a in variazione totale: . Possiamo bound in termini di ? $P$ $N$ $\hat{P}$ $P$ $\delta(P,\hat{P})<\varepsilon$ $D(P||\hat{P})$ $\epsilon$

No. Si applica lo stesso esempio sopra.

$X\sim P_X$ $Y\sim P_Y$ $\hat{X} \sim Q_X, \hat{Y} \sim Q_Y$ $\delta(P,Q)<\epsilon$
$| m m S e (X | X + Y) - m m S e (\hat{X} | \hat{X} + \hat{Y}) |,$ $\left|\mathsf{mmse}(X|X+Y)-\mathsf{mmse}(\hat{X}| \hat{X}+\hat{Y})\right|,$ $X$ $Y$ $\hat{X}$ $\hat{Y}$

$X,Y,\hat{X},\hat{Y}$ $E[X|Y]$ $E[\hat{X}|\hat{Y}]$ $|E_P[(E_P[X|Y]-X)^2]-E_Q[(E_Q[X|Y]-X)^2]|$ $TV(P,Q)$

Non sono stato in grado di dimostrarlo, né in generale, né usando la struttura additiva aggiuntiva che abbiamo assunto su P, Q, o ho escogitato alcun controesempio.

Puoi farlo per modelli di rumore non additivi come il rumore di Poisson?

Questo è ambiguo. Nel contesto della domanda precedente, se l'affermazione contenuta in tale risposta può essere dimostrata in generale, la risposta è sì.

— enthdegree
fonte