Distanza tra due miscele gaussiane per valutare le soluzioni a grappolo

11

Sto eseguendo una rapida simulazione per confrontare diversi metodi di clustering e attualmente ho un problema cercando di valutare le soluzioni del cluster.

Conosco varie metriche di convalida (molte delle quali si trovano in cluster.stats () in R), ma presumo che siano meglio utilizzate se il numero stimato di cluster è effettivamente uguale al numero reale di cluster. Voglio mantenere la capacità di misurare il rendimento di una soluzione di clustering quando non specifica il numero corretto di cluster nella simulazione originale (ovvero, quanto bene i dati di un modello di soluzione a tre cluster che sono stati simulati per avere un 4 cluster soluzione). Solo per tua informazione, i cluster sono simulati per possedere matrici di covarianza identiche.

Ho pensato che la divergenza di KL tra due miscele di gaussiani sarebbe stata utile da implementare, ma non esiste una soluzione in forma chiusa ( Hershey e Olson (2007) ) e l'implementazione di una simulazione Monte Carlo sta iniziando a essere computazionalmente costosa.

Ci sono altre soluzioni che potrebbero essere facili da implementare (anche se solo un'approssimazione)?

clustering kullback-leibler gaussian-mixture

— dmartin
fonte

La distanza L2 tra due miscele gaussiane è disponibile in forma chiusa. Usa questo e dovresti essere pronto.

Non so come lo faresti, ma non mi sembra una buona idea. Prendi una miscela, permuta i componenti (nessuna modifica a p (x)) e la distanza L2 può essere qualsiasi cosa. Inoltre, la distanza L2 non è una buona idea sulle matrici di covarianza.

— Bayerj,

Probabilità predittiva posteriore di un set di dati di prova tenuto. Ho il sospetto che avresti bisogno di priori su k però.

— congetture

Il primo collegamento è interrotto

— ttnphns il

6

Supponiamo di avere due miscele gaussiane in : Chiama le loro densità e , rispettivamente, e denota le densità dei loro componenti , con , . $\mathbb R^d$ $\DeclareMathOperator{\N}{\mathcal N} \newcommand{\ud}{\mathrm{d}} \DeclareMathOperator{\E}{\mathbb E} \DeclareMathOperator{\MMD}{\mathrm{MMD}}$

P = \sum_{i = 1}^{n} α_{i} P_{i} = \sum_{i = 1}^{n} α_{i} N (μ_{i}, Σ_{i}) Q = \sum_{j = 1}^{m} β_{j} Q_{j} = \sum_{j = 1}^{m} N (m_{j}, S_{j}) .

$P = \sum_{i=1}^{n} \alpha_i P_i = \sum_{i=1}^n \alpha_i \N(\mu_i, \Sigma_i) \qquad Q = \sum_{j=1}^m \beta_j Q_j = \sum_{j=1}^m \N(m_j, S_j) .$

p (\cdot)

$p(\cdot)$

q (\cdot)

$q(\cdot)$

P_{i}

$P_i$

Q_{j}

$Q_j$

p_{i} (x) = N (x; μ_{i}, Σ_{i})

$p_i(x) = \N(x; \mu_i, \Sigma_i)$

q_{j} (x) = N (x; m_{j}, S_{j})

$q_j(x) = \N(x; m_j, S_j)$

Le seguenti distanze sono disponibili in forma chiusa:

$L_2$ distance, come suggerito in un commento dell'utente39665. Questo è: Nota che, come visto ad esempio nella sezione 8.1.8 del libro di cucina di matrice : modo che questo possa essere valutato facilmente in tempo.
$\begin{aligned} L_{2} (P, Q)^{2} & = \int (p (x) - q (x))^{2} d x \\ = \int {(\sum_{i} α_{i} p_{i} (x) - \sum_{j} β_{j} q_{j} (x))}^{2} d x \\ = \sum_{i, i^{'}} α_{i} α_{i^{'}} \int p_{i} (x) p_{i^{'}} (x) d x + \sum_{j, j^{'}} β_{j} β_{j^{'}} \int q_{j} (x) q_{j^{'}} (x) d x \\ - 2 \sum_{i, j} α_{i} β_{j} \int p_{i} (x) q_{j} (x) d x . \end{aligned}$ $\begin{align} L_2(P, Q)^2 &= \int (p(x) - q(x))^2 \,\ud x \\&= \int \left( \sum_{i} \alpha_i p_i(x) - \sum_j \beta_j q_j(x) \right)^2 \ud x \\&= \sum_{i,i'} \alpha_i \alpha_{i'} \int p_i(x) p_{i'}(x) \ud x + \sum_{j,j'} \beta_j \beta_{j'} \int q_j(x) q_{j'}(x) \ud x \\&\qquad - 2 \sum_{i,j} \alpha_i \beta_j \int p_i(x) q_j(x) \ud x .\end{align}$ $\begin{aligned} \int N (x; μ, Σ) N (x; μ^{'}, Σ^{'}) d x & = N (μ; μ^{'}, Σ + Σ^{'}) \end{aligned}$ $\begin{align} \int \N(x; \mu, \Sigma) \N(x; \mu', \Sigma') \,\ud x &= \N(\mu; \mu', \Sigma + \Sigma') \end{align}$ $O(m n)$
La discrepanza media massima (MMD) con un kernel Gaussiano RBF. Questa è una bella distanza, non ancora molto nota nella comunità delle statistiche, che richiede un po 'di matematica per essere definita.

Lasciando definisci lo spazio di Hilbert come lo spazio di Hilbert del kernel riproducente corrispondente a : .
$k (x, y) := \exp (- \frac{1}{2 σ^{2}} ‖ x - y ‖^{2}),$ $k(x, y) := \exp\left( - \frac{1}{2 \sigma^2} \lVert x - y \rVert^2 \right),$ $\mathcal{H}$ $k$

Definire il kernel della mappa media come
$K (P, Q) = E_{X \sim P, Y \sim Q} k (X, Y) = ⟨ E_{X \sim P} φ (X), E_{Y \sim Q} φ (Y) ⟩ .$ $K(P, Q) = \E_{X \sim P, Y \sim Q} k(X, Y) = \langle \E_{X \sim P} \varphi(X), \E_{Y \sim Q} \varphi(Y) \rangle .$

L'MMD è quindi
$\begin{aligned} M M D (P, Q) & = ‖ E_{X \sim P} [φ (X)] - E_{Y \sim Q} [φ (Y)] ‖ \\ = \sqrt{K (P, P) + K (Q, Q) - 2 K (P, Q)} \\ = sup_{f : ‖ f ‖_{H} \leq 1} E_{X \sim P} f (X) - E_{Y \sim Q} f (Y) . \end{aligned}$ $\begin{align} \MMD(P, Q) &= \lVert \E_{X \sim P}[\varphi(X)] - \E_{Y \sim Q}[\varphi(Y)] \rVert \\&= \sqrt{K(P, P) + K(Q, Q) - 2 K(P, Q)} \\&= \sup_{f : \lVert f \rVert_{\mathcal H} \le 1} \E_{X \sim P} f(X) - \E_{Y \sim Q} f(Y) .\end{align}$

Per le nostre miscele e , nota che e similmente per e . $P$ $Q$
$K (P, Q) = \sum_{i, j} α_{i} β_{j} K (P_{i}, Q_{j})$ $K(P, Q) = \sum_{i, j} \alpha_i \beta_j K(P_i, Q_j)$ $K(P, P)$

Si scopre, usando trucchi simili a quelli di , che è $L_2$ $K(\N(\mu, \Sigma), \N(\mu', \Sigma'))$
$(2 π σ^{2})^{d / 2} N (μ; μ^{'}, Σ + Σ^{'} + σ^{2} I) .$ $(2 \pi \sigma^2)^{d/2} \N(\mu; \mu', \Sigma + \Sigma' + \sigma^2 I) .$

Come , chiaramente questo converge in un multiplo della distanza . Normalmente vorresti usare un diverso , tuttavia, uno sulla scala della variazione dei dati. $\sigma \to 0$ $L_2$ $\sigma$

I moduli chiusi sono disponibili anche per i kernel polinomiali nella MMD; vedere $k$

Muandet, Fukumizu, Dinuzzo e Schölkopf (2012). Imparare dalle distribuzioni tramite macchine di misura di supporto. In Advances in Neural Information Processing Systems ( versione ufficiale ). arXiv: 1202.6504 .

Per un sacco di belle proprietà di questa distanza, vedi

Sriperumbudur, Gretton, Fukumizu, Schölkopf e Lanckriet (2010). Incorporazioni e metriche dello spazio di Hilbert su misure di probabilità. Journal of Machine Learning Research, 11, 1517-1561 . arXiv: 0907.5309 .
Divergenza quadratica di Jensen-Rényi. L' entropia di Rényi- è definita come Il suo limite come è l'entropia di Shannon. La divergenza di Jensen-Rényi è dove indica una miscela uguale tra e . Si scopre che, quando e quando e sono miscele gaussiane (come qui), è possibile calcolare un modulo chiuso per . Questo è stato fatto da $\alpha$
$H_{α} (p) = \frac{1}{1 - α} \log (\int p (x)^{α} d x) .$ $H_\alpha(p) = \frac{1}{1-\alpha} \log\left( \int p(x)^\alpha \,\ud x \right) .$ $\alpha \to 1$ ${J R}_{α} (p, q) = H_{α} (\frac{p + q}{2}) - \frac{H_{α} (p) + H_{α} (q)}{2}$ $\mathrm{JR}_\alpha(p, q) = H_\alpha\left( \frac{p + q}{2} \right) - \frac{H_\alpha(p) + H_\alpha(q)}{2}$ $\frac{p + q}{2}$ $p$ $q$ $\alpha = 2$ $P$ $Q$ $\mathrm{JR}_2$

Wang, Syeda-Mahmood, Vemuri, Beymer e Rangarajan (2009). Divergenza di Jensen-Renyi in forma chiusa per la miscela di gaussiani e applicazioni per la registrazione di forme sagge di gruppo. Med Image Comput Comput Assist Interv., 12 (1), 648-655. ( versione gratuita di pubmed )

— Dougal
fonte

0

Se i cluster sono in realtà non miscele gaussiane, ma di forma arbitraria, i risultati potrebbero in realtà essere molto meglio quando si produce molto di più cluster, quindi unire un po 'di nuovo in seguito.

In molti casi, si sceglie semplicemente k come arbitrariamente alto, ad esempio 1000 per un set di dati di grandi dimensioni; in particolare quando non sei veramente interessato ai modelli, ma vuoi solo ridurre la complessità del set di dati tramite quantizzazione vettoriale.

— Ha QUIT - Anony-Mousse
fonte

Ho simulato i cluster da trarre da una miscela gaussiana, quindi penso che la mia ipotesi sia valida. L'obiettivo qui non è ridurre la complessità o elaborare un criterio decisionale per la scelta di k, ma confrontare quanto bene i cluster k modellano i dati quando k è effettivamente errato. Alcune scelte errate potrebbero modellare i dati meglio di altri e sto cercando di quantificare questo grado di disadattato con alcuni calcoli (come la divergenza di KL, ma più facile da implementare per le miscele gaussiane).

— dmartin,

0

Ecco una generalizzazione del Mahalanobis D agli GMM usando il metodo del Kernel Fisher e altre tecniche:

Mance, Michael E. "Derivazione di funzioni analitiche a distanza dei cluster da modelli di miscele gaussiane." (1999): 815-820. https://pdfs.semanticscholar.org/08d2/0f55442aeb79edfaaaafa7ad54c513ee1dcb.pdf

Vedi anche: Esiste una versione multi-gaussiana della distanza Mahalanobis?

— Lenar Hoyt
fonte