Autoencoder variabile con modello di miscela gaussiana

Un autoencoder variazionale (VAE) fornisce un modo per apprendere la distribuzione di probabilità correlando un input alla sua rappresentazione latente . In particolare, l'encoder associa un input a una distribuzione su . Un tipico codificatore emetterà parametri , che rappresentano la distribuzione gaussiana ; questa distribuzione viene utilizzata come nostra approssimazione per .$p(x,z)$$x$$z$$e$$x$$z$$(\mu,\sigma)=e(x)$$\mathcal{N}(\mu,\sigma)$$p(z|x)$

Qualcuno ha considerato un VAE in cui l'output è un modello di miscela gaussiana, piuttosto che un gaussiano? È utile? Ci sono compiti in cui questo è significativamente più efficace di una semplice distribuzione gaussiana? O fornisce pochi benefici?

Sì, è stato fatto. Il seguente documento implementa qualcosa del genere:

Clustering profondo senza supervisione con autoencoders variazionali a miscela gaussiana . Nat Dilokthanakul, Pedro AM Mediano, Marta Garnelo, Matthew CH Lee, Hugh Salimbeni, Kai Arulkumaran, Murray Shanahan.

Sperimentano con questo approccio per il clustering. Ogni gaussiano nella miscela gaussiana corrisponde a un diverso cluster. Perché la miscela gaussiana è nello spazio latente ($z$) e esiste una connessione di rete neurale $z$ per $x$, ciò consente cluster non banali nello spazio di input ($x$).

Quel documento menziona anche il seguente post sul blog, che sperimenta una diversa variazione su quell'architettura: http://ruishu.io/2016/12/25/gmvae/

Grazie a Shimao per averlo segnalato.