Problemi di singolarità nel modello di miscela gaussiana

Nel capitolo 9 del libro Riconoscimento dei modelli e apprendimento automatico, c'è questa parte sul modello di miscela gaussiana:

Ad essere sincero, non capisco davvero perché questo creerebbe una singolarità. Qualcuno può spiegarmi questo? Mi dispiace ma sono solo un laureando e un principiante nell'apprendimento automatico, quindi la mia domanda può sembrare un po 'sciocca, ma per favore aiutatemi. Grazie mille

Se vogliamo adattare un gaussiano a un singolo punto dati usando la massima probabilità, otterremo un gaussiano molto appuntito che "collassa" fino a quel punto. La varianza è zero quando c'è solo un punto, che nel caso gaussiano multi-variabile, porta a una matrice di covarianza singolare, quindi si chiama problema di singolarità.

Quando la varianza arriva a zero, la probabilità della componente gaussiana (formula 9.15) va all'infinito e il modello diventa sovradimensionato. Ciò non si verifica quando si adatta un solo gaussiano a un numero di punti poiché la varianza non può essere zero. Ma può succedere quando abbiamo un miscuglio di gaussiani, come illustrato nella stessa pagina di PRML.

Aggiornamento :
il libro suggerisce due metodi per affrontare il problema della singolarità, che sono

1) reimpostazione della media e della varianza quando si verifica la singolarità

2) utilizzando MAP anziché MLE aggiungendo un precedente.

Ricordiamo che questo problema non si è verificato nel caso di una singola distribuzione gaussiana. Per comprendere la differenza, si noti che se un singolo gaussiano collassa su un punto dati, contribuirà fattori moltiplicativi alla funzione di probabilità derivante dagli altri punti dati e questi fattori andranno a zero esponenzialmente velocemente, dando una probabilità complessiva che va a zero piuttosto dell'infinito.

Sono anche un po 'confuso da questa parte, ed ecco la mia interpretazione. Prendi la custodia 1D per semplicità.

Quando un singolo gaussiano "collassa" su un punto dati $x_i$ , ovvero , la probabilità complessiva diventa:$\mu=x_i$

$$p(\mathbf{x}) = p(x_i) p(\mathbf{x}\setminus{i}) = (\frac{1}{\sqrt{2\pi}\sigma}) (\prod_{n \neq i}^N \frac{1}{\sqrt{2\pi}\sigma} e^{-\frac{(x_n-\mu)^2}{2\sigma^2}} )$$

Vedi come , il termine a sinistra p ( x i ) → ∞ , che è come il caso patologico in GMM, ma il termine a destra, che è la probabilità di altri punti dati p ( x ∖ i ) , contiene ancora termini come e - ( $\sigma \to 0$$p(x_i) \to \infty$$p(\mathbf{x}\setminus{i})$ che$e^{-\frac{(x_n-\mu)^2}{2\sigma^2}}$ esponenzialmente veloce come σ → 0 , quindi l'effetto complessivo sulla probabilità è che vada a zero.$\to 0$$\sigma \to 0$

Il punto principale qui è che quando si adatta un singolo gaussiano, tutti i punti dati devono condividere un set di parametri , a differenza del caso di miscela in cui un componente può "focalizzare" su un punto dati senza penalizzare la probabilità complessiva dei dati .$\mu, \sigma$

Questa risposta fornirà una panoramica di ciò che sta accadendo che porta a una matrice di covarianza singolare durante l'adattamento di un GMM a un set di dati, perché ciò sta accadendo e cosa possiamo fare per impedirlo.

Pertanto, è meglio iniziare ricapitolando i passaggi durante l'adattamento di un modello di miscela gaussiana a un set di dati.

0. Decidi quante fonti / cluster (c) vuoi adattare ai tuoi dati
1. Inizializza i parametri media , covarianza Σ c e fraction_per_class π c per cluster c $\mu_c$$\Sigma_c$$\pi_c$

$\underline{E-Step}$

2. Calcola per ciascun punto dati la probabilità r i c quel punto dati x i appartiene al cluster c con: r i $x_i$$r_{ic}$$x_i$
   
   doveN(x|μ,Σ $$r_{ic} = \frac{\pi_c N(\boldsymbol{x_i} \ | \ \boldsymbol{\mu_c},\boldsymbol{\Sigma_c})}{\Sigma_{k=1}^K \pi_k N(\boldsymbol{x_i \ | \ \boldsymbol{\mu_k},\boldsymbol{\Sigma_k}})}$$ $N(\boldsymbol{x} \ | \ \boldsymbol{\mu},\boldsymbol{\Sigma})$ descrive il gaussiano mulitvariato con:
   
   ricci fornisce per ciascun punto datixila misura di:Probabilitythatxibelongstocla $$N(\boldsymbol{x_i},\boldsymbol{\mu_c},\boldsymbol{\Sigma_c}) \ = \ \frac{1}{(2\pi)^{\frac{n}{2}}|\Sigma_c|^{\frac{1}{2}}}exp(-\frac{1}{2}(\boldsymbol{x_i}-\boldsymbol{\mu_c})^T\boldsymbol{\Sigma_c^{-1}}(\boldsymbol{x_i}-\boldsymbol{\mu_c}))$$
   
   $r_{ic}$$x_i$ quindi sexiè molto vicino a una gaussiana c, otterrà unvalorericelevato per questo gaussiano e valori relativamente bassi altrimenti. M-Step_ Per ogni gruppo c: Calcola il peso totale$\frac{Probability \ that \ x_i \ belongs \ to \ class \ c}{Probability \ of \ x_i \ over \ all \ classes}$$x_i$$r_{ic}$
   
   $\underline{M-Step}$
   
   $m_c$ ( parlando liberamente della frazione di punti assegnati al cluster c) e aggiorna , μ c e Σ c usando r i c con: $\pi_c$$\mu_c$$\Sigma_c$$r_{ic}$
   
   π c = m $$m_c \ = \ \Sigma_i r_ic$$
   μc= $$\pi_c \ = \ \frac{m_c}{m}$$
   Σc= $$\boldsymbol{\mu_c} \ = \ \frac{1}{m_c}\Sigma_i r_{ic} \boldsymbol{x_i}$$
   Ricorda che devi usare i mezzi aggiornati in quest'ultima formula. Ripeti iterativamente il passaggio E e M fino a quando la funzione di verosimiglianza logaritmica del nostro modello converge dove viene calcolata la verosimiglianza logaritmica: lnp(X|π,μ,Σ)=Σ N i = 1 ln(Σ $$\boldsymbol{\Sigma_c} \ = \ \frac{1}{m_c}\Sigma_i r_{ic}(\boldsymbol{x_i}-\boldsymbol{\mu_c})^T(\boldsymbol{x_i}-\boldsymbol{\mu_c})$$
   
   
   
   
   $$ln \ p(\boldsymbol{X} \ | \ \boldsymbol{\pi},\boldsymbol{\mu},\boldsymbol{\Sigma}) \ = \ \Sigma_{i=1}^N \ ln(\Sigma_{k=1}^K \pi_k N(\boldsymbol{x_i} \ | \ \boldsymbol{\mu_k},\boldsymbol{\Sigma_k}))$$

$X$$AX = XA = I$

$$\begin{bmatrix} 0 & 0 \\ 0 & 0 \end{bmatrix}$$

$A$$X$ che dà a questa matrice punteggiata la matrice identità $I$(Basta prendere questa matrice zero e produrla con qualsiasi altra matrice 2x2 e vedrai che otterrai sempre la matrice zero). Ma perché questo è un problema per noi? Bene, considera la formula per il multivariato normale sopra. Lì troverai$\boldsymbol{\Sigma_c^{-1}}$che è l'invertibile della matrice di covarianza. Poiché una matrice singolare non è invertibile, questo ci genererà un errore durante il calcolo.
Quindi ora che sappiamo come appare una matrice singolare, non invertibile e perché questo è importante per noi durante i calcoli GMM, come potremmo incontrare questo problema? Prima di tutto, lo capiamo$\boldsymbol{0}$matrice di covarianza sopra se il gaussiano multivariato cade in un punto durante l'iterazione tra il passaggio E e M. Ciò potrebbe accadere se ad esempio disponiamo di un set di dati a cui vogliamo adattare 3 gaussiani ma che in realtà consiste solo di due classi (cluster) tali che, parlando in modo approssimativo, due di questi tre gaussiani catturano il proprio cluster mentre l'ultimo gaussiano lo gestisce solo catturare un singolo punto su cui si trova. Vedremo come appare di seguito. Ma passo dopo passo: supponiamo di avere un set di dati bidimensionale che consiste di due cluster ma non lo sapete e volete adattare tre modelli gaussiani ad esso, ovvero c = 3. Inizializzate i parametri nel passaggio E e nella trama i gaussiani in cima ai tuoi dati che sembrano smth. come (forse puoi vedere i due cluster relativamente sparsi in basso a sinistra e in alto a destra): Dopo aver inizializzato il parametro, esegui iterativamente i passaggi E, T. Durante questa procedura i tre gaussiani vagano in giro e cercano il loro posto ottimale. Se osservi i parametri del modello, cioè$\mu_c$ e $\pi_c$noterai che convergono, che dopo un certo numero di iterazioni non cambieranno più e con ciò il gaussiano corrispondente ha trovato il suo posto nello spazio. Nel caso in cui tu abbia una matrice di singolarità, incontri smth. come: dove ho cerchiato il terzo modello gaussiano con il rosso. Quindi vedi che questo gaussiano si trova su un singolo punto dati mentre gli altri due rivendicano il resto. Qui devo notare che per essere in grado di disegnare la figura in questo modo ho già usato la regolarizzazione della covarianza che è un metodo per prevenire le matrici di singolarità ed è descritta di seguito.

Ok, ma ora non sappiamo ancora perché e come incontriamo una matrice di singolarità. Pertanto, dobbiamo esaminare i calcoli di$r_{ic}$ e il $cov$durante le fasi E e M. Se guardi il$r_{ic}$ formula di nuovo:
$$r_{ic} = \frac{\pi_c N(\boldsymbol{x_i} \ | \ \boldsymbol{\mu_c},\boldsymbol{\Sigma_c})}{\Sigma_{k=1}^K \pi_k N(\boldsymbol{x_i \ | \ \boldsymbol{\mu_k},\boldsymbol{\Sigma_k}})}$$ vedi che lì il $r_{ic}$avrebbero valori elevati se sono molto probabilmente nel cluster ce valori bassi in caso contrario. Per renderlo più evidente, consideriamo il caso in cui abbiamo due gaussiani relativamente diffusi e uno gaussiano molto stretto e calcoliamo il$r_{ic}$ per ciascun punto dati $x_i$come illustrato nella figura: quindi esamina i punti dati da sinistra a destra e immagina di scrivere la probabilità per ciascuno$x_i$che appartiene al gaussiano rosso, blu e giallo. Quello che puoi vedere è che per la maggior parte dei$x_i$la probabilità che appartenga al gaussiano giallo è molto piccola. Nel caso sopra in cui il terzo gaussiano si trova su un singolo punto dati,$r_{ic}$ è solo maggiore di zero per questo punto dati mentre è zero per ogni altro $x_i$. (collassa su questo punto dati -> Questo accade se tutti gli altri punti fanno più probabilmente parte di uno o due gaussiani e quindi questo è l'unico punto che rimane per i tre gaussiani -> Il motivo per cui ciò accade può essere trovato nell'interazione tra il set di dati stesso nell'inizializzazione dei gaussiani. Cioè, se avessimo scelto altri valori iniziali per i gaussiani, avremmo visto un'altra immagine e il terzo gaussiano forse non sarebbe crollato). Questo è sufficiente se ulteriori e ulteriori picchi di questo gaussiano. Il$r_{ic}$tavolo quindi sembra smth. come: Come puoi vedere, il$r_{ic}$della terza colonna, ovvero per la terza gaussiana sono zero invece di questa riga. Se cerchiamo quale punto dati è rappresentato qui otteniamo il punto dati: [23.38566343 8.07067598]. Ok, ma perché otteniamo una matrice di singolarità in questo caso? Bene, e questo è il nostro ultimo passo, quindi dobbiamo ancora una volta considerare il calcolo della matrice di covarianza che è: $$\boldsymbol{\Sigma_c} \ = \ \Sigma_i r_{ic}(\boldsymbol{x_i}-\boldsymbol{\mu_c})^T(\boldsymbol{x_i}-\boldsymbol{\mu_c})$$ abbiamo visto tutto $r_{ic}$ sono zero invece per quello $x_i$con [23.38566343 8.07067598]. Ora la formula vuole che calcoliamo$(\boldsymbol{x_i}-\boldsymbol{\mu_c})$. Se guardiamo al$\boldsymbol{\mu_c}$per questo terzo gaussiano otteniamo [23.38566343 8.07067598]. Oh, ma aspetta, esattamente come$x_i$ ed è quello con cui Bishop ha scritto: "Supponiamo che uno dei componenti del modello di miscela, diciamo il $j$ th componente, ha la sua media $\boldsymbol{\mu_j}$ esattamente uguale a uno dei punti dati in modo che $\boldsymbol{\mu_j} = \boldsymbol{x_n}$per un valore di n "(Bishop, 2006, p.434). Quindi cosa accadrà? Bene, questo termine sarà zero e quindi questo punto dati è stata l'unica possibilità per la matrice di covarianza di non ottenere zero (poiché questo punto dati era l'unico dove$r_{ic}$> 0), ora diventa zero e assomiglia a:

$$\begin{bmatrix} 0 & 0 \\ 0 & 0 \end{bmatrix}$$

Di conseguenza, come detto sopra, questa è una matrice singolare e porterà a un errore durante i calcoli del gaussiano multivariato. Quindi, come possiamo prevenire una simile situazione. Bene, abbiamo visto che la matrice di covarianza è singolare se lo è$\boldsymbol{0}$matrice. Quindi per prevenire la singolarità dobbiamo semplicemente impedire che la matrice di covarianza diventi a$\boldsymbol{0}$matrice. Questo viene fatto aggiungendo un valore molto piccolo (nella GaussianMixture di sklearn questo valore è impostato su 1e-6) al digonal della matrice di covarianza. Esistono anche altri modi per prevenire la singolarità, come notare quando un gaussiano collassa e impostare la sua matrice media e / o di covarianza su un nuovo / i valore / i arbitrariamente alto / i. Questa regolarizzazione della covarianza è anche implementata nel codice seguente con il quale si ottengono i risultati descritti. Forse devi eseguire il codice più volte per ottenere una matrice di covarianza singolare da allora, come detto. questo non deve succedere ogni volta, ma dipende anche dalla configurazione iniziale dei gaussiani.

import matplotlib.pyplot as plt
from matplotlib import style
style.use('fivethirtyeight')
from sklearn.datasets.samples_generator import make_blobs
import numpy as np
from scipy.stats import multivariate_normal


# 0. Create dataset
X,Y = make_blobs(cluster_std=2.5,random_state=20,n_samples=500,centers=3)

# Stratch dataset to get ellipsoid data
X = np.dot(X,np.random.RandomState(0).randn(2,2))


class EMM:

    def __init__(self,X,number_of_sources,iterations):
        self.iterations = iterations
        self.number_of_sources = number_of_sources
        self.X = X
        self.mu = None
        self.pi = None
        self.cov = None
        self.XY = None



    # Define a function which runs for i iterations:
    def run(self):
        self.reg_cov = 1e-6*np.identity(len(self.X[0]))
        x,y = np.meshgrid(np.sort(self.X[:,0]),np.sort(self.X[:,1]))
        self.XY = np.array([x.flatten(),y.flatten()]).T


        # 1. Set the initial mu, covariance and pi values
        self.mu = np.random.randint(min(self.X[:,0]),max(self.X[:,0]),size=(self.number_of_sources,len(self.X[0]))) # This is a nxm matrix since we assume n sources (n Gaussians) where each has m dimensions
        self.cov = np.zeros((self.number_of_sources,len(X[0]),len(X[0]))) # We need a nxmxm covariance matrix for each source since we have m features --> We create symmetric covariance matrices with ones on the digonal
        for dim in range(len(self.cov)):
            np.fill_diagonal(self.cov[dim],5)


        self.pi = np.ones(self.number_of_sources)/self.number_of_sources # Are "Fractions"
        log_likelihoods = [] # In this list we store the log likehoods per iteration and plot them in the end to check if
                             # if we have converged

        # Plot the initial state    
        fig = plt.figure(figsize=(10,10))
        ax0 = fig.add_subplot(111)
        ax0.scatter(self.X[:,0],self.X[:,1])
        for m,c in zip(self.mu,self.cov):
            c += self.reg_cov
            multi_normal = multivariate_normal(mean=m,cov=c)
            ax0.contour(np.sort(self.X[:,0]),np.sort(self.X[:,1]),multi_normal.pdf(self.XY).reshape(len(self.X),len(self.X)),colors='black',alpha=0.3)
            ax0.scatter(m[0],m[1],c='grey',zorder=10,s=100)


        mu = []
        cov = []
        R = []


        for i in range(self.iterations):               

            mu.append(self.mu)
            cov.append(self.cov)


            # E Step
            r_ic = np.zeros((len(self.X),len(self.cov)))

            for m,co,p,r in zip(self.mu,self.cov,self.pi,range(len(r_ic[0]))):
                co+=self.reg_cov
                mn = multivariate_normal(mean=m,cov=co)
                r_ic[:,r] = p*mn.pdf(self.X)/np.sum([pi_c*multivariate_normal(mean=mu_c,cov=cov_c).pdf(X) for pi_c,mu_c,cov_c in zip(self.pi,self.mu,self.cov+self.reg_cov)],axis=0)
            R.append(r_ic)

            # M Step

            # Calculate the new mean vector and new covariance matrices, based on the probable membership of the single x_i to classes c --> r_ic
            self.mu = []
            self.cov = []
            self.pi = []
            log_likelihood = []

            for c in range(len(r_ic[0])):
                m_c = np.sum(r_ic[:,c],axis=0)
                mu_c = (1/m_c)*np.sum(self.X*r_ic[:,c].reshape(len(self.X),1),axis=0)
                self.mu.append(mu_c)

                # Calculate the covariance matrix per source based on the new mean
                self.cov.append(((1/m_c)*np.dot((np.array(r_ic[:,c]).reshape(len(self.X),1)*(self.X-mu_c)).T,(self.X-mu_c)))+self.reg_cov)
                # Calculate pi_new which is the "fraction of points" respectively the fraction of the probability assigned to each source 
                self.pi.append(m_c/np.sum(r_ic)) 



            # Log likelihood
            log_likelihoods.append(np.log(np.sum([k*multivariate_normal(self.mu[i],self.cov[j]).pdf(X) for k,i,j in zip(self.pi,range(len(self.mu)),range(len(self.cov)))])))



        fig2 = plt.figure(figsize=(10,10))
        ax1 = fig2.add_subplot(111) 
        ax1.plot(range(0,self.iterations,1),log_likelihoods)
        #plt.show()
        print(mu[-1])
        print(cov[-1])
        for r in np.array(R[-1]):
            print(r)
        print(X)

    def predict(self):
        # PLot the point onto the fittet gaussians
        fig3 = plt.figure(figsize=(10,10))
        ax2 = fig3.add_subplot(111)
        ax2.scatter(self.X[:,0],self.X[:,1])
        for m,c in zip(self.mu,self.cov):
            multi_normal = multivariate_normal(mean=m,cov=c)
            ax2.contour(np.sort(self.X[:,0]),np.sort(self.X[:,1]),multi_normal.pdf(self.XY).reshape(len(self.X),len(self.X)),colors='black',alpha=0.3)




EMM = EMM(X,3,100)     
EMM.run()
EMM.predict()

Imho, tutte le risposte mancano un fatto fondamentale. Se si guarda allo spazio dei parametri per un modello di miscela gaussiana, questo spazio è singolare lungo il sottospazio dove ci sono meno del numero completo di componenti nella miscela. Ciò significa che i derivati ​​sono automaticamente zero e in genere l'intero sottospazio verrà visualizzato come mle. Più filosoficamente, il sottospazio delle covarianze di rango inferiore al limite è il confine dello spazio dei parametri e si dovrebbe sempre essere sospettosi quando la mle si presenta al limite - di solito indica che c'è uno spazio di parametri più grande in agguato in cui è possibile trovare il mle "reale". C'è un libro intitolato "Algebraic Statistics" di Drton, Sturmfeld e Sullivant. Questo problema è discusso in quel libro in dettaglio. Se sei davvero curioso, dovresti guardarlo.

For a single Gaussian, the mean may possibly equal one of the data points ($x_n$ for example) and then there is the following term in the likelihood function:

$$\begin{equation} {\cal N}(x_n|x_n,\sigma_j 1\!\!1)\rightarrow \lim_{\sigma_j\rightarrow x_n}\frac{1}{(2\pi)^{1/2}\sigma_j} \exp \left( -\frac{1}{\sigma_j}|x_n-\sigma_j|^2 \right)= \frac{1}{(2\pi)^{1/2}\sigma_j} \end{equation}$$ The limit $\sigma_j\rightarrow 0$ is now clearly divergent since the argument of the exponential vanishes.

However for a data point $x_m$ different from the mean $\sigma_j$, we will have

$$\begin{equation} {\cal N}(x_m|x_m,\sigma_j 1\!\!1)= \frac{1}{(2\pi)^{1/2}\sigma_j} \exp \left( -\frac{1}{\sigma_j}|x_m-\sigma_j|^2 \right) \end{equation}$$ and now the argument of the exponential diverges (and is negative) in the limit $\sigma_j\rightarrow 0$. As a result the product of these two terms in the likelihood function will vanish.