Algoritmo EM implementato manualmente

Voglio implementare l'algoritmo EM manualmente e poi confrontarlo con i risultati normalmixEMdel mixtoolspacchetto. Certo, sarei felice se entrambi conducessero agli stessi risultati. Il riferimento principale è Geoffrey McLachlan (2000), Modelli di miscele finite .

Ho una densità mista di due gaussiani, in forma generale, la probabilità di log è data da (McLachlan pagina 48):

$$\log L_c(\Psi) = \sum_{i=1}^g \sum_{j=1}^n z_{ij}\{\log \pi_i + \log f_i(y_i;\theta_i)\}.$$ Il sono , se l'osservazione è stato dal ^° densità dei componenti, altrimenti 0 . Il f_i è la densità della distribuzione normale. Il \ pi è la proporzione della miscela, quindi \ pi_1 è la probabilità, che un'osservazione provenga dalla prima distribuzione gaussiana e \ pi_2 sia la probabilità, che un'osservazione provenga dalla seconda distribuzione gaussiana.$z_{ij}$$1$$i$$0$$f_i$$\pi$$\pi_1$$\pi_2$

Il passaggio E ora è, il calcolo dell'aspettativa condizionale:

$$Q(\Psi;\Psi^{(0)}) = E_{\Psi(0)}\{\log L_c(|\Psi)|y\}.$$ che porta, dopo alcune derivazioni al risultato (pagina 49):

$$\begin{align} \tau_i(y_j;\Psi^{(k)}) &= \frac{\pi_i^{(k)}f_i(y_j;\theta_i^{(k)}}{f(y_j;\Psi^{(k)}} \\[8pt] &= \frac{\pi_i^{(k)}f_i(y_j;\theta_i^{(k)}}{\sum_{h=1}^g \pi_h^{(k)}f_h(y_j;\theta_h^{(k)})} \end{align}$$ nel caso di due gaussiani (pagina 82):

$$\tau_i(y_j;\Psi) = \frac{\pi_i \phi(y_j;\mu_i,\Sigma_i)}{\sum_{h=1}^g \pi_h\phi(y_j; \mu_h,\Sigma_h)}$$ Ilpassaggio M ora è la massimizzazione di Q (pagina 49):

$$Q(\Psi;\Psi^{(k)}) = \sum_{i=1}^g\sum_{j=1}^n\tau_i(y_j;\Psi^{(k)})\{\log \pi_i + \log f_i(y_j;\theta_i)\}.$$ Questo porta a (nel caso di due gaussiani) (pagina 82):

$$\begin{align} \mu_i^{(k+1)} &= \frac{\sum_{j=1}^n \tau_{ij}^{(k)}y_j}{\sum_{j=1}^n \tau_{ij}^{(k)}} \\[8pt] \Sigma_i^{(k+1)} &= \frac{\sum_{j=1}^n \tau_{ij}^{(k)}(y_j - \mu_i^{(k+1)})(y_j - \mu_i^{(k+1)})^T}{\sum_{j=1}^n \tau_{ij}^{(k)}} \end{align}$$ e lo sappiamo (p. 50)

$$\pi_i^{(k+1)} = \frac{\sum_{j=1}^n \tau_i(y_j;\Psi^{(k)})}{n}\qquad (i = 1, \ldots, g).$$ Ripetiamo i passaggi E, M fino a quando è piccolo. $L(\Psi^{(k+1)})-L(\Psi^{(k)})$

Ho provato a scrivere un codice R (i dati sono disponibili qui ).

# EM algorithm manually
# dat is the data

# initial values
pi1       <-  0.5
pi2       <-  0.5
mu1       <- -0.01
mu2       <-  0.01
sigma1    <-  0.01
sigma2    <-  0.02
loglik[1] <-  0
loglik[2] <- sum(pi1*(log(pi1) + log(dnorm(dat,mu1,sigma1)))) + 
             sum(pi2*(log(pi2) + log(dnorm(dat,mu2,sigma2))))

tau1 <- 0
tau2 <- 0
k    <- 1

# loop
while(abs(loglik[k+1]-loglik[k]) >= 0.00001) {

  # E step
  tau1 <- pi1*dnorm(dat,mean=mu1,sd=sigma1)/(pi1*dnorm(x,mean=mu1,sd=sigma1) + 
          pi2*dnorm(dat,mean=mu2,sd=sigma2))
  tau2 <- pi2*dnorm(dat,mean=mu2,sd=sigma2)/(pi1*dnorm(x,mean=mu1,sd=sigma1) + 
          pi2*dnorm(dat,mean=mu2,sd=sigma2))

  # M step
  pi1 <- sum(tau1)/length(dat)
  pi2 <- sum(tau2)/length(dat)

  mu1 <- sum(tau1*x)/sum(tau1)
  mu2 <- sum(tau2*x)/sum(tau2)

  sigma1 <- sum(tau1*(x-mu1)^2)/sum(tau1)
  sigma2 <- sum(tau2*(x-mu2)^2)/sum(tau2)

  loglik[k] <- sum(tau1*(log(pi1) + log(dnorm(x,mu1,sigma1)))) + 
               sum(tau2*(log(pi2) + log(dnorm(x,mu2,sigma2))))
  k         <- k+1
}


# compare
library(mixtools)
gm <- normalmixEM(x, k=2, lambda=c(0.5,0.5), mu=c(-0.01,0.01), sigma=c(0.01,0.02))
gm$lambda
gm$mu
gm$sigma

gm$loglik

L'algoritmo non funziona, poiché alcune osservazioni hanno la probabilità di zero e il registro di ciò è -Inf. Dov'è il mio errore?

Hai diversi problemi nel codice sorgente:

1. Come ha sottolineato @Pat, non dovresti usare log (dnorm ()) poiché questo valore può facilmente andare all'infinito. È necessario utilizzare logmvdnorm

2. Quando usi la somma , fai attenzione a rimuovere valori infiniti o mancanti

3. La variabile looping k è errata, dovresti aggiornare loglik [k + 1] ma aggiorni loglik [k]

4. I valori iniziali per il metodo e i mixtools sono diversi. Stai usando nel tuo metodo, ma stai usando per mixtools (cioè deviazione standard, dal manuale di mixtools).$\Sigma$$\sigma$

5. I tuoi dati non sembrano un misto di normale (controlla l'istogramma che ho tracciato alla fine). E un componente della miscela ha sd molto piccolo, quindi ho arbitrariamente aggiunto una riga per impostare e in modo che siano uguali per alcuni campioni estremi. Li aggiungo solo per assicurarmi che il codice funzioni.$\tau_1$$\tau_2$

Suggerisco anche di inserire codici completi (ad es. Come si inizializza loglik []) nel codice sorgente e di indentare il codice per facilitarne la lettura.

Dopotutto, grazie per aver introdotto il pacchetto mixtools e ho intenzione di usarli nella mia ricerca futura.

Ho anche messo il mio codice di lavoro come riferimento:

# EM algorithm manually
# dat is the data
setwd("~/Downloads/")
load("datem.Rdata")
x <- dat

# initial values
pi1<-0.5
pi2<-0.5
mu1<--0.01
mu2<-0.01
sigma1<-sqrt(0.01)
sigma2<-sqrt(0.02)
loglik<- rep(NA, 1000)
loglik[1]<-0
loglik[2]<-mysum(pi1*(log(pi1)+log(dnorm(dat,mu1,sigma1))))+mysum(pi2*(log(pi2)+log(dnorm(dat,mu2,sigma2))))

mysum <- function(x) {
  sum(x[is.finite(x)])
}
logdnorm <- function(x, mu, sigma) {
  mysum(sapply(x, function(x) {logdmvnorm(x, mu, sigma)}))  
}
tau1<-0
tau2<-0
#k<-1
k<-2

# loop
while(abs(loglik[k]-loglik[k-1]) >= 0.00001) {
  # E step
  tau1<-pi1*dnorm(dat,mean=mu1,sd=sigma1)/(pi1*dnorm(x,mean=mu1,sd=sigma1)+pi2*dnorm(dat,mean=mu2,sd=sigma2))
  tau2<-pi2*dnorm(dat,mean=mu2,sd=sigma2)/(pi1*dnorm(x,mean=mu1,sd=sigma1)+pi2*dnorm(dat,mean=mu2,sd=sigma2))
  tau1[is.na(tau1)] <- 0.5
  tau2[is.na(tau2)] <- 0.5

  # M step
  pi1<-mysum(tau1)/length(dat)
  pi2<-mysum(tau2)/length(dat)

  mu1<-mysum(tau1*x)/mysum(tau1)
  mu2<-mysum(tau2*x)/mysum(tau2)

  sigma1<-mysum(tau1*(x-mu1)^2)/mysum(tau1)
  sigma2<-mysum(tau2*(x-mu2)^2)/mysum(tau2)

  #  loglik[k]<-sum(tau1*(log(pi1)+log(dnorm(x,mu1,sigma1))))+sum(tau2*(log(pi2)+log(dnorm(x,mu2,sigma2))))
  loglik[k+1]<-mysum(tau1*(log(pi1)+logdnorm(x,mu1,sigma1)))+mysum(tau2*(log(pi2)+logdnorm(x,mu2,sigma2)))
  k<-k+1
}

# compare
library(mixtools)
gm<-normalmixEM(x,k=2,lambda=c(0.5,0.5),mu=c(-0.01,0.01),sigma=c(0.01,0.02))
gm$lambda
	gm$mu
gm$sigma

gm$loglik

Historgram

Continuo a ricevere un errore quando provo ad aprire il tuo file .rar, ma potrebbe essere solo io a fare qualcosa di stupido.

$f(y;\theta)$$\exp(-0.5(y-\mu)^2/\sigma^2)$$\mu$$y$$\tau$

Se questo è il problema, ci sono alcune possibili soluzioni:

$\tau$

$\tau \log(f(y|\theta))$

valutare

$\log \left( f(y|\theta)^\tau \right)$

$f(y|\theta)$$\tau$$\approx 0$

• $0 \log (0) = 0 (-Inf) = NaN$

ma con tau commosso si ottiene

• $\log \left( 0^0\right) = \log(1) = 0$

$0^0 = 1$

Un'altra soluzione è quella di espandere le cose all'interno del logaritmo. Supponendo che tu stia utilizzando logaritmi naturali:

$\tau \log(f(y|\theta))$

$= \tau \log(\exp(-0.5(y-\mu)^2/\sigma^2)/\sqrt{2\pi\sigma^2})$

$= -0.5\tau \log(2 \pi\sigma^2) - 0.5 \tau \frac{(y-\mu)^2}{\sigma^2}$

Matematicamente lo stesso, ma dovrebbe essere più resistente agli errori in virgola mobile poiché hai evitato di calcolare una grande potenza negativa. Ciò significa che non è più possibile utilizzare la funzione di valutazione delle norme incorporata, ma se questo non è un problema questa è probabilmente la risposta migliore. Ad esempio, supponiamo di avere la situazione in cui

$-0.5\frac{(y-\mu)^2}{\sigma^2} = -0.5*40^2 = -800$

$\log(\exp(-800)) = \log(0) = -Inf$