Perché l'algoritmo EM deve essere iterativo?

Supponiamo di avere una popolazione con unità, ciascuna con una variabile casuale . Si osservano valori per qualsiasi unità per la quale . Vogliamo una stima di . $N$ $X_i \sim \text{Poisson}(\lambda)$ $n = N-n_0$ $X_i > 0$ $\lambda$

Esistono metodi di momenti e modi condizionati di massima probabilità di ottenere la risposta, ma volevo provare l'algoritmo EM. Ottengo che l'algoritmo EM sia dove ilsimboloindica il valore della precedente iterazione dell'algoritmo eè costante rispetto ai parametri. (In realtà penso chenella frazione tra parentesi dovrebbe essere, ma ciò non sembra accurato; una domanda per un'altra volta).

Q (λ_{- 1}, λ) = λ (n + \frac{n}{exp (λ_{- 1}) - 1}) + \log (λ) Σ_{io = 1}^{n} X_{io} + K,

$Q\left(\lambda_{-1}, \lambda\right) = \lambda \left(n + \frac{n}{\text{exp}(\lambda_{-1}) - 1}\right) + \log(\lambda)\sum_{i=1}^n{x_i} + K,$

- 1

$-1$

K

$K$

n

$n$

n + 1

$n+1$

Per rendere concreto questo, supponiamo che , . Naturalmente, e sono inosservati e deve essere stimato. $n=10$ $\sum{x_i} = 20$ $N$ $n_0$ $\lambda$

Quando eseguo l'iterazione della seguente funzione, inserendo il valore massimo dell'iterazione precedente, raggiungo la risposta corretta (verificata da CML, MOM e una semplice simulazione):

EmFunc <- function(lambda, lambda0){
  -lambda * (10 + 10 / (exp(lambda0) - 1)) + 20 * log(lambda)
}

lambda0 <- 2
lambda  <- 1

while(abs(lambda - lambda0) > 0.0001){
  lambda0 <- lambda
  iter    <- optimize(EmFunc, lambda0 = lambda0, c(0,4), maximum = TRUE)
  lambda  <- iter$maximum
}

> iter
$maximum
[1] 1.593573

$objective
[1] -10.68045

Ma questo è un problema semplice; massimizziamo senza iterare:

MaxFunc <- function(lambda){
  -lambda * (10 + 10 / (exp(lambda) - 1)) + 20 * log(lambda)
}

optimize(MaxFunc, c(0,4), maximum = TRUE)
$maximum
[1] 2.393027

$objective
[1] -8.884968

Il valore della funzione è maggiore rispetto alla procedura non iterativa e il risultato non è coerente con le altre metodologie. Perché la seconda procedura fornisce una risposta diversa (presumo) errata?

expectation-maximization

— Charlie
fonte

$x_i=0$ $y$ $Q$ $y$ $\lambda_{-1}$ $\lambda_{-1}$

$Q$ $\lambda$ $y$ $y$ $Q$ $f(\lambda)=Q(\lambda,\lambda)$

$f(\lambda)$ $f$

— jayk
fonte