Chiarimento sulla massimizzazione delle aspettative

Ho trovato un tutorial molto utile per quanto riguarda l' algoritmo EM .

L'esempio e l'immagine del tutorial sono semplicemente geniali.

inserisci qui la descrizione dell'immagine

Domanda correlata sul calcolo delle probabilità come funziona la massimizzazione delle aspettative?

Ho un'altra domanda su come collegare la teoria descritta nell'esercitazione all'esempio.

$g_t$ $\log P(x;\Theta)$ $g_t( \hat{\Theta}^{(t)}) = \log P(x; \hat{\Theta}^{(t)})$

$g_t$

$\hat{\Theta}_A^{(0)} = 0.6$ $\hat{\Theta}_B^{(0)} = 0.5$ $\hat{\Theta}_A^{(1)} = 0.71$ $\hat{\Theta}_B^{(1)} = 0.58$ $\hat{\Theta}^{(0)}$ $\hat{\Theta}^{(1)}$

$Q(z)$ $Q(z)=P(z|x;\Theta)$

Grazie.

— user16168
fonte

Ho trovato queste note molto utili per capire cosa stava succedendo nel materiale supplementare.

Risponderò a queste domande un po 'fuori servizio per la continuità.

Primo: perché è quello

$\theta^{(0)} \ne \theta^{(1)}$

$g_0$ $\log(P(x;\theta))$ $\theta^{(0)}$ $\theta^{(1)}$ $g_0$ $\theta$

Secondo: perché la disuguaglianza è stretta quando

Q (z) = P (z | x; θ)

$Q(z) = P(z|x;\theta)$

C'è un suggerimento nelle note a piè di pagina in cui si dice,

$y=E[y]$

$Q$ $\frac{P(x, z; \theta)}{Q(z)}$

P (x, z; θ) = P (z | x; θ) P (x; θ)

$P(x, z ; \theta) = P(z | x; \theta) P(x; \theta)$

che rende la nostra frazione

\frac{P (z | x; θ) P (x; θ)}{P (z | x; θ)} = P (x; θ)

$\frac{P(z | x; \theta) P(x; \theta)}{P(z|x;\theta)} = P(x; \theta)$

$P(x; \theta)$ $z$ $C$

\log (\sum_{z} Q (z) C) \geq \sum_{z} Q (z) \log (C)

$\log{\big( \sum_z{Q(z)C} \big)} \ge \sum_z{Q(z)\log(C)}$

$Q(z)$

$g_t$

La risposta fornita nelle note che ho collegato è leggermente diversa da quella delle note supplementari, ma differiscono solo per una costante e la stiamo massimizzando, quindi non ha conseguenze. Quello nelle note (con derivazione) è:

g_{t} (θ) = \log (P (x | θ^{(t)})) + \sum_{z} P (z | x; θ^{(t)}) \log (\frac{P (x | z; θ) P (z | θ)}{P (z | x; θ^{(t)}) P (x | θ^{(t)})})

$g_t(\theta) = \log(P(x|\theta^{(t)})) + \sum_z{P(z|x;\theta^{(t)})\log{\big( \frac{P(x|z;\theta)P(z|\theta)}{P(z|x;\theta^{(t)})P(x|\theta^{(t)})} \big)}}$

Questa formula complessa non è discussa a lungo nelle note supplementari, probabilmente perché molti di questi termini saranno costanti che verranno eliminati quando massimizzeremo. Se sei interessato a come arriviamo qui, in primo luogo, raccomando quelle note che ho collegato.

$g_t(\theta^{(t)})$ $g_t(\theta^{(t)}) = \log P(x|\theta^{(t)})$

— Mike
fonte