Applicazione dell'ottimizzazione delle aspettative agli esempi di lancio di monete

Ultimamente ho studiato da solo la massimizzazione delle aspettative e mi sono procurato alcuni semplici esempi nel processo:

Da qui : ci sono tre monete , e con , e la rispettiva probabilità di atterrare su Head quando lanciate. Toss . Se il risultato è Head, lancia tre volte, altrimenti lancia tre volte. I dati osservati prodotti da e sono così: HHH, TTT, HHH, TTT, HHH. I dati nascosti sono il risultato di . Stima , e . $c_0$ $c_1$ $c_2$ $p_0$ $p_1$ $p_2$ $c_0$ $c_1$ $c_2$ $c_1$ $c_2$ $c_0$ $p_0$ $p_1$ $p_2$

E da qui : ci sono due monete e con e rappresentano la probabilità relativa di atterrare sulla testa quando lanciate. Ad ogni round, seleziona una moneta a caso e lanciala dieci volte; registra i risultati. I dati osservati sono i risultati del lancio forniti da queste due monete. Tuttavia, non sappiamo quale moneta è stata selezionata per un determinato round. Stimare e . $c_A$ $c_B$ $p_A$ $p_B$ $p_A$ $p_B$

Mentre posso ottenere i calcoli, non riesco a mettere in relazione i modi in cui sono risolti con la teoria EM originale. Nello specifico, durante l'M-Step di entrambi gli esempi, non vedo come stiano massimizzando qualcosa. Sembra che stiano ricalcolando i parametri e, in qualche modo, i nuovi parametri sono migliori di quelli vecchi. Inoltre, i due E-Step non sembrano nemmeno simili tra loro, per non parlare dell'E-Step della teoria originale.

Quindi, come funzionano esattamente questi esempi?

probability-theory statistics

— IcySnow
fonte

Nel primo esempio, quanti casi dello stesso esperimento otteniamo? Nel secondo esempio, qual è la legge di "selezionare una moneta a caso"? Quanti colpi osserviamo?

— Raffaello

I file PDF che ho collegato risolvono già questi due esempi passo dopo passo. Tuttavia, non capisco davvero l'algoritmo EM utilizzato.

— IcySnow

@IcySnow, capisci il concetto di aspettativa e aspettativa condizionale di una variabile casuale?

— Nicholas Mancuso,

Comprendo le aspettative di base di una variabile casuale e la probabilità condizionale. Tuttavia, non ho familiarità con le aspettative condizionali, i suoi derivati e statistiche sufficienti.

— IcySnow

(Questa risposta utilizza il secondo link che hai fornito.)

$\newcommand{\Like}{\text{L}}\newcommand{\E}{\text{E}}$

L [θ | X] = Pr [X | θ] = \sum_{Z} Pr [X, Z | θ]

$\Like[\theta | X] = \Pr[X| \theta] = \sum_Z \Pr[X, Z | \theta]$

θ = (θ_{A}, θ_{B})

$\theta = (\theta_A, \theta_B)$

X = (X_{1}, \dots, X_{5})

$X = (X_1, \dotsc, X_5)$

X_{i}

$X_i$

Z = (Z_{1}, \dots, Z_{5})

$Z = (Z_1, \dotsc, Z_5)$

Vogliamo trovare lo stimatore della massima verosimiglianza . L'algoritmo Expectation-Maximization (EM) è uno di questi metodi per trovare (almeno locale) . Funziona trovando l'aspettativa condizionale, che viene quindi utilizzata per massimizzare . L'idea è che trovando continuamente un più probabile (cioè più probabile) in ogni iterazione aumenteremo continuamente che a sua volta aumenta la funzione di verosimiglianza. Ci sono tre cose che devono essere fatte prima di andare avanti progettando un algoritmo basato su EM. $\hat{\theta}$ $\hat{\theta}$ $\theta$ $\theta$ $\Pr[X,Z|\theta]$

Costruisci il modello
Calcola le aspettative condizionali secondo il modello (E-Step)
Massimizza la nostra probabilità aggiornando la nostra attuale stima di (M-Step) $\theta$

Costruisci il modello

Prima di andare oltre con EM, dobbiamo capire che cosa stiamo esattamente calcolando. Nell'E-step stiamo calcolando esattamente il valore atteso per . Allora, qual è questo valore, davvero? Osserva che Il motivo è che abbiamo 5 esperimenti da tenere in considerazione e non sappiamo quale moneta sia stata utilizzata in ciascuno di essi. La disuguaglianza è dovuta a $\log \Pr[X,Z|\theta]$

\begin{aligned} \log Pr [X, Z | θ] & = Σ_{io = 1}^{5} \log \underset{C \in {UN, B}}{Σ} Pr [X_{io}, Z_{io} = C | θ] \\ = Σ_{io = 1}^{5} \log \underset{C \in {UN, B}}{Σ} Pr [Z_{io} = C | X_{io}, θ] \cdot \frac{Pr [X_{io}, Z_{io} = C | θ]}{Pr [Z_{io} = C | X_{io}, θ]} \\ \geq Σ_{io = 1}^{5} \underset{C \in {UN, B}}{Σ} Pr [Z_{io} = C | X_{io}, θ] \cdot \log \frac{Pr [X_{io}, Z_{io} = C | θ]}{Pr [Z_{io} = C | X_{io}, θ]} . \end{aligned}

$\begin{align*} \log \Pr[X,Z|\theta] &= \sum_{i=1}^5 \log\sum_{C\in \{A,B\}}\Pr[X_i, Z_i=C| \theta]\\ &=\sum_{i=1}^5 \log\sum_{C\in \{A,B\}} \Pr[Z_i=C | X_i, \theta] \cdot \frac{\Pr[X_i, Z_i=C| \theta]}{\Pr[Z_i=C | X_i, \theta]}\\ &\geq \sum_{i=1}^5 \sum_{C\in \{A,B\}} \Pr[Z_i=C | X_i, \theta] \cdot \log\frac{\Pr[X_i, Z_i=C| \theta]}{\Pr[Z_i=C | X_i, \theta]}. \end{align*}$

\log

$\log$ essere concavo e applicare la disuguaglianza di Jensen. Il motivo per cui abbiamo bisogno di quel limite inferiore è che non possiamo calcolare direttamente l'arg max sull'equazione originale. Tuttavia, possiamo calcolarlo per il limite inferiore finale.

Che cos'è ora ? È la probabilità che vediamo la moneta dato l'esperimento e . Usando le probabilità condizionali abbiamo, $\Pr[Z_i=C|X_i,\theta]$ $C$ $X_i$ $\theta$

Pr [Z_{io} = C | X_{io}, θ] = \frac{Pr [X_{io}, Z_{io} = C | θ]}{Pr [X_{io} | θ]} .

$\Pr[Z_i=C| X_i, \theta] = \frac{\Pr[X_i, Z_i = C|\theta]}{\Pr[X_i|\theta]}.$

Mentre abbiamo fatto alcuni progressi, non abbiamo ancora finito con il modello. Qual è la probabilità che una determinata moneta abbia lanciato la sequenza ? Lasciare Ora è chiaramente solo la probabilità sotto le due possibilità di o . Poiché abbiamo, $X_i$ $h_i = \#\text{heads in } X_i$

Pr [X_{i}, Z_{i} = C | θ] = \frac{1}{2} \cdot θ_{C}^{h_{i}} (1 - θ_{C})^{10 - h_{i}}, for C \in {A, B} .

$\Pr[X_i, Z_i = C| \theta] = \frac{1}{2} \cdot \theta_C^{h_i} (1 - \theta_C)^{10 - h_i},\ \text{ for } \ C \in \{A, B\}.$

Pr [X_{i} | θ]

$\Pr[X_i|\theta]$

Z_{i} = A

$Z_i=A$

Z_{i} = B

$Z_i=B$

Pr [Z_{i} = A] = Pr [Z_{i} = B] = 1 / 2

$\Pr[Z_i = A] = \Pr[Z_i = B] = 1/2$

Pr [X_{io} | θ] = 1 / 2 \cdot (Pr [X_{io} | Z_{io} = UN, θ] + Pr [X_{io} | Z_{io} = B, θ]) .

$\Pr[X_i|\theta] = 1/2 \cdot (\Pr[X_i |Z_i = A, \theta] + \Pr[X_i |Z_i = B, \theta]).$

E-Step

Okay ... non è stato così divertente, ma possiamo iniziare a fare un po 'di lavoro EM ora. L'algoritmo EM inizia facendo delle ipotesi casuali per . In questo esempio abbiamo . Calcoliamo Questo valore è in linea con quanto contenuto nel documento. Ora possiamo calcolare il numero previsto di teste in dalla moneta , Facendo la stessa cosa per la moneta otteniamo, $\theta$ $\theta^0 = (0.6,0.5)$

Pr [Z_{1} = UN | X_{1}, θ] = \frac{1 / 2 \cdot ({0.6}^{5} \cdot {0.4}^{5})}{1 / 2 \cdot (({0.6}^{5} \cdot {0.4}^{5}) + ({0.5}^{5} \cdot {0.5}^{5}))} \approx 0.45.

$\Pr[Z_1=A|X_1,\theta] = \frac{1/2 \cdot (0.6^5 \cdot 0.4^5)}{1/2 \cdot ((0.6^5 \cdot 0.4^5) + (0.5^5 \cdot 0.5^5))} \approx 0.45.$

X_{1} = (H, T, T, T, H, H, T, H, T, H)

$X_1 = (H,T,T,T,H,H,T,H,T,H)$

A

$A$

E [# heads by coin A | X_{1}, θ] = h_{1} \cdot Pr [Z_{1} = A | X_{1}, θ] = 5 \cdot 0.45 \approx 2.2.

$\E[\# \text{heads by coin }A | X_1, \theta] = h_1 \cdot \Pr[Z_1=A|X_1,\theta] = 5 \cdot 0.45 \approx 2.2.$

B

$B$

E [# heads by coin B | X_{1}, θ] = h_{1} \cdot Pr [Z_{1} = B | X_{1}, θ] = 5 \cdot 0.55 \approx 2.8.

$\E[\# \text{heads by coin }B | X_1, \theta] = h_1 \cdot \Pr[Z_1=B|X_1,\theta] = 5 \cdot 0.55 \approx 2.8.$ Possiamo calcolare lo stesso per il numero di code sostituendo con . Questo continua per tutti gli altri valori di e . Grazie alla linearità delle aspettative possiamo capire

h_{1}

$h_1$

10 - h_{1}

$10 - h_1$

X_{i}

$X_i$

h_{i}

$h_i$

1 \leq i \leq 5

$1 \leq i \leq 5$

E [# heads by coin A | X, θ] = \sum_{i = 1}^{5} E [# heads by coin A | X_{i}, θ]

$\E[\#\text{heads by coin } A|X ,\theta] = \sum_{i=1}^5 \E[\# \text{heads by coin }A | X_i, \theta]$

M-Step

Con i nostri valori previsti in mano, ora arriva il passaggio M in cui vogliamo massimizzare dati i nostri valori previsti. Questo viene fatto mediante una semplice normalizzazione! Allo stesso modo per . Questo processo ricomincia con E-Step e e continua fino a quando i valori di convergono (o in una certa soglia consentita). In questo esempio abbiamo 10 iterazioni e . In ogni iterazione il valore di aumenta, grazie alla migliore stima di $\theta$

θ_{A}^{1} = \frac{E [# heads over X con moneta UN | X, θ]}{E [# testa e croce X con moneta UN | X, θ]} = \frac{21,3}{21,3 + 9.6} \approx 0.71.

$\theta_A^1 = \frac{E[\#\text{heads over } X \text{ by coin } A|X ,\theta]}{E[\#\text{heads and tails over } X \text{ by coin } A|X ,\theta]} = \frac{21.3}{21.3 + 9.6} \approx 0.71.$

B

$B$

θ^{1}

$\theta^1$

θ

$\theta$

\hat{θ} = θ^{10} = (0.8, 0.52)

$\hat{\theta} = \theta^{10} = (0.8, 0.52)$

Pr [X, Z | θ]

$\Pr[X,Z|\theta]$

θ

$\theta$ .

Ora in questo caso il modello era abbastanza semplicistico. Le cose possono diventare molto più complicate abbastanza rapidamente, tuttavia l'algoritmo EM converrà sempre e produrrà sempre uno stimatore di probabilità massimo . Potrebbe essere uno stimatore locale , ma per ovviare a questo possiamo semplicemente riavviare il processo EM con una diversa inizializzazione. Possiamo farlo un numero costante di volte e conservare i migliori risultati (cioè quelli con la più alta probabilità finale). $\hat{\theta}$

— Nicholas Mancuso
fonte

Se alcune parti non sono chiare, posso provare ad espanderle anche.

— Nicholas Mancuso,

Ora diventa molto più chiaro. Quello che non capisco davvero è perché il numero atteso di teste per la moneta A è stato calcolato come: E [# teste per moneta A | X1, θ] = h1⋅Pr [Z1 = A | X1, θ] = 5⋅0,45 ≈2.2? Il problema menzionato nel primo PDF è più complicato. Se non ti dispiace, puoi fare anche dei calcoli illustrativi per questo? Mille grazie per la tua risposta.

— IcySnow,

@IcySnow, per quanto riguarda il calcolo delle aspettative: . Il motivo è che puoi pensare che ci sia un'altra variabile casuale dell'indicatore se fosse usato A. L'aspettativa di calcolo rispetto alle variabili dell'indicatore è semplice la probabilità di quell'evento.

E [# heads by coin A | X_{1}, θ] = \sum_{# heads in X_{1}} Pr [Z_{1} = A | X_{1}, θ] = 5 \cdot Pr [Z_{1} = A | X_{1}, θ]

$E[\# \text{ heads by coin }A|X_1,\theta] = \sum_{\#\text{ heads in }X_1} \Pr[Z_1 = A| X_1, \theta] = 5 \cdot \Pr[Z_1 = A| X_1, \theta]$

— Nicholas Mancuso,

Ci scusiamo per la risposta lenta. Grazie a te, ora posso davvero capire la logica dietro i due esempi di monete, dopo aver esaminato la tua risposta molte volte. C'è un'ultima cosa che vorrei porre riguardo a questa domanda: l'esempio a partire da pagina 8 in questa diapositiva cs.northwestern.edu/~ddowney/courses/395_Winter2010/em.ppt mostra che nell'M-Step, dobbiamo prima calcolare il derivato della funzione log-verosimiglianza e usarlo per massimizzare le aspettative. Perché qualcosa del genere non è presente negli M-Step degli esempi di lancio della moneta? Poiché questi M-Step non sembrano massimizzare nulla

— IcySnow il

Sono confuso dalla prima equazione visualizzata dopo "Costruire il modello". Puoi spiegare da dove viene? Mi sembra , quindi la somma interna è 1 per ogni , quindi l'intero lato destro diventa zero. Sono sicuro che mi manca qualcosa: puoi spiegare il ragionamento su come sei arrivato a quell'equazione?

Pr [Z_{i} = A | X_{i}, θ] + Pr [Z_{i} = B | X_{i}, θ] = 1

$\Pr[Z_i=A|X_i,\theta]+\Pr[Z_i=B|X_i,\theta]=1$

i

$i$

— DW