Questo è un problema pratico per un esame di medio termine. Il problema è un esempio di algoritmo EM. Sto riscontrando problemi con la parte (f). Elenco le parti (a) - (e) per il completamento e nel caso in cui ho commesso un errore in precedenza.
Consenti a essere variabili casuali esponenziali indipendenti con rate . Sfortunatamente, i valori effettivi non vengono osservati e osserviamo solo se i valori rientrano in determinati intervalli. Lascia che , e per . I dati osservati sono costituiti da .X1,…,XnθXXG1j=1{Xj<1}G2j=1{1<Xj<2}G3j=1{Xj>2}j=1,…,n(G1j,G2j,G3j)
(a) Fornire la probabilità dei dati osservati:
L(θ|G)=∏j=1nPr{Xj<1}G1jPr{1<Xj<2}G2jPr{Xj>2}G3j=∏j=1n(1−e−θ)G1j(e−θ−e−2θ)G2j(e−2θ)G3j
(b) Fornire la completa verosimiglianza dei dati
L(θ|X,G)=∏j=1n(θe−θxj)G1j(θe−θxj)G2j(θe−θxj)G3j
(c) Deriva la densità predittiva della variabile latente f(xj|G,θ)
f(xj|G,θ)=fX,G(xj,g)fG(g)=θe−θxj1{xj∈region r s.t. Grj=1}(1−e−θ)g1j(e−θ−e−2θ)g2j(e−2θ)g3j
(d) E-step. Dare la funzioneQ(θ,θi)
Q ( θ , θio)= EX| G, θio[ logf( x | G , θ ) ]=nlogθ−θ∑j=1nE[Xj|G,θi]−N1log(1−e−θ)−N2log(e−θ−e−2θ)−N3loge- 2 θ=nlogθ−θ∑j=1nE[Xj|G,θi]−N1log(1−e−θ)−N2log(e−θ(1−e−θ))+2θN3=nlogθ−θ∑j=1nE[Xj|G,θi]−N1log(1−e−θ)+θN2−N2log(1−e−θ)+2θN3
doveN1=∑nj=1g1j,N2=∑nj=1g2j,N3=∑nj=1g3j
(e) Fornisci espressioni per per . r = 1 , 2 , 3E[Xj|Grj=1,θi]r=1,2,3
Elencherò i miei risultati, che sono abbastanza sicuro, ma le derivazioni sarebbero un po 'lunghe per questa domanda già troppo lunga:
E[Xj|G1j=1,θi]E[Xj|G2j=1,θi]E[Xj|G3j=1,θi]=(11−e−θi)(1θi−e−θi(1+1/θi))=(1e−θi−e−2θi)(e−θi(1+1/θi)−e−2θi(2+1/θi))=(1e−2θi)(e−2θi(2+1/θi))
Questa è la parte su cui sono bloccato e potrebbe essere a causa di un errore precedente:
(f) M-Step. Trova il che massimizzaQ ( θ , θ i )θQ(θ,θi)
Dalla legge dell'aspettativa totale abbiamo
PertantoE[Xj|G,θi]=(1θi−e−θi(1+1/θi))+(e−θi(1+1/θi)−e−2θi(2+1/θi))+(e−2θi(2+1/θi))=1/θi
Q(θ,θi)∂Q(θ,θi)∂θ=nlogθ−θ∑j=1nE[Xj|G,θi]−N1log(1−e−θ)+θN2−N2log(1−e−θ)+2θN3=nlogθ−θnθi−N1log(1−e−θ)+θN2−N2log(1−e−θ)+2θN3=nθ−nθi−(N1+N2)e−θ1−e−θ+N2+2N3
Quindi dovrei impostare questo uguale a zero e risolvere per , ma l'ho provato per molto tempo e non riesco a risolvere per !θθθ