Aiuto nell'ottimizzazione delle aspettative dalla carta: come includere la distribuzione precedente?

9

La domanda si basa sull'articolo intitolato: Ricostruzione dell'immagine nella tomografia ottica diffusa utilizzando il modello di trasporto-diffusione radiativo accoppiato

Link per scaricare

Gli autori applicano l'algoritmo EM con regolarizzazione della sparsità di un vettore sconosciuto per stimare i pixel di un'immagine. Il modello è dato da $l_1$ $\mu$

\begin{matrix} (1) & y = A μ + e \end{matrix}

$y=A\mu + e \tag{1}$ La stima è data in Eq (8) come

\begin{matrix} (2) & \hat{μ} = \arg m a x \ln p (y | μ) + γ \ln p (μ) \end{matrix}

$\hat{\mu} = \arg max {\ln p(y|\mu) + \gamma \ln p(\mu)} \tag{2}$

Nel mio caso, ho considerato un filtro di lunghezza e sono vettori che rappresentano i filtri. Così, $\mu$ $L$ $\mathbf{\mu}$ $L \times 1$

Il modello può essere riscritto come

\begin{matrix} (3) & y (n) = μ^{T} a (n) + v (n) \end{matrix}

$y(n) = \mathbf{\mu^T}a(n) + v(n) \tag{3}$

Domanda: Formulazione del problema: (n per 1) è l'input non osservato e è la media zero con varianza sconosciuta rumore additivo. La soluzione MLE si baserà su Expectation Maximization (EM). ${\mu(n)}$ $\{e(n)\}$ $\sigma^2_e$

Nel documento Eq (19) è la funzione $A$ - la verosimiglianza completa del log, ma nel mio caso non capisco come posso includere la distribuzione di $A, \mu$ nell'espressione completa di verosimiglianza.

Quale sarà la verosimiglianza completa usando EM di $y$ inclusa la distribuzione precedente?

— SKM
fonte

Vuoi davvero la verosimiglianza o vuoi invece il log-posteriore? Solo quest'ultimo includerà il priore Laplaciano. Il primo può essere ottenuto semplicemente prendendo il registro della probabilità, che sembra che tu abbia già scritto

Ci sono due espressioni che desidero: (1) una che verrà utilizzata per trovare la Fisher Information Matrix e l'altra (2) sarà il pdf del set di dati completo che include la variabile nascosta e le osservazioni che sono il comune densità di probabilità dei dati osservati in funzione del parametro . Il pdf che ho scritto è applicabile al modello MA per una stima cieca di . Ma come sarà diverso per il vincolo di sparsità = Laplaciano precedente in modo che si possa trovare la matrice di informazioni di Fisher dai derivati parziali della verosimiglianza.

Z

$Z$

θ

$\theta$

θ

$\theta$

— SKM

@ Xi'an: non capisco come collegare i 3 pdf che includono il precedente nella formulazione della verosimiglianza. Posso elaborare la massimizzazione che è quella di prendere la derivata parziale ed equivalere a zero. Potresti per favore dare una risposta con l'espressione della probabilità esplicitamente scritta. Questo sarà di grande aiuto

— SKM

3

Se consideriamo il target come la rappresentazione alla base di EM è per un arbitrario , a causa della decomposizione or che funziona per un valore arbitrario di (poiché non è presente alcun valore su lhs ) e quindi funziona anche per qualsiasi aspettativa in :

\arg max_{θ} L (θ | x) π (θ) = \arg max_{θ} \log L (θ | x) + \log π (θ)

$\arg\max_\theta L(\theta|x)\pi(\theta) = \arg\max_\theta \log L(\theta|x) + \log \pi(\theta)$

\log L (θ | x) = E [\log L (θ | x, Z) | x, θ ⁰] - E [\log q (Z | x, θ) | x, θ ⁰]

$\log L(\theta|x) = \mathbb{E}[\log L(\theta|x,Z)|x,\theta⁰]-\mathbb{E}[\log q(Z|x,\theta)|x,\theta⁰]$

θ ⁰

$\theta⁰$

q (z | x, θ) = f (x, z | θ) / g (x | θ)

$q(z|x,\theta)=f(x,z|\theta) \big/ g(x|\theta)$

g (x | θ) = f (x, z | θ) / q (z | x, θ)

$g(x|\theta) = f(x,z|\theta) \big/ q(z|x,\theta)$

z

$z$

Z

$Z$

\log g (x | θ) = \log f (x, z | θ) - \log q (z | x, θ) = E [\log f (x, Z | θ) - \log q (Z | x, θ) | x]

$\log g(x|\theta) = \log f(x,z|\theta) - \log q(z|x,\theta) = \mathbb{E}[\log f(x,Z|\theta) - \log q(Z|x,\theta)|x]$ per qualsiasi distribuzione condizionale di dato , ad esempio . Pertanto, se massimizziamo in con la soluzione abbiamo mentre dagli argomenti standard di EM. Pertanto,

Z

$Z$

X = x

$X=x$

q (z | x, θ ⁰)

$q(z|x,\theta⁰)$

θ

$\theta$

E [\log L (θ | x, Z) | x, θ ⁰] + \log π (θ)

$\mathbb{E}[\log L(\theta|x,Z)|x,\theta⁰]+ \log \pi(\theta)$

θ^{1}

$\theta^1$

E [\log L (θ^{1} | x, Z) | x, θ ⁰] + \log π (θ^{1}) \geq E [\log L (θ ⁰ | x, Z) | x, θ ⁰] + \log π (θ ⁰)

$\mathbb{E}[\log L(\theta^1|x,Z)|x,\theta⁰]+ \log \pi(\theta^1)\ge\mathbb{E}[\log L(\theta⁰|x,Z)|x,\theta⁰]+ \log \pi(\theta⁰)$

E [\log q (Z | x, θ ⁰) | x, θ ⁰] \geq E [\log q (Z | x, θ^{1}) | x, θ ⁰]

$\mathbb{E}[\log q(Z|x,\theta⁰)|x,\theta⁰]\ge\mathbb{E}[\log q(Z|x,\theta^1)|x,\theta⁰]$

E [\log L (θ^{1} | x, Z) | x, θ ⁰] + \log π (θ^{1}) \geq E [\log L (θ ⁰ | x, Z) | x, θ ⁰] + \log π (θ ⁰)

$\mathbb{E}[\log L(\theta^1|x,Z)|x,\theta⁰]+ \log \pi(\theta^1)\ge\mathbb{E}[\log L(\theta⁰|x,Z)|x,\theta⁰]+ \log \pi(\theta⁰)$ e usando come passo E il target porta ad un aumento del posteriore ad ogni M step, nel senso che l'algoritmo EM modificato converge in una MAP locale.

E [\log L (θ | x, Z) | x, θ ⁰] + \log π (θ)

$\mathbb{E}[\log L(\theta|x,Z)|x,\theta⁰]+ \log \pi(\theta)$

— Xi'an
fonte

Grazie per la risposta. Ha rappresentano il pdf di ? Potresti per favore perché ci sono 2 aspettative con Sottratto nell'equazione menzionata nella seconda riga?

q ()

$q()$

Z

$Z$

E [l o g q (.)]

$E[log q(.)]$

— SKM,

Ho aggiunto alcune spiegazioni, ma dovresti controllare in un libro di testo la derivazione dell'algoritmo EM poiché questo è materiale standard.

— Xi'an,

1

Non credo che mostrare un log-posteriore crescente monotonico (o la probabilità del log per MLE) sia sufficiente per mostrare la convergenza al punto stazionario della stima MAP (o MLE). Ad esempio, gli incrementi possono diventare arbitrariamente piccoli. Nel famoso articolo di Wu 1983 , una condizione sufficiente per convergere a punto stazionario di EM è la differenziabilità in entrambi gli argomenti della funzione limite inferiore.

— Jim.Z
fonte