Come calcolare la perplessità di un controllo con Allocazione latente di Dirichlet?

Sono confuso su come calcolare la perplessità di un campione di controllo quando si esegue Latent Dirichlet Allocation (LDA). I documenti sull'argomento si scatenano, facendomi pensare che mi manchi qualcosa di ovvio ...

La perplessità è vista come una buona misura delle prestazioni per LDA. L'idea è di conservare un campione di controllo, addestrare la LDA sul resto dei dati, quindi calcolare la perplessità del controllo.

La perplessità potrebbe essere data dalla formula:

$per(D_{test})=exp\{-\frac{\sum_{d=1}^{M}\log p(\mathbb{w}_d)}{\sum_{d=1}^{M}N_d}\}$

(Tratto dal recupero di immagini su database di immagini su larga scala, Horster et al .)

Qui è il numero di documenti (nel campione di prova, presumibilmente), w d rappresenta le parole nel documento d , N d il numero di parole nel documento d .$M$$\mathbb{w}_d$$d$$N_d$$d$

Non mi è chiaro come calcolare sensibilmente la , poiché non abbiamo miscele tematiche per i documenti distribuiti. Idealmente, dovremmo integrarci sopra il Dirichlet prima di tutte le possibili miscele di argomenti e utilizzare i multinomi di argomenti che abbiamo appreso. Tuttavia, calcolare questo integrale non sembra un compito facile.$p(\mathbb{w}_d)$

In alternativa, potremmo tentare di apprendere una combinazione ottimale di argomenti per ciascun documento (dati i nostri argomenti appresi) e utilizzarlo per calcolare la perplessità. Ciò sarebbe fattibile, tuttavia non è banale come sembrano suggerire articoli come Horter et al e Blei et al, e non mi è subito chiaro che il risultato sarà equivalente al caso ideale sopra.

Questo è davvero qualcosa che è stato spesso sorpreso.

Alcune persone stanno facendo qualcosa di un po 'sfacciato: porgere una proporzione delle parole in ogni documento e dare usando le probabilità predittive di queste parole pronunciate date le miscele argomento-documento e le miscele argomento-parola. Questo ovviamente non è l'ideale in quanto non valuta le prestazioni di alcun documento tenuto fuori.

Per farlo correttamente con i documenti tenuti fuori, come suggerito, è necessario "integrarsi sopra il Dirichlet prima di tutte le possibili miscele di argomenti". http://people.cs.umass.edu/~wallach/talks/evaluation.pdf esamina alcuni metodi per affrontare questo integrale leggermente spiacevole. Sto per provare a implementarlo da solo, quindi buona fortuna!

Sappiamo che i parametri di LDA sono stimati attraverso l'inferenza variabile. Così

$\log p(w|\alpha, \beta) = E[\log p(\theta,z,w|\alpha,\beta)]-E[\log q(\theta,z)] + D(q(\theta,z)||p(\theta,z))$

$D(q(\theta,z)||p(\theta,z)) = 0$$\log p(w|\alpha, \beta) = E[\log p(\theta,z,w|\alpha,\beta)]-E[\log q(\theta,z)]$

$\log p(w|\alpha, \beta)$