Previsione dell'argomento mediante allocazione latente di Dirichlet

Ho usato LDA su un corpus di documenti e ho trovato alcuni argomenti. L'output del mio codice è di due matrici contenenti probabilità; le probabilità di un argomento di un documento e le altre probabilità di un argomento di parola. Ma in realtà non so come usare questi risultati per prevedere l'argomento di un nuovo documento. Sto usando il campionamento di Gibbs. Qualcuno sa come? Grazie

Proverei a "ripiegare". Questo si riferisce al prendere un nuovo documento, aggiungerlo al corpus e quindi eseguire Gibbs campionando solo le parole in quel nuovo documento , mantenendo gli stessi argomenti assegnati ai vecchi documenti. Questo di solito converge velocemente (forse 5-10-20 iterazioni) e non è necessario campionare il tuo vecchio corpus, quindi corre anche veloce. Alla fine avrai l'assegnazione dell'argomento per ogni parola nel nuovo documento. Questo ti darà la distribuzione degli argomenti in quel documento.

Nel tuo campionatore Gibbs, probabilmente hai qualcosa di simile al seguente codice:

// This will initialize the matrices of counts, N_tw (topic-word matrix) and N_dt (document-topic matrix)
for doc = 1 to N_Documents
    for token = 1 to N_Tokens_In_Document
       Assign current token to a random topic, updating the count matrices
    end
end

// This will do the Gibbs sampling
for doc = 1 to N_Documents
    for token = 1 to N_Tokens_In_Document
       Compute probability of current token being assigned to each topic
       Sample a topic from this distribution
       Assign the token to the new topic, updating the count matrices
    end
end

Il fold-in è lo stesso, tranne per il fatto che si inizia con le matrici esistenti, si aggiungono i token del nuovo documento e si esegue il campionamento solo per i nuovi token. Vale a dire:

Start with the N_tw and N_dt matrices from the previous step

// This will update the count matrices for folding-in
for token = 1 to N_Tokens_In_New_Document
   Assign current token to a random topic, updating the count matrices
end

// This will do the folding-in by Gibbs sampling
for token = 1 to N_Tokens_In_New_Document
   Compute probability of current token being assigned to each topic
   Sample a topic from this distribution
   Assign the token to the new topic, updating the count matrices
end

$p^i_w$$w$$i$$j$$w_j$