Un parallelo tra LSA e pLSA

Nel documento originale di pLSA l'autore, Thomas Hoffman, traccia un parallelo tra le strutture di dati pLSA e LSA che vorrei discutere con voi.

Sfondo:

Prendendo ispirazione l'Information Retrieval supponiamo di avere una raccolta di $N$ documenti

D = {d_{1}, d_{2}, . . . ., d_{N}}

$D = \lbrace d_1, d_2, ...., d_N \rbrace$ e un vocabolario di

M

$M$ termini

Ω = {ω_{1}, ω_{2}, . . ., ω_{M}}

$\Omega = \lbrace \omega_1, \omega_2, ..., \omega_M \rbrace$

Un corpus $X$ può essere rappresentato da una matrice $N \times M$ di coincidenze.

Nelle latenti semantiche Analisi di SVD la matrice $X$ è fattorizzata in tre matrici:

X = U Σ V^{T}

$X = U \Sigma V^T$ dove

Σ = d i a g {σ_{1}, . . ., σ_{s}}

$\Sigma = diag \lbrace \sigma_1, ..., \sigma_s \rbrace$ e la

σ_{i}

$\sigma_i$ sono i valori singolari di

X

$X$ ed

s

$s$ è la posizione di

X

$X$ .

LSA ravvicinamento delle viene quindi calcolata troncando le tre matrici a qualche livello , come mostrato in figura: $X$

\hat{X} = \hat{U} \hat{Σ} \hat{V^{T}}

$\hat{X} = \hat{U}\hat{\Sigma}\hat{V^T}$

k < s

$k < s$

inserisci qui la descrizione dell'immagine

$Z = \lbrace z_1, z_2, ..., z_Z \rbrace$ $X$ dove le tre matrici sono quelle che massimizzano la probabilità del modello.

X = [P (d_{i} | z_{k})] \times [d i a g (P (z_{k})] \times [P (f_{j} | z_{k})]^{T}

$X = [P(d_i | z_k)] \times [diag(P(z_k)] \times [P(f_j|z_k)]^T$

Domanda reale:

L'autore afferma che queste relazioni sussistono:

$U = [P(d_i | z_k)]$
$\hat{\Sigma} = [diag(P(z_k)]$
$V = [P(f_j|z_k)]$

e che la differenza cruciale tra LSA e pLSA è la funzione oggettiva utilizzata per determinare la decomposizione / approssimazione ottimale.

$\hat{X}$

Potete aiutarmi a chiarire questo punto?

$d^*$

\hat{d^{*}} = d^{*} \times V \times V^{T}

$\hat{d^*} = d^*\times V \times V^T$

Questo è sempre valido?
$\hat{d^{*}} = d^{*} \times [P (f_{j} | z_{k})] \times [P (f_{j} | z_{k})]^{T}$ $\hat{d^*} = d^*\times [P(f_j|z_k)] \times [P(f_j|z_k)]^T$

Grazie.

— Aslan986
fonte

Per semplicità, sto dando qui la connessione tra LSA e fattorizzazione a matrice non negativa (NMF), e quindi mostrerò come una semplice modifica della funzione di costo porta a pLSA. Come affermato in precedenza, LSA e pLSA sono entrambi metodi di fattorizzazione nel senso che, fino alla normalizzazione di righe e colonne, la decomposizione di basso livello della matrice del termine del documento:

X = U Σ D

$X=U\Sigma D$

usando le notazioni precedenti. Più semplicemente, la matrice del termine del documento può essere scritta come un prodotto di due matrici:

X = A B^{T}

$X = AB^T$

$A\in\Re^{N\times s}$ $B\in\Re^{M\times s}$ $A=U \sqrt{\Sigma}$ $B=V\sqrt{\Sigma}$

Un modo semplice per capire la differenza tra LSA e NMF è usare la loro interpretazione geometrica:

$min_{A, B} ‖ X - A B^{T} ‖_{F}^{2},$ $\min_{A,B} \|X - AB^T \|_F^2,$
NMF- è la soluzione di: $L_2$
$min_{A \geq 0, B \geq 0} ‖ X - A B^{T} ‖_{F}^{2},$ $\min_{A\ge 0,B\ge 0} \|X - AB^T \|_F^2,$
NMF-KL è equivalente a pLSA ed è la soluzione di:
$min_{A \geq 0, B \geq 0} K L (X | | A B^{T}) .$ $\min_{A\ge 0,B\ge 0} KL(X|| AB^T).$

dove rappresenta l' Kullback-Leibler divergenza tra matrici e . È facile vedere che tutti i problemi sopra non hanno una soluzione unica, dal momento che si può moltiplicare per un numero positivo e dividere $KL(X||Y) = \sum_{ij} x_{ij}\log{\frac{x_{ij}}{y_{ij}}}$ $X$ $Y$ $A$ $B$ dallo stesso numero per ottenere lo stesso valore oggettivo. Quindi, - nel caso dell'LSA, le persone di solito scelgono una base ortogonale ordinata per autovalori decrescenti. Ciò è dato dalla decomposizione SVD e identifica la soluzione LSA, ma qualsiasi altra scelta sarebbe possibile in quanto non ha alcun impatto sulla maggior parte delle operazioni (somiglianza del coseno, formula di levigatura di cui sopra, ecc.). - nel caso di NMF, una decomposizione ortogonale non è possibile, ma le righe di sono generalmente vincolate a sommare a una, perché ha un'interpretazione probabilistica diretta come . Se inoltre, le righe di sono normalizzate (cioè somma a una), allora le righe di devono sommare a una, portando all'interpretazione probabilistica $A$ $p(z_k|d_i)$ $X$ $B$ $p(f_j|z_k)$ . C'è una leggera differenza con la versione di pLSA data nella domanda precedente perché le colonne di sono costrette a sommare a una, quindi i valori in sono , ma la differenza è solo una modifica della parametrizzazione , il problema rimane lo stesso. $A$ $A$ $p(d_i|z_k)$

Ora, per rispondere alla domanda iniziale, c'è qualcosa di sottile nella differenza tra LSA e pLSA (e altri algoritmi NMF): i vincoli di non negatività inducono un "effetto di raggruppamento" che non è valido nel caso LSA classico perché il Valore Singolare La soluzione di decomposizione è invariante a rotazione. I vincoli di non negatività interrompono in qualche modo questa invarianza rotazionale e danno fattori con una sorta di significato semantico (argomenti nell'analisi del testo). Il primo documento per spiegarlo è:

Donoho, David L. e Victoria C. Stodden. "Quando la fattorizzazione a matrice non negativa dà una corretta decomposizione in parti?" Progressi nei sistemi di elaborazione delle informazioni neurali 16: atti della conferenza del 2003. MIT Press, 2004. [link]

Altrimenti, la relazione tra PLSA e NMF è descritta qui:

Ding, Chris, Tao Li e Wei Peng. "Sull'equivalenza tra fattorizzazione a matrice non negativa e indicizzazione semantica latente probabilistica." Statistiche computazionali e analisi dei dati 52,8 (2008): 3913-3927. [link]

— Guillaume
fonte