Come calcolare le informazioni reciproche?

Sono un po 'confuso. Qualcuno può spiegarmi come calcolare le informazioni reciproche tra due termini basati su una matrice di documenti termici con occorrenza binaria di termini come pesi?

\begin{matrix} ^{'} W h y^{'} & ^{'} H o w^{'} & ^{'} W h e n^{'} & ^{'} W h e r e^{'} \\ D o c u m e n t 1 & 1 & 1 & 1 & 1 \\ D o c u m e n t 2 & 1 & 0 & 1 & 0 \\ D o c u m e n t 3 & 1 & 1 & 1 & 0 \end{matrix}

$\begin{matrix} & 'Why' & 'How' & 'When' & 'Where' \\ Document1 & 1 & 1 & 1 & 1 \\ Document2 & 1 & 0 & 1 & 0 \\ Document3 & 1 & 1 & 1 & 0 \end{matrix}$

I (X; Y) = \sum_{y \in Y} \sum_{x \in X} p (x, y) \log (\frac{p (x, y)}{p (x) p (y)})

$I(X;Y)= \sum_{y \in Y} \sum_{x \in X} p(x,y) \log\left(\frac{p(x,y)}{p(x)p(y)} \right)$

Grazie

— user18075
fonte

Cosa sono

X

$X$

Y

$Y$

— Dilip Sarwate,

X e Y sono termini. X potrebbe essere "Why" e Y potrebbe essere "How".

— user18075,

I (X, Y) = H (X) + H (Y) - H (X, Y) .

$I(X,Y) = H(X)+H(Y)-H(X,Y).$

— Zoran
fonte

H (X)

$H(X)$

H (Y)

$H(Y)$

H (X, Y)

$H(X,Y)$

p (x, y), p (x)

$p(x,y), p(x)$

p (y)

$p(y)$

le formule sono equivalenti, tranne che possono essere più interpretabili a prima vista.

— Zoran,