Implementazione di Naive Bayes

Sto implementando un algoritmo Naive Bayes per la categorizzazione del testo con il livellamento di Laplacian. Il problema che sto riscontrando è che la probabilità si avvicina allo zero perché sto moltiplicando molte piccole frazioni. Pertanto, la probabilità alla fine produce zero. Questo perché ci sono diverse parole nei documenti e nei set di addestramento.

Per questo motivo, non sono in grado di classificare i testi. C'è un modo per aggirare questo problema? Sto facendo qualcosa di sbagliato nella mia implementazione?

— sam
fonte

... Potresti evitare l'aritmetica in virgola mobile.

msdn.microsoft.com/en-us/magazine/jj891056.aspx Qui trovi una risposta semplice.

— Roshan Mehta,

Il solito trucco per evitare questo underflow è calcolare i logaritmi, usando l'identità Cioè, invece di usare le probabilità, usi i loro logaritmi. Invece di moltiplicarli, li aggiungi.

\log \prod_{i = 1}^{n} p_{i} = \sum_{i = 1}^{n} \log p_{i} .

$\log \prod_{i=1}^n p_i = \sum_{i=1}^n \log p_i.$

Un altro approccio, che non è così comune, è la normalizzazione manuale del prodotto. Invece di mantenere solo un numero in virgola mobile , si mantiene un numero in virgola mobile (diciamo) e un esponente negativo tale che . Dopo ogni operazione si normalizza il numero risultante. $p$ $p_0 \in [1,2)$ $x$ $p = p_0 2^x$

— Yuval Filmus
fonte

È anche utile notare il trucco di logsumexp in questo contesto: en.wikipedia.org/wiki/LogSumExp

— Bitwise