Differenza tra Bayes ingenui e Bayes ingenui multinomiali

Ho già avuto a che fare con il classificatore Naive Bayes . Recentemente ho letto di Multinomial Naive Bayes .

Anche la probabilità posteriore = (Precedente * Probabilità) / (Evidenza) .

L'unica differenza principale (durante la programmazione di questi classificatori) che ho trovato tra Naive Bayes e Multinomial Naive Bayes è che

Naive Bayes multinomiale calcola la probabilità di conteggio di una parola / token (variabile casuale) e Naive Bayes calcola la probabilità di essere come segue:

Correggimi se sbaglio!

Il termine generale Naive Bayes indica le forti assunzioni di indipendenza nel modello, piuttosto che la distribuzione particolare di ogni caratteristica. Un modello di Naive Bayes presuppone che ciascuna delle funzionalità che utilizza sia condizionatamente indipendente l'una dall'altra data una certa classe. Più formalmente, se voglio calcolare la probabilità di osservare le caratteristiche da a , data una certa classe c, sotto il presupposto di Naive Bayes vale quanto segue:$f_1$$f_n$

Ciò significa che quando voglio usare un modello Naive Bayes per classificare un nuovo esempio, la probabilità posteriore è molto più semplice con cui lavorare:

Naturalmente queste assunzioni di indipendenza sono raramente vere, il che potrebbe spiegare perché alcuni hanno fatto riferimento al modello come il modello "Idiot Bayes", ma in pratica i modelli Naive Bayes hanno funzionato sorprendentemente bene, anche su compiti complessi in cui è chiaro che il forte le ipotesi di indipendenza sono false.

Fino a questo punto non abbiamo detto nulla sulla distribuzione di ciascuna funzionalità. In altre parole, abbiamo lasciato indefinito. Il termine Multinomial Naive Bayes semplicemente ci fa sapere che ogni è una distribuzione multinomiale, piuttosto che qualche altra distribuzione. Questo funziona bene per i dati che possono essere facilmente trasformati in conteggi, come i conteggi di parole nel testo.p ( f i | c $p(f_i|c)$$p(f_i|c)$

La distribuzione che stavi usando con il tuo classificatore Naive Bayes è un pdf di Guassian, quindi immagino che potresti chiamarlo un classificatore di Naive Bayes guassiano.

In sintesi, il classificatore Naive Bayes è un termine generale che si riferisce all'indipendenza condizionale di ciascuna delle funzionalità nel modello, mentre il classificatore Nain Bayes multinomiale è un'istanza specifica di un classificatore Naive Bayes che utilizza una distribuzione multinomiale per ciascuna delle funzionalità.

Riferimenti:

Stuart J. Russell e Peter Norvig. 2003. Intelligenza artificiale: un approccio moderno (2 ed.). Pearson Education. Vedi pag. 499 come riferimento a "idiota Bayes" nonché alla definizione generale del modello Naive Bayes e alle sue assunzioni di indipendenza

$P(x_i | c_j)$$1 \leq i \leq n$$1 \leq j \leq k$$(i,j)$$P(x_i|c_{j_1})$$P(x_i | c_{j_2})$

Naive Bayes multinomiale presuppone semplicemente una distribuzione multinomiale per tutte le coppie, che in alcuni casi sembra essere un presupposto ragionevole, vale a dire per il conteggio delle parole nei documenti.