Differenza tra Bayes ingenui e Bayes ingenui multinomiali


29

Ho già avuto a che fare con il classificatore Naive Bayes . Recentemente ho letto di Multinomial Naive Bayes .

Anche la probabilità posteriore = (Precedente * Probabilità) / (Evidenza) .

L'unica differenza principale (durante la programmazione di questi classificatori) che ho trovato tra Naive Bayes e Multinomial Naive Bayes è che

Naive Bayes multinomiale calcola la probabilità di conteggio di una parola / token (variabile casuale) e Naive Bayes calcola la probabilità di essere come segue:

inserisci qui la descrizione dell'immagine

Correggimi se sbaglio!


1
Troverai molte informazioni nel seguente pdf: cs229.stanford.edu/notes/cs229-notes2.pdf
B_Miner

Christopher D. Manning, Prabhakar Raghavan e Hinrich Schütze. " Introduzione al recupero delle informazioni " . Anche il 2009, capitolo 13 su Classificazione del testo e Naive Bayes è buono.
Franck Dernoncourt,

Risposte:


43

Il termine generale Naive Bayes indica le forti assunzioni di indipendenza nel modello, piuttosto che la distribuzione particolare di ogni caratteristica. Un modello di Naive Bayes presuppone che ciascuna delle funzionalità che utilizza sia condizionatamente indipendente l'una dall'altra data una certa classe. Più formalmente, se voglio calcolare la probabilità di osservare le caratteristiche da a , data una certa classe c, sotto il presupposto di Naive Bayes vale quanto segue:f1fn

p(f1,...,fn|c)=i=1np(fi|c)

Ciò significa che quando voglio usare un modello Naive Bayes per classificare un nuovo esempio, la probabilità posteriore è molto più semplice con cui lavorare:

p(c|f1,...,fn)p(c)p(f1|c)...p(fn|c)

Naturalmente queste assunzioni di indipendenza sono raramente vere, il che potrebbe spiegare perché alcuni hanno fatto riferimento al modello come il modello "Idiot Bayes", ma in pratica i modelli Naive Bayes hanno funzionato sorprendentemente bene, anche su compiti complessi in cui è chiaro che il forte le ipotesi di indipendenza sono false.

Fino a questo punto non abbiamo detto nulla sulla distribuzione di ciascuna funzionalità. In altre parole, abbiamo lasciato indefinito. Il termine Multinomial Naive Bayes semplicemente ci fa sapere che ogni è una distribuzione multinomiale, piuttosto che qualche altra distribuzione. Questo funziona bene per i dati che possono essere facilmente trasformati in conteggi, come i conteggi di parole nel testo.p ( f i | c )p(fi|c)p(fi|c)

La distribuzione che stavi usando con il tuo classificatore Naive Bayes è un pdf di Guassian, quindi immagino che potresti chiamarlo un classificatore di Naive Bayes guassiano.

In sintesi, il classificatore Naive Bayes è un termine generale che si riferisce all'indipendenza condizionale di ciascuna delle funzionalità nel modello, mentre il classificatore Nain Bayes multinomiale è un'istanza specifica di un classificatore Naive Bayes che utilizza una distribuzione multinomiale per ciascuna delle funzionalità.

Riferimenti:

Stuart J. Russell e Peter Norvig. 2003. Intelligenza artificiale: un approccio moderno (2 ed.). Pearson Education. Vedi pag. 499 come riferimento a "idiota Bayes" nonché alla definizione generale del modello Naive Bayes e alle sue assunzioni di indipendenza


I collegamenti sono interrotti
solista

@ jlund3, grazie per la bella spiegazione. Come incorporiamo le informazioni della distribuzione nel nostro classificatore? Voglio dire come cambia la fomula p (c | f1, ..., fn) ∝p (c) p (f1 | c) ... p (fn | c) a seconda che si tratti di una distribuzione guassiana vs multimodale
David,

Grazie per la breve spiegazione, ma raccomando il libro (Stuart J. Russell e Peter Norvig. 2003. Intelligenza artificiale: un approccio moderno (2 ed.)) Di cui sopra per ulteriori conoscenze sulle tecniche di NB e di intelligenza artificiale ..
Mirani

i conteggi della distribuzione multinomiale non sono indipendenti. vedi la mia domanda qui: datascience.stackexchange.com/questions/32016/…
Hanan Shteingart

10

P(xi|cj)1in1jk(i,j)P(xi|cj1)P(xi|cj2)

Naive Bayes multinomiale presuppone semplicemente una distribuzione multinomiale per tutte le coppie, che in alcuni casi sembra essere un presupposto ragionevole, vale a dire per il conteggio delle parole nei documenti.

Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.