In che modo Naive Bayes è un classificatore lineare?

Ho visto l'altro thread qui, ma non credo che la risposta abbia soddisfatto la vera domanda. Quello che ho letto continuamente è che Naive Bayes è un classificatore lineare (es: qui ) (tale da tracciare un confine di decisione lineare) usando la dimostrazione delle probabilità del log.

Tuttavia, ho simulato due nuvole gaussiane e adattato un limite di decisione e ottenuto i risultati in quanto tali (libreria e1071 in r, usando naiveBayes ()) 1- Verde, 0 - Rosso

Come possiamo vedere, il limite della decisione non è lineare. Sta cercando di dire che i parametri (probabilità condizionate) sono una combinazione lineare nello spazio del registro piuttosto che dire che il classificatore stesso separa i dati in modo lineare?

classification naive-bayes

— Kevin Pei
fonte

come hai creato il confine decisionale? sospetto che abbia a che fare con la tua routine di adattamento piuttosto che con il vero limite di decisione del classificatore. normalmente si genererebbe un limite di decisione calcolando la decisione in ogni singolo punto del quadrante.

— seanv507,

Questo è quello che ho fatto, ho preso i due intervalli di X = [Min (x), Max (x)] e Y = [Min (Y), Max (Y)] con una spaziatura di 0,1. Ho quindi adattato tutti quei punti dati con il classificatore addestrato e ho trovato punti tali che le probabilità del registro erano comprese tra -0,05 e 0,05

— Kevin Pei,

Risposte:

In generale il classificatore ingenuo di Bayes non è lineare, ma se i fattori di probabilità provengono da famiglie esponenziali , il classificatore ingenuo di Bayes corrisponde a un classificatore lineare in un particolare spazio di caratteristiche. Ecco come vedere questo. $p(x_i \mid c)$

Puoi scrivere qualsiasi classificatore Bayes ingenuo come *

p (c = 1 ∣ x) = σ (\sum_{i} \log \frac{p (x_{i} ∣ c = 1)}{p (x_{i} ∣ c = 0)} + \log \frac{p (c = 1)}{p (c = 0)}),

$p(c = 1 \mid \mathbf{x}) = \sigma\left( \sum_i \log \frac{p(x_i \mid c = 1)}{p(x_i \mid c = 0)} + \log \frac{p(c = 1)}{p(c = 0)} \right),$

dove è la funzione logistica . Se proviene da una famiglia esponenziale, possiamo scriverlo come $\sigma$ $p(x_i \mid c)$

p (x_{i} ∣ c) = h_{i} (x_{i}) \exp (u_{i c}^{⊤} ϕ_{i} (x_{i}) - A_{i} (u_{i c})),

$p(x_i \mid c) = h_i(x_i)\exp\left(\mathbf{u}_{ic}^\top \phi_i(x_i) - A_i(\mathbf{u}_{ic})\right),$

e quindi

p (c = 1 ∣ x) = σ (\sum_{i} w_{i}^{⊤} ϕ_{i} (x_{i}) + b),

$p(c = 1 \mid \mathbf{x}) = \sigma\left( \sum_i \mathbf{w}_i^\top \phi_i(x_i) + b \right),$

dove

\begin{aligned} w_{i} & = u_{i 1} - u_{i 0}, \\ b & = \log \frac{p (c = 1)}{p (c = 0)} - \sum_{i} (A_{i} (u_{i 1}) - A_{i} (u_{i 0})) . \end{aligned}

$\begin{align} \mathbf{w}_i &= \mathbf{u}_{i1} - \mathbf{u}_{i0}, \\ b &= \log \frac{p(c = 1)}{p(c = 0)} - \sum_i \left( A_i(\mathbf{u}_{i1}) - A_i(\mathbf{u}_{i0}) \right). \end{align}$

Si noti che questo è simile alla regressione logistica - un classificatore lineare - nello spazio delle caratteristiche definito da . Per più di due classi, otteniamo analogamente la regressione logistica multinomiale (o softmax) . $\phi_i$

Se è gaussiano, allora e dovremmo avere $p(x_i \mid c)$ $\phi_i(x_i) = (x_i, x_i^2)$

\begin{aligned} w_{i 1} & = σ_{1}^{- 2} μ_{1} - σ_{0}^{- 2} μ_{0}, \\ w_{i 2} & = 2 σ_{0}^{- 2} - 2 σ_{1}^{- 2}, \\ b_{i} & = \log σ_{0} - \log σ_{1}, \end{aligned}

$\begin{align} w_{i1} &= \sigma_1^{-2}\mu_1 - \sigma_0^{-2}\mu_0, \\ w_{i2} &= 2\sigma_0^{-2} - 2\sigma_1^{-2}, \\ b_i &= \log \sigma_0 - \log \sigma_1, \end{align}$

assumendo . $p(c = 1) = p(c = 0) = \frac{1}{2}$

* Ecco come derivare questo risultato:

\begin{aligned} p (c = 1 ∣ x) & = \frac{p (x ∣ c = 1) p (c = 1)}{p (x ∣ c = 1) p (c = 1) + p (x ∣ c = 0) p (c = 0)} \\ = \frac{1}{1 + \frac{p (x ∣ c = 0) p (c = 0)}{p (x ∣ c = 1) p (c = 1)}} \\ = \frac{1}{1 + \exp (- \log \frac{p (x ∣ c = 1) p (c = 1)}{p (x ∣ c = 0) p (c = 0)})} \\ = σ (\sum_{i} \log \frac{p (x_{i} ∣ c = 1)}{p (x_{i} ∣ c = 0)} + \log \frac{p (c = 1)}{p (c = 0)}) \end{aligned}

$\begin{align} p(c = 1 \mid \mathbf{x}) &= \frac{p(\mathbf{x} \mid c = 1) p(c = 1)}{p(\mathbf{x} \mid c = 1) p(c = 1) + p(\mathbf{x} \mid c = 0) p(c = 0)} \\ &= \frac{1}{1 + \frac{p(\mathbf{x} \mid c = 0) p(c = 0)}{p(\mathbf{x} \mid c = 1) p(c = 1)}} \\ &= \frac{1}{1 + \exp\left( -\log\frac{p(\mathbf{x} \mid c = 1) p(c = 1)}{p(\mathbf{x} \mid c = 0) p(c = 0)} \right)} \\ &= \sigma\left( \sum_i \log \frac{p(x_i \mid c = 1)}{p(x_i \mid c = 0)} + \log \frac{p(c = 1)}{p(c = 0)} \right) \end{align}$

— Lucas
fonte

Grazie per la derivazione, che ora capisco, puoi spiegare le notazioni nell'equazione 2 e seguenti? (u, h (x_i), phi (x_i), ecc.) P (x_i | c) in una famiglia esponenziale sta semplicemente prendendo il valore dal pdf?

— Kevin Pei,

Esistono diversi modi in cui puoi esprimere la stessa distribuzione. La seconda equazione è una distribuzione esponenziale della famiglia in forma canonica. Molte distribuzioni sono famiglie esponenziali (gaussiane, Laplace, Dirichlet, Bernoulli, binomiali, solo per citarne alcune), ma la loro funzione densità / massa non è tipicamente data in forma canonica. Quindi devi prima riparametrizzare la distribuzione. Questa tabella spiega come calcolare

(parametri naturali) e

(statistiche sufficienti) per varie distribuzioni: en.wikipedia.org/wiki/Exponential_family#Table_of_distributions

u

$\mathbf{u}$

ϕ

$\phi$

— Lucas

Nota il punto importante che

. Ciò significa che i classificatori lineari sono una combinazione lineare di pesi

funzioni potenzialmente non lineari delle caratteristiche! Quindi, al punto del poster originale, una trama dei punti dati potrebbe non mostrare che sono separabili da una linea.

ϕ (x) = (x, x^{2})

$\phi(x) = (x, x^2)$

w

$\mathbf{w}$

— RMurphy,

Trovo questa risposta fuorviante: come sottolineato nel commento, e la risposta appena sotto, l'ingenua Bayes gaussiana non è lineare nello spazio delle caratteristiche originali, ma in una trasformazione non lineare di questi. Quindi non è un classificatore lineare convenzionale.

— Gael Varoquaux,

perché

è gaussiano, quindi

? Penso che la statistica sufficiente

per la distribuzione gaussiana dovrebbe essere

p (x_{i} | c)

$p(x_i|c)$

ϕ_{i} (x_{i}) = (x_{i}, x_{i}^{2})

$\phi_i(x_i)=(x_i,x_i^2)$

T (x)

$T(x)$

x / σ

$x/\sigma$

— Naomi,

È lineare solo se le matrici di varianza condizionale della classe sono le stesse per entrambe le classi. Per vederlo, annota la razione dei log posteriori e otterrai una funzione lineare solo se le varianze corrispondenti sono uguali. Altrimenti è quadratico.

— AXK
fonte

Vorrei aggiungere un ulteriore punto: la ragione di una parte della confusione sta nel significato della "classificazione Naive Bayes".

Sotto l'ampio argomento di "Gaussian Discriminant Analysis (GDA)" ci sono diverse tecniche: QDA, LDA, GNB e DLDA (DA quadratico, DA lineare, bayes gaussiane naive, LDA diagonale). [AGGIORNATO] LDA e DLDA dovrebbero essere lineari nello spazio dei predittori indicati. (Vedi, ad esempio, Murphy , 4.2, pag. 101 per DA e pag. 82 per NB. Nota: GNB non è necessariamente lineare. NB discreto (che utilizza una distribuzione multinomiale sotto il cofano) è lineare. Puoi anche dare un'occhiata a Duda , Sezione Hart & Stork 2.6). Il QDA è quadratico come hanno indicato altre risposte (e che penso sia ciò che sta accadendo nel tuo grafico - vedi sotto).

$\Sigma_c$

$\Sigma_c$
$\Sigma_c = \Sigma$
$\Sigma_c = {diag}_c$ $\rightarrow$
$\Sigma_c = diag$

Mentre i documenti per e1071 affermano che sta assumendo un'indipendenza condizionata dalla classe (cioè, GNB), sono sospetto che stia effettivamente facendo QDA. Alcune persone confondono "ingenui Bayes" (ipotesi di indipendenza) con "semplice regola di classificazione bayesiana". Tutti i metodi GDA sono derivati da quelli successivi; ma solo GNB e DLDA usano il primo.

Un grande avvertimento, non ho letto il codice sorgente e1071 per confermare cosa sta facendo.

— MrDrFenner
fonte