Levigante nel modello Naive Bayes

Un predittore Naive Bayes fa le sue previsioni usando questa formula:

P (Y = y | X = X) = α P (Y = y) \underset{io}{Π} P (X_{io} = X_{io} | Y = y)

$P(Y=y|X=x) = \alpha P(Y=y)\prod_i P(X_i=x_i|Y=y)$

dove è un fattore normalizzante. Ciò richiede la stima dei parametri dai dati. Se lo facciamo con smoothing, otteniamo la stima $\alpha$ $P(X_i=x_i|Y=y)$ $k$

\hat{P} (X_{io} = X_{io} | Y = y) = \frac{# {X_{io} = X_{io}, Y = y} + K}{# {Y = y} + n_{io} K}

$\hat{P}(X_i=x_i|Y=y) = \frac{\#\{X_i=x_i,Y=y\} + k}{\#\{Y=y\}+n_ik}$

dove ci sono possibili valori per . Sto bene con questo. Tuttavia, per il precedente, abbiamo $n_i$ $X_i$

\hat{P} (Y = y) = \frac{# {Y = y}}{N}

$\hat{P}(Y=y) = \frac{\#\{Y=y\}}{N}$

dove ci sono esempi nel set di dati. Perché non levigiamo anche il precedente? O meglio, cosa si liscia il preventivo? In tal caso, quale parametro di smoothing scegliamo? Sembra anche leggermente sciocco scegliere anche , poiché stiamo facendo un calcolo diverso. C'è un consenso? O non importa troppo? $N$ $k$

machine-learning probability-theory statistics

— Chris Taylor
fonte

Il motivo tipico del livellamento è innanzitutto gestire i casi in cui . Se ciò non avvenisse, otterremmo sempre ogni volta che questo è il caso. $\#\{X_i = x_i | Y = y\} = 0$ $P(Y=y|X=x) = 0$

Ciò accade quando, ad esempio, classificando i documenti di testo si incontra una parola che non era nei dati di allenamento o che non compare in una determinata classe.

D'altra parte, nel caso della probabilità precedente della classe, , questa situazione non dovrebbe verificarsi. In caso contrario, ciò significherebbe che si sta tentando di assegnare oggetti a classi che non sono nemmeno state visualizzate nei dati di allenamento. $P(Y = y)$

Inoltre, non ho mai incontrato il termine smoothing. Il livellamento di Laplace o additivo è molto più comune. $k$

— contralto
fonte

Il motivo del livellamento in generale è di evitare un eccesso di adattamento dei dati. Il caso in cui il conteggio di una classe è zero è solo un caso particolare di overfit (che risulta essere particolarmente negativo). Potresti comunque voler smussare le probabilità quando si osserva ogni classe. Suppongo di essere infastidito dall'apparente asimmetria: il livellamento di Laplace corrisponde all'ipotesi che nel tuo set di dati siano presenti ulteriori osservazioni. Perché dovresti ignorare quelle osservazioni quando si adatta il precedente?

— Chris Taylor,

P (Y = y)

$P(Y = y)$

P (X_{i} = x_{i} | Y = y)

$P(X_i = x_i | Y = y)$

"questa situazione non dovrebbe verificarsi. Se lo facesse, ciò significherebbe che stai tentando di assegnare oggetti a classi che non sono nemmeno apparse nei dati di addestramento". Uhh ... come potrebbe un classificatore assegnare un oggetto a una classe che non aveva mai visto prima (cioè, non è nei dati di addestramento)?

— Jemenake,

@Jemenake Il problema viene normalmente definito apprendimento Zero-shot, ad esempio vedi Apprendimento Zero-Shot con codici di uscita semantici

— alto

quando formiamo il modello utilizzando il set di dati di training, potremmo creare un vocabolario usando le parole presenti nel set di dati di training, quindi perché non rimuovere semplicemente nuove parole non nel vocabolario quando si fanno previsioni sul set di test?

— avocado,