Come funziona Naive Bayes con variabili continue?

Per la mia (molto basilare) comprensione, Naive Bayes stima le probabilità in base alle frequenze di classe di ciascuna caratteristica nei dati di addestramento. Ma come calcola la frequenza delle variabili continue? E quando si effettua la previsione, come classifica una nuova osservazione che potrebbe non avere gli stessi valori di qualsiasi osservazione nel set di addestramento? Usa una sorta di misura della distanza o trova 1NN?

Esistono molti modi per eseguire la classificazione ingenua di Bayes (NBC). Una tecnica comune in NBC è ricodificare i valori delle caratteristiche (variabili) in quartili, in modo tale che ai valori inferiori al 25 ° percentile sia assegnato 1, 25 ° al 50 ° a 2, dal 50 ° al 75 ° a 3 e maggiore del 75 ° percentile a 4. Pertanto un singolo oggetto depositerà un conteggio nel cestino Q1, Q2, Q3 o Q4. I calcoli vengono semplicemente eseguiti su questi contenitori categorici. I conteggi dei contenitori (probabilità) si basano quindi sul numero di campioni i cui valori variabili rientrano in un dato contenitore. Ad esempio, se un insieme di oggetti ha valori molto alti per la funzione X1, ciò comporterà un numero elevato di conteggi nel cestino per Q4 di X1. D'altra parte, se un altro set di oggetti ha valori bassi per la funzione X1, tali oggetti depositeranno molti conteggi nel cestino per Q1 della funzione X1.

In realtà non è un calcolo davvero intelligente, è piuttosto un modo di discretizzare i valori continui su discreti e lo sfruttamento da allora in poi. L'indice Gini e il guadagno delle informazioni possono essere facilmente calcolati dopo la discretizzazione per determinare quali funzioni sono le più informative, ovvero max (Gini).

Tieni presente, tuttavia, che ci sono molti modi per eseguire la NBC e molti sono abbastanza diversi l'uno dall'altro. Quindi devi solo dichiarare quale hai implementato in un discorso o in un documento.

Il cuore di Naive Bayes è l'eroico presupposto condizionale:

$x$$C$$p(x \mid C = i) = \phi(\mu_i, \sigma^2_i)$

Esistono diversi modi per stimare i parametri, ma in genere si potrebbe:

• Utilizzare la massima probabilità con i dati etichettati. (Nel caso della distribuzione normale, le stime di massima verosimiglianza della media e della varianza sono sostanzialmente la media del campione e la varianza del campione.)
• Qualcosa come l'algoritmo EM con dati senza etichetta.