Quando Naive Bayes funziona meglio di SVM?

In un piccolo problema di classificazione del testo che stavo osservando, Naive Bayes ha esibito una prestazione simile o superiore a una SVM ed ero molto confuso.

Mi chiedevo quali fattori decidessero il trionfo di un algoritmo sull'altro. Ci sono situazioni in cui non ha senso usare Naive Bayes su SVM? Qualcuno può far luce su questo?

Non esiste una risposta unica su quale sia il miglior metodo di classificazione per un determinato set di dati . Diversi tipi di classificatori dovrebbero essere sempre considerati per uno studio comparativo su un determinato set di dati. Date le proprietà del set di dati, potresti avere alcuni indizi che potrebbero dare la preferenza ad alcuni metodi. Tuttavia, sarebbe comunque consigliabile sperimentare tutto, se possibile.

Naive Bayes Classifier (NBC) e Support Vector Machine (SVM) hanno diverse opzioni tra cui la scelta della funzione del kernel per ciascuna. Sono entrambi sensibili all'ottimizzazione dei parametri (ovvero la selezione di parametri diversi può modificare in modo significativo il loro output) . Quindi, se si ottiene un risultato che mostra che NBC sta funzionando meglio di SVM. Questo vale solo per i parametri selezionati. Tuttavia, per un'altra selezione di parametri, è possibile che SVM funzioni meglio.

In generale, se l'assunzione di indipendenza nella NBC è soddisfatta dalle variabili del set di dati e il grado di sovrapposizione della classe è piccolo (ovvero il potenziale confine di decisione lineare), la NBC dovrebbe ottenere buoni risultati. Per alcuni set di dati, con l'ottimizzazione mediante la selezione della funzione wrapper, ad esempio, NBC può annullare altri classificatori. Anche se raggiunge prestazioni comparabili, NBC sarà più desiderabile a causa della sua alta velocità.

In sintesi, non dovremmo preferire alcun metodo di classificazione se supera gli altri in un contesto poiché potrebbe fallire gravemente in un altro. ( QUESTO È NORMALE NEI PROBLEMI DI DATA MINING ).