Classificatori di machine learning big-O o complessità

Per valutare le prestazioni di un nuovo algoritmo di classificazione, sto cercando di confrontare l'accuratezza e la complessità (big-O in formazione e classificazione). Dall'apprendimento automatico: una recensione ottengo un elenco completo dei classificatori supervisionati, anche una tabella di precisione tra gli algoritmi e 44 problemi di test dal deposito di dati UCI . Tuttavia, non riesco a trovare una recensione, un documento o un sito Web con il big-O per classificatori comuni come:

C4.5
RIPPER (Penso che questo potrebbe non essere possibile, ma chi lo sa)
ANN con Propagazione Posteriore
Bayesian ingenuo
K-NN
SVM

Se qualcuno ha qualche espressione per questi classificatori, sarà molto utile, grazie.

— Dinl
fonte

Potresti essere interessato al seguente articolo: thekerneltrip.com/machine/learning/… Disclaimer completo, è il mio blog :)

— RUser4512

Vuoi rintracciare le posizioni in cui puntavano ora i dead link della domanda?

— opaco

@ RUser4512 deliberazione davvero eccezionale sul blog! hai pensato di aggiungere anche la complessità dello spazio?

— opaco

@matt Grazie :) sì, ma probabilmente in un altro articolo, ci sono anche molte cose da dire su questo!

— RUser4512,

Sia = numero di esempi di addestramento, = dimensionalità delle caratteristiche e = numero di classi. $N$ $d$ $c$

Quindi la formazione ha complessità:

Naive Bayes è , tutto ciò che deve fare è calcolare la frequenza di ogni valore di caratteristica per ogni classe. $O(Nd)$ $d_i$
-NN è in (alcune persone sostengono addirittura che sia inesistente, ma la complessità spaziale dell'allenamento è poiché è necessario memorizzare i dati che richiedono anche tempo). $k$ $\mathcal{O}(1)$ $\mathcal{O}(Nd)$
SVM non lineare non approssimativo è o seconda del kernel. Puoi ottenere una fino a con alcuni trucchi. $O(N^2)$ $O(N^3)$ $O(N^3)$ $O(N^{2.3})$
SVM approssimativo è dove R è il numero di iterazioni. $O(NR)$

Complessità dei test:

Naive Bayes si trova in poiché è necessario recuperare i valori di funzione per ciascuna delle classi . $\mathcal{O}(cd)$ $d$ $c$
-NN è in poiché è necessario confrontare il punto di prova con ogni punto di dati nel database. $k$ $\mathcal{O}(Nd)$

Fonte: "Macchine vettoriali di base: formazione SVM rapida su set di dati molto grandi" - http://machinelearning.wustl.edu/mlpapers/paper_files/TsangKC05.pdf

Mi dispiace non so degli altri.

— samthebest
fonte

O (n^{2})

$O(n^2)$

O (n^{3})

$O(n^3)$

@MarcClaesen Il collegamento non funziona più e non si trova sulla macchina del ritorno. È lo stesso documento: leon.bottou.org/publications/pdf/lin-2006.pdf ?

— parole per il