Quali classificatori di machine learning sono i più parallelizzabili?

Quali classificatori di machine learning sono i più parallelizzabili? Se avessi un problema di classificazione difficile, tempo limitato, ma una discreta LAN di computer con cui lavorare, quali classificatori proveresti?

Per contro mi sembra che alcuni classificatori standard che conosco impilino come segue ma potrei sbagliarmi totalmente:

Foreste casuali: molto parallelizzabili purché ogni macchina possa contenere tutti i dati (cioè non può dividere i dati di addestramento in sé, ma altrimenti parallelizzabili).

Promuovere -?

Support Vector Machine - Non molto parallelizzabile.

Alberi decisionali: possono essere suddivisi in parte, ma non in modo molto efficiente.

Sono stati compiuti sforzi per parallelizzare la maggior parte dei noti classificatori, tra cui il potenziamento di [ un documento ], SVM [ un documento ] e persino alberi delle decisioni [ un documento ]. Naturalmente, ammettendo il parallelismo, a volte perdi altri aspetti, che si tratti di implementabilità dell'algoritmo, complessità del campione o altri soliti sospetti.

Dalla fine della teoria, la domanda è più difficile perché quando parli di apprendimento devi pensare alla funzione target. Ad esempio, non sappiamo nemmeno che gli alberi decisionali siano apprendibili dal PAC, quindi se il target (così come il metodo) è un albero decisionale, non possiamo nemmeno impararlo (ancora) senza introdurre ulteriori sfaccettature nel problema. Il potenziamento aggira questo presupponendo una condizione di apprendimento debole, SVM un margine, ecc. Penso che quei presupposti vengano trasferiti al caso parallelo per darti l'apprendimento PAC.

Ma come sempre, c'è un grande divario tra le frontiere (e quindi le preoccupazioni) della teoria e della pratica. Ad esempio, in pratica, importa se il parallelismo è su core o cluster. Un algoritmo sviluppato appositamente per l'uso pratico nelle impostazioni di dati di grandi dimensioni è VW , e sta iniziando a supportare il parallelismo. Potresti essere interessato ai lavori del seminario NIPS 2010 sull'apprendimento parallelo pratico.