Implementazioni ottimizzate dell'algoritmo Random Forest

Ho notato che ci sono alcune implementazioni di foreste casuali come ALGLIB, Waffles e alcuni pacchetti R come randomForest. Qualcuno può dirmi se queste librerie sono altamente ottimizzate? Sono sostanzialmente equivalenti alle foreste casuali descritte in dettaglio in The Elements of Statistical Learning o sono stati aggiunti molti trucchi extra?

Spero che questa domanda sia abbastanza specifica. Come illustrazione del tipo di risposta che sto cercando, se qualcuno mi chiedesse se il pacchetto di algebra lineare BLAS fosse altamente ottimizzato, direi che era estremamente ottimizzato e per lo più non vale la pena cercare di migliorare se non in applicazioni molto specializzate.

(Aggiornato il 6 IX 2015 con suggerimenti dai commenti, anche in CW)

Ci sono due nuovi, simpatici pacchetti disponibili per R che sono abbastanza ben ottimizzati per determinate condizioni:

• Ranger - C ++, pacchetto R, ottimizzato per problemi, parallele, trattamento speciale di dati GWAS.$p>>n$
• Arborist - C ++, Python e R attacchi, ottimizzati per RILEVANTI problemi, a quanto pare i piani per GPGPU.$n$

Altre implementazioni RF:

• The Original One : codice Fortran autonomo, non parallelo, piuttosto difficile da usare.
• randomForest - pacchetto C, R, probabilmente il più popolare, non parallelo, in realtà abbastanza veloce rispetto a una velocità single-core, specialmente per i piccoli dati.
• randomForestSRC - Pacchetto C, R, clone di randomForest che supporta l'elaborazione parallela e problemi di sopravvivenza.
• party - pacchetto C, R, abbastanza lento, ma progettato come un piano per sperimentare la RF.
• bigrf - pacchetto C + / R, R, creato per funzionare sui big data all'interno del framework bigmemory ; abbastanza lontano dall'essere completo.
• scikit learn Ensemble forest - Python, parte del framework scikit-learn, parallelo, implementa molte varianti di RF.
• milk 's RF - Python, parte del framework del latte.
• Waffles - C ++, parte di un kit di strumenti ML più grande, parallelo e abbastanza veloce.
• cosiddetto WEKA rf - Java / WEKA, parallelo.
• ALGLIB
• Jungle casuale - abbandonata?
• rt-rank - abbandonato?
• PARF - abbandonato?

La carta Ranger presenta alcuni confronti di velocità / memoria, ma non esiste un benchmark accurato.

Per quanto ne so, la versione R di randomForest chiama lo stesso codice Fortran della versione originale. Inoltre, è banale parallelizzare la funzione randomForest. In realtà è uno degli esempi forniti nella documentazione di foreach .

library(foreach)
library(randomForest)
rf <- foreach(ntree = rep(250, 4), .combine = combine, .packages = "randomForest") %dopar% 
randomForest(x, y, ntree = ntree)

Dato che le foreste casuali sono imbarazzantemente parallele, la più grande ottimizzazione che puoi fare è eseguirle in parallelo. Dopodiché, non credo ci siano altri frutti a basso potenziale nell'algoritmo, ma potrei sbagliarmi.

L'unico problema è che si perde la stima dell'errore out-of-bag nella foresta combinata, ma probabilmente c'è un modo semplice per calcolarlo (mi piacerebbe davvero scoprire come farlo).

L' ELSII usava randomForest (vedi ad esempio nota 3 p.591), che è un'implementazione R del codice Breiman e Cutler's Fortran di Salford. Il codice di Andy Liaw è in C.

C'è un'altra implementazione di RF proposta nel pacchetto party (in C), che si basa su R / Lapack, che ha alcune dipendenze da BLAS (vedi /include/R_ext/Lapack.hnella tua directory R di base).

Per quanto riguarda il bagging, non dovrebbe essere troppo difficile parallelizzarlo, ma permetterò agli utenti più specializzati di rispondere su questo aspetto.

Il team dietro randomJungle afferma che è un ordine di grandezza più veloce dell'implementazione di R randomForest e usa un ordine di grandezza in meno di memoria. Un pacchetto per randomJungle è in fase di sviluppo per R ma non riesco ancora a costruire.

https://r-forge.r-project.org/projects/rjungler/

Per l' implementazione di Javascript passare attraverso questa demo.

Se sei come un bambino che ha fame di cioccolato, ecco il tuo cioccolato di foresta casuale http://cs.stanford.edu/people/karpathy/svmjs/demo/demoforest.html