Esiste un'implementazione di Random Forest che funziona bene con dati molto sparsi?

Esiste un'implementazione della foresta casuale R che funziona bene con dati molto sparsi? Ho migliaia o milioni di variabili di input booleane, ma solo centinaia o giù di lì saranno VERE per ogni dato esempio.

Sono relativamente nuovo su R e ho notato che esiste un pacchetto "Matrix" per gestire dati sparsi, ma il pacchetto standard "randomForest" non sembra riconoscere questo tipo di dati. Se è importante, i dati di input verranno prodotti al di fuori di R e importati.

Qualche consiglio? Posso anche esaminare l'utilizzo di Weka, Mahout o altri pacchetti.

No, non esiste un'implementazione RF per dati sparsi in R. Parzialmente perché RF non si adatta molto bene a questo tipo di problema: l'inserimento di tag e la selezione non ottimale delle suddivisioni possono sprecare la maggior parte delle informazioni del modello su aree a zero zero.

Prova un metodo del kernel o pensa meglio a convertire i tuoi dati in una rappresentazione più rigida con alcuni descrittori (o usa un metodo di riduzione della dimensionalità).

In realtà, sì , c'è .

È xgboost, che è fatto per aumentare il gradiente eXtreme. Questo è attualmente il pacchetto di scelta per l'esecuzione di modelli con matrici sparse in R per molte persone, e come spiega il link sopra, puoi usarlo per Random Forest modificando i parametri !

Il pacchetto R "Ranger" dovrebbe fare.

https://cran.r-project.org/web/packages/ranger/ranger.pdf

Una rapida implementazione di foreste casuali, particolarmente adatta per dati ad alta dimensione.

Rispetto a randomForest, questo pacchetto è probabilmente l'implementazione RF più veloce che abbia mai visto. Tratta le variabili categoriali in modo nativo.

C'è un blog chiamato Quick-R che dovrebbe aiutarti con le basi di R.

R funziona con i pacchetti. Ogni pacchetto può fare qualcosa di diverso. C'è questo pacchetto chiamato "randomForests" che dovrebbe essere proprio quello che stai chiedendo.

Tieni presente che i dati sparsi genereranno problemi indipendentemente dal metodo applicato. Per quanto ne so, è un problema molto aperto e il data mining in generale è più un'arte che una scienza. Le foreste casuali fanno molto bene nel complesso ma non sono sempre il metodo migliore. Potresti provare una rete neurale con molti livelli, che potrebbe aiutare.