Sono disponibili librerie per metodi simili a CART che utilizzano predittori e risposte sparse?

Sto lavorando con alcuni grandi set di dati usando il pacchetto gbm in R. Sia la mia matrice predittore che il mio vettore di risposta sono piuttosto scarsi (cioè la maggior parte delle voci sono zero). Speravo di costruire alberi decisionali usando un algoritmo che sfrutti questa scarsità, come è stato fatto qui ). In quel documento, come nella mia situazione, la maggior parte degli articoli ha solo alcune delle molte funzionalità possibili, quindi sono stati in grado di evitare molti calcoli sprecati supponendo che ai loro articoli mancasse una determinata funzionalità a meno che i dati non dicessero esplicitamente diversamente. La mia speranza è che potrei ottenere una velocità simile usando questo tipo di algoritmo (e quindi avvolgendolo attorno ad un algoritmo di potenziamento per migliorare la mia precisione predittiva).

Dato che non sembravano pubblicare il loro codice, mi chiedevo se ci fossero pacchetti o librerie open-source (in qualsiasi lingua) ottimizzati per questo caso. Idealmente, vorrei qualcosa che potesse prendere una matrice sparsa direttamente dal Matrixpacchetto di R , ma prenderò quello che posso ottenere.

Mi sono guardato intorno e sembra che questo genere di cose dovrebbe essere là fuori:

• I chimici sembrano imbattersi molto in questo problema (il documento che ho collegato sopra riguardava l'apprendimento di trovare nuovi composti farmacologici), ma le implementazioni che ho potuto trovare erano di proprietà o altamente specializzate per l'analisi chimica. È possibile però che uno di essi possa essere riutilizzato.

• Anche la classificazione dei documenti sembra essere un'area in cui è utile l'apprendimento da spazi di funzioni sparse (la maggior parte dei documenti non contiene la maggior parte delle parole). Ad esempio, c'è un riferimento obliquo a un'implementazione sparsa di C4.5 (un algoritmo simile a CART) in questo documento , ma nessun codice.

• Secondo la mailing list , WEKA può accettare dati scarsi, ma a differenza del metodo nel documento che ho linkato sopra, WEKA non è ottimizzata per trarne vantaggio in termini di sprecare cicli di CPU.

Grazie in anticipo!

Mi piacerebbe vedere un punto di riferimento della loro scarsa implementazione rispetto alle moderne implementazioni CART utilizzate in RF. Quel documento è piuttosto vecchio in termini di progressi in questo settore e sarei sorpreso se fornisse comunque una notevole accelerazione.

Parte del motivo è che l'uso di un algoritmo di ordinamento intelligente come Quicksort nella ricerca suddivisa può fornire prestazioni quasi O (n) per funzionalità quasi costanti (comprese quelle sparse). Le implementazioni veloci tracciano anche quando una funzione è diventata costante all'interno di un ramo di un albero e non dovrebbe più essere esaminata. Le rappresentazioni di funzionalità dense forniscono ricerche rapide in un modo compatibile con la cache della CPU, quindi avrai bisogno di una rappresentazione sparsa davvero intelligente per vincere nei cicli della CPU.

Questo è discusso qui , qui , qui .

In realtà ho implementato una rappresentazione sparsa dei dati dei dati ad un certo punto nel mio pacchetto RF CloudForest, ma l'ho trovato più lento di una rappresentazione densa dei dati e li ho abbandonati sebbene fornisse alcuni vantaggi di memoria.

La mia raccomandazione sarebbe quella di provare Scikit Learn o Cloudforest per potenziare le cose e vedere se è abbastanza veloce. Entrambi possono essere estesi con criteri di potenziamento personalizzati se si desidera fare qualcosa di non standard. (In realtà ho scritto cloudforest originariamente per lavorare con grandi set di dati genetici altamente dimensionali che sono molto simili a quello che stai descrivendo).

Probabilmente c'è una piccola possibilità per qualsiasi codice che ne trarrebbe vantaggio - dovresti piuttosto scrivere qualcosa da solo.
Tuttavia, l'altra opzione è trasformare i dati per ridurre le dimensioni dei dati rimuovendo le informazioni ridondanti. È difficile dire come senza le informazioni sui tuoi dati, ma forse puoi unire alcune funzionalità che sai non si sovrappongono, parti di PCA o cambiare la rappresentazione di alcuni descrittori? Inoltre, se dici che anche la tua risposta è scarsa, forse è ragionevole sottocampionare gli oggetti con 0 in risposta?

Hai guardato il caretpacchetto in R? Fornisce un'interfaccia che semplifica l'uso di una varietà di modelli, inclusi alcuni per il partizionamento ricorsivo come rpart, ctreee ctree2.