Come fare in modo che gli alberi della foresta casuale votino decimali ma non binari

La mia domanda riguarda la classificazione binaria, diciamo che separa i clienti buoni da quelli cattivi, ma non la regressione o la classificazione non binaria. In questo contesto, una foresta casuale è un insieme di alberi di classificazione. Per ogni osservazione, ogni albero vota un "sì" o "no" e il voto medio di tutti gli alberi è la probabilità finale della foresta.

La mia domanda riguarda la modifica del comportamento degli alberi sottostanti: Come possiamo modificare la funzione randomForest (del pacchetto randomForest di R) in modo che ogni albero voti un decimale anziché un sì / no binario. Per capire meglio cosa intendo per decimale, pensiamo a come funzionano gli alberi delle decisioni.

Un albero decisionale completamente sviluppato ha 1 istanza buona o 1 cattiva nei suoi nodi terminali. Supponiamo che io limiti la dimensione del nodo terminale a 100. Quindi i nodi terminali assomigliano:

Nodo1 = 80 cattivo, 20 buono
Nodo2 = 51 cattivo, 49 buono
Nodo3 = 10 cattivo, 90 buono

Nota, anche se Nodo1 e Nodo2 votano "cattivi", la loro "forza di cattiveria" è molto diversa. Questo è quello che sto cercando. Invece di farli produrre 1 o 0 (che è il comportamento predefinito) si può modificare il pacchetto R in modo che votino 80/100, 51/100, 10/100 ecc?

Questo è un punto sottile che varia da software a software. Esistono due metodi principali di cui sono a conoscenza:

1. Foglie binarie - Ogni foglia vota come maggioranza. Ecco come randomForestfunziona in R, anche quando si utilizzapredict(..., type="prob")
2. Foglie proporzionali - Ogni foglia restituisce la proporzione dei campioni di allenamento appartenenti a ciascuna classe. sklearn.ensemble.RandomForestClassifier.predict_probaFunziona così . In un'altra risposta, @ usεr11852 sottolinea che il rangerpacchetto di R offre anche questa funzionalità. Fortunatamente, posso attestare che dal mio uso limitato, rangerè anche molto, molto più veloce di randomForest.

Non penso che ci sia un modo semplicerandomForest per usare il metodo foglia proporzionale, dal momento che il software R è in realtà solo un gancio in un programma C & FORTRAN. A meno che non ti piaccia modificare il codice di qualcun altro, dovrai scrivere il tuo o trovare un'altra implementazione software.

È perfettamente possibile far crescere una "foresta di probabilità". La metodologia in Malley et al. (2012) " Macchine di probabilità: stima della probabilità coerente usando macchine di apprendimento non parametriche " che delinea come viene fatto e come si confronta con l'implementazione casuale casuale della foresta. Inoltre, l' eccellente pacchetto Ranger R implementa già questa funzionalità; impostato probability = TRUEquando si effettua la chiamata di funzione a ranger.

Basta usare predict.randomForest(..., type="prob"). Stai facendo una buona cosa .