Non sono un esperto di foreste casuali ma capisco chiaramente che il problema chiave con la foresta casuale è la generazione di alberi (casuali). Puoi spiegarmi come vengono generati gli alberi? (ovvero qual è la distribuzione utilizzata per la generazione di alberi?)
Grazie in anticipo !
Risposte:
Le implementazioni di RF differiscono leggermente. So che l' implementazione proprietaria di Salford Systems dovrebbe essere migliore di quella vaniglia in R. Una descrizione dell'algoritmo è in ESL di Friedman-Hastie-Tibshirani, 2a edizione, 3a stampa . Un intero capitolo (15 °) è dedicato alla RF e lo trovo in realtà più chiaro del documento originale. L'algoritmo di costruzione dell'albero è dettagliato a p.588; non è necessario che io lo riproduca qui, poiché il libro è disponibile online.
L'idea principale è la procedura di insacco, che non rende gli alberi casuali. Nel dettaglio, ogni albero è costruito su un campione di oggetti disegnati con la sostituzione dal set originale; quindi ogni albero ha alcuni oggetti che non ha visto, che è ciò che rende l'insieme più eterogeneo e quindi migliore nel generalizzare.
Inoltre, gli alberi vengono indeboliti in modo tale che su ciascuna divisione mtryvengano considerati solo M (o ) attributi selezionati casualmente; M è di solito una radice quadrata del numero di attributi nell'insieme. Ciò garantisce che gli alberi vengano ingrassati di meno, poiché non vengono potati. Puoi trovare maggiori dettagli qui .
D'altra parte, esiste una variante di RF chiamata Extreme Random Forest, in cui gli alberi sono realizzati in modo casuale (non c'è ottimizzazione delle suddivisioni) - consultare, penso che questo riferimento .