Campionamento MCMC dello spazio dell'albero decisionale rispetto alla foresta casuale

Una foresta casuale è una raccolta di alberi decisionali formata selezionando casualmente solo alcune funzionalità con cui costruire ciascun albero (e talvolta inserendo i dati di addestramento). Apparentemente imparano e generalizzano bene. Qualcuno ha fatto il campionamento MCMC dello spazio dell'albero decisionale o li ha confrontati con foreste casuali? So che potrebbe essere più costoso dal punto di vista computazionale eseguire l'MCMC e salvare tutti gli alberi campionati, ma sono interessato alle caratteristiche teoriche di questo modello, non ai costi di calcolo. Quello che voglio dire è qualcosa del genere:

1. Costruisci un albero decisionale casuale (probabilmente funzionerebbe in modo orribile)
2. Calcola la probabilità dell'albero con qualcosa come , o forse aggiungi un termine .$P(Tree|Data) \propto P(Data|Tree)$$P_{prior}(Tree)$
3. Scegli un passaggio casuale per cambiare l'albero e selezionalo in base alla probabilità .$P(Tree|Data)$
4. Ogni N passaggi, salva una copia dell'albero corrente
5. Torna a 3 per alcune grandi N * M volte
6. Usa la raccolta di M alberi salvati per fare previsioni

Ciò darebbe una prestazione simile alle foreste casuali? Si noti che qui non stiamo eliminando dati o funzionalità validi in nessun passaggio, a differenza delle foreste casuali.

Ciò è stato fatto circa 13 anni fa da Chapman, George e McCulloch (1998, JASA) . Naturalmente c'è stata un'enorme letteratura sugli alberi di regressione bayesiana che è nata da questa idea.

Sfortunatamente, Chipman et al. nel loro approccio CART bayesiano estrarre solo l'albero più probabile. Non hanno mai provato a fare una media degli alberi e confrontare le prestazioni con Random Forest e Extra-Trees.

Ho appena letto il documento BART di Chipman. Se ho capito bene, si tratta di una media bayesiana di campioni K su una raccolta di alberi m. È interessante in molti modi e sembra funzionare davvero bene. Quando m = '1', è una semplice media bayesiana di K campioni di 1 albero, proveniente dal posteriore. Tuttavia, non sono stati fatti molti test su quel particolare aspetto. E sarei ancora interessato a sapere come si confronta Foresta casuale o Alberi extra con il vero modello Bayes.