Gradient Boosting Tree vs Random Forest

Il potenziamento dell'albero a gradiente, come proposto da Friedman, utilizza gli alberi decisionali come apprendenti di base. Mi chiedo se dovremmo rendere l'albero delle decisioni di base il più complesso possibile (completamente sviluppato) o più semplice? C'è qualche spiegazione per la scelta?

Random Forest è un altro metodo di ensemble che utilizza alberi decisionali come apprendenti di base. In base alla mia comprensione, generalmente utilizziamo gli alberi decisionali quasi completamente sviluppati in ogni iterazione. Ho ragione?

$\text{error = bias + variance}$

• Il potenziamento si basa su studenti deboli (bias elevato, bassa varianza). In termini di alberi decisionali, gli studenti deboli sono alberi poco profondi, a volte anche piccoli come ceppi di decisione (alberi con due foglie). Il potenziamento riduce l'errore principalmente riducendo la distorsione (e anche in una certa misura la varianza, aggregando l'output di molti modelli).
• D'altra parte, Random Forest utilizza, come hai detto , alberi decisionali completamente sviluppati (bassa propensione, alta varianza). Affronta il compito di riduzione degli errori nel modo opposto: riducendo la varianza. Gli alberi sono resi non correlati per massimizzare la diminuzione della varianza, ma l'algoritmo non può ridurre la distorsione (che è leggermente superiore alla distorsione di un singolo albero nella foresta). Da qui la necessità di grandi alberi non potati, in modo che il pregiudizio sia inizialmente il più basso possibile.

Si noti che a differenza di Boosting (che è sequenziale), RF fa crescere alberi in parallelo . Il termine iterativeche hai usato è quindi inappropriato.

Questa domanda viene affrontata in questo bellissimo post. Si prega di dare un'occhiata a questo e ai riferimenti in esso. http://fastml.com/what-is-better-gradient-boosted-trees-or-random-forest/

Si noti nell'articolo che parla di calibrazione e si collega a un altro (bel) post sul blog a riguardo. Tuttavia, trovo che il documento Come ottenere le probabilità calibrate dal potenziamento ti dia una migliore comprensione di cosa sia la calibrazione nel contesto dei classificatori potenziati e quali sono i metodi standard per eseguirla.

E infine manca un aspetto (un po 'più teorico). Sia RF che GBM sono metodi ensemble, il che significa che costruisci un classificatore con un gran numero di classificatori più piccoli. Ora la differenza fondamentale sta nel metodo utilizzato:

1. RF utilizza alberi delle decisioni, che sono molto inclini a un eccesso di adattamento. Al fine di ottenere una maggiore precisione, RF decide di crearne un gran numero in base al bagging . L'idea di base è ricampionare ripetutamente i dati e per ogni treno di esempio un nuovo classificatore. Classificatori diversi sovrappongono i dati in un modo diverso e attraverso la votazione di tali differenze viene calcolata la media.
2. GBM è un metodo di potenziamento, che si basa su classificatori deboli . L'idea è di aggiungere un classificatore alla volta, in modo che il classificatore successivo sia addestrato per migliorare l'insieme già addestrato. Notare che per RF ogni iterazione il classificatore viene addestrato indipendentemente dal resto.