Se consideriamo un albero decisionale completamente sviluppato (ovvero un albero decisionale non potato) ha una varianza elevata e una propensione bassa.
Le foreste insaccanti e casuali utilizzano questi modelli ad alta varianza e li aggregano al fine di ridurre la varianza e quindi migliorare l'accuratezza delle previsioni. Entrambe le foreste insaccanti e casuali utilizzano il campionamento Bootstrap e, come descritto in "Elementi di apprendimento statistico", ciò aumenta la distorsione nel singolo albero.
Inoltre, poiché il metodo Random Forest limita le variabili consentite su cui dividere in ciascun nodo, l'inclinazione per un singolo albero forestale casuale viene ulteriormente aumentata.
Pertanto, l'accuratezza della previsione viene aumentata solo se l'aumento della distorsione dei singoli alberi nelle foreste insaccanti e casuali non "sovrasta" la riduzione della varianza.
Questo mi porta alle due seguenti domande: 1) So che con il campionamento bootstrap avremo (quasi sempre) alcune delle stesse osservazioni nell'esempio bootstrap. Ma perché questo porta ad un aumento della distorsione dei singoli alberi nelle foreste insaccanti / casuali? 2) Inoltre, perché il limite delle variabili disponibili su cui dividere in ciascuna divisione porta a una maggiore distorsione nei singoli alberi nelle foreste casuali?