La foresta casuale non può esagerare?

Ho letto della letteratura che le foreste casuali non possono esagerare. Anche se questo suona alla grande, sembra troppo bello per essere vero. È possibile che RF si adatti troppo?

random-forest overfitting

— screechOwl
fonte

Se può adattarsi, può adattarsi troppo. In termini di RF, pensa a cosa succede se la tua foresta non contiene abbastanza alberi (supponiamo che la tua foresta sia un singolo albero per rendere evidente l'effetto). Ci sono più problemi di questo, ma questo è il più ovvio.

— Marc Claesen,

Ho appena risposto a un altro thread su RF che potrebbe facilmente adattarsi se il numero di predittori è grande.

— horaceT

La foresta casuale può esagerare. Ne sono sicuro. Di solito si intende che il modello non si adatta eccessivamente se si utilizzano più alberi.

Prova ad esempio a stimare il modello con una foresta casuale. Si otterrà un errore di allenamento quasi zero ma un errore di previsione errato $y = log(x) + \epsilon$

— Donbeo
fonte

La foresta casuale riduce principalmente la varianza, come può adattarsi? @Donbeo potrebbe essere forse perché, i modelli dell'albero decisionale non funzionano bene in termini di estrapolazione. Diciamo, per anomalia variabile predittore, DT potrebbe dare una cattiva previsione.

— Itachi,

Una chiara indicazione di un eccesso di adattamento è che la varianza residua è ridotta troppo. Cosa stai quindi cercando di implicare con la tua prima osservazione?

— whuber

Nel trade-biance variance, quando proviamo a ridurre il bias, compensiamo la varianza. Tale che, se x = 80 dà y = 100, ma x = 81 dà y = -100. Questo sarebbe troppo adatto . Non è Ovefitting simile per avere una varianza elevata. @whuber ho pensato che ovefitting fosse dovuto solo alla grande varianza. Non capisco come la riduzione della varianza residua si traduca in un eccesso di adattamento. Potete per favore condividere un po 'di carta per me da leggere.

— Itachi,

Questo non richiede alcun documento! Puoi provarlo tu stesso. Prendi un piccolo set di dati semplice bivariato, come e qualsiasi raccolta di corrispondenti desideri produrre. Usando i minimi quadrati (perché questo mira a ridurre la varianza dei residui), adatta la serie di modelli per . Ogni passo ridurrà la varianza fino all'ultimo passo la varianza sarà zero. Ad un certo punto, quasi tutti saranno d'accordo, i modelli hanno iniziato a sovrautilizzare i dati.

x_{i} = 1, 2, \dots, 10

$x_i=1,2,\ldots,10$

y_{i}

$y_i$

y = β_{0} + β_{1} x + β_{2} x^{2} + \dots + β_{k} x^{k}

$y=\beta_0+\beta_1 x+\beta_2 x^2 + \cdots + \beta_k x^k$

k = 0, 1, \dots, 9

$k=0, 1, \ldots, 9$

— whuber

@whuber Penso che manchi il punto su cosa sia la "riduzione della varianza". La foresta casuale (e l'insaccamento in generale) non riducono la varianza dei residui, ma la varianza delle previsioni. Quindi, nel tuo esempio, ad ogni passaggio che parli di AUMENTA la varianza :)

— Davide ND,