Compresi i termini di interazione nella foresta casuale

Supponiamo di avere una risposta Y e i predittori X1, ...., Xn. Se dovessimo provare ad adattare Y tramite un modello lineare di X1, ...., Xn, ed è successo che la vera relazione tra Y e X1, ..., Xn non fosse lineare, potremmo essere in grado per riparare il modello trasformando le X in qualche modo e poi adattando il modello. Inoltre, se è successo che X1, ..., XN non ha influito su y indipendentemente dalle altre funzionalità, potremmo anche essere in grado di migliorare il modello includendo termini di interazione, x1 * x3 o x1 * x4 * x7 o qualcosa del genere. Quindi, nel caso lineare, i termini di interazione potrebbero apportare valore correggendo le violazioni della non linearità o dell'indipendenza tra la risposta e le caratteristiche.

Tuttavia, le foreste casuali non fanno davvero queste ipotesi. Includere i termini di interazione è importante quando si adatta una foresta casuale? O semplicemente l'inclusione dei singoli termini e la scelta di parametri appropriati consentirà alle foreste casuali di acquisire queste relazioni?

Sebbene l'ingegneria delle caratteristiche sia molto importante nella vita reale, gli alberi (e le foreste casuali) sono molto bravi a trovare termini di interazione del modulo x*y. Ecco un esempio giocattolo di una regressione con un'interazione a due vie. Un ingenuo modello lineare viene confrontato con un albero e un sacco di alberi (che è un'alternativa più semplice a una foresta casuale).

Come puoi vedere, l'albero da solo è abbastanza bravo a trovare l'interazione ma il modello lineare non è buono in questo esempio.

# fake data

x <- rnorm(1000, sd=3)
y <- rnorm(1000, sd=3)
z <- x + y + 10*x*y + rnorm(1000, 0, 0.2)
dat <- data.frame(x, y, z)

# test and train split
test <- sample(1:nrow(dat), 200)
train <- (1:1000)[-test]

# bag of trees model function
boot_tree <- function(formula, dat, N=100){
  models <- list()
  for (i in 1:N){
    models[[i]] <- rpart(formula, dat[sample(nrow(dat), nrow(dat), replace=T), ])
  }
  class(models) <- "boot_tree"
  models
}

# prediction function for bag of trees
predict.boot_tree <- function(models, newdat){
  preds <- matrix(0, nc=length(models), nr=nrow(newdat))
  for (i in 1:length(models)){
    preds[,i] <- predict(models[[i]], newdat)
  }
  apply(preds, 1, function(x) mean(x, trim=0.1))
}

## Fit models and predict:

# linear model
model1 <- lm(z ~ x + y, data=dat[train,])
pred1 <- predict(model1, dat[test,])

# tree
require(rpart)
model2 <- rpart(z ~ x + y, data=dat[train,])
pred2 <- predict(model2, dat[test,])

# bag of trees
model3 <- boot_tree("z ~ x+y", dat)
pred3 <- predict(model3, dat[test,])

ylim = range(c(pred1, pred2, pred3))

# plot predictions and true z

plot(dat$z[test], predict(model1, dat[test,]), pch=19, xlab="Actual z",
ylab="Predicted z", ylim=ylim)
points(dat$z[test], predict(model2, dat[test,]), col="green", pch=19)
points(dat$z[test], predict(model3, dat[test,]), col="blue", pch=19)

abline(0, 1, lwd=3, col="orange")

legend("topleft", pch=rep(19,3), col=c("black", "green", "blue"),
legend=c("Linear", "Tree", "Forest"))