Come usare R gbm con distribution = “adaboost”?

9

La documentazione afferma che R gbm con distribution = "adaboost" può essere utilizzato per problemi di classificazione 0-1. Considera il seguente frammento di codice:

gbm_algorithm <- gbm(y ~ ., data = train_dataset, distribution = "adaboost", n.trees = 5000)
gbm_predicted <- predict(gbm_algorithm, test_dataset, n.trees = 5000)

Può essere trovato nella documentazione che predict.gbm

Restituisce un vettore di previsioni. Per impostazione predefinita, le previsioni sono sulla scala di f (x).

Tuttavia, la scala particolare non è chiara per il caso di distribution = "adaboost".

Qualcuno potrebbe aiutare con l'interpretazione dei valori di ritorno di predict.gbm e fornire un'idea di conversione all'output 0-1?

r gbm

— Alexey Lakhno
fonte

Questa domanda sembra essere solo su come interpretare l'output R, e non sui relativi problemi statistici (anche se ciò non lo rende un Q negativo). Come tale, è meglio chiedere, e probabilmente rispondere, su Stack Overflow , piuttosto che qui. Si prega di non effettuare il cross-post (SE lo scoraggia fortemente), se si desidera migrare la Q più velocemente, contrassegnarla per l'attenzione del moderatore.

— gung - Ripristina Monica

4

@gung mi sembra una legittima domanda statistica. Il pacchetto GBM fornisce Deviance usato per adaboost, ma non mi è chiaro nemmeno cosa sia f (x) e come tornare indietro a una scala di probabilità (forse si deve usare il ridimensionamento di Platt). cran.r-project.org/web/packages/gbm/vignettes/gbm.pdf

— B_Miner

11

Il metodo adaboost fornisce le previsioni su scala logit. Puoi convertirlo nell'output 0-1:

gbm_predicted<-plogis(2*gbm_predicted)

notare il 2 * all'interno del logis

— Razgon
fonte

10

È inoltre possibile ottenere direttamente le probabilità dalla predict.gbmfunzione;

predict(gbm_algorithm, test_dataset, n.trees = 5000, type = 'response')

— Edwin
fonte

3

La funzione di collegamento adaboost è descritta qui . Questo esempio fornisce una descrizione dettagliata del calcolo:

library(gbm);
set.seed(123);
n          <- 1000;
sim.df     <- data.frame(x.1 = sample(0:1, n, replace=TRUE), 
                         x.2 = sample(0:1, n,    replace=TRUE));
prob.array <- c(0.9, 0.7, 0.2, 0.8);
df$y       <- rbinom(n, size = 1, prob=prob.array[1+sim.df$x.1+2*sim.df$x.2])
n.trees    <- 10;
shrinkage  <- 0.01;

gbmFit <- gbm(
  formula           = y~.,
  distribution      = "bernoulli",
  data              = sim.df,
  n.trees           = n.trees,
  interaction.depth = 2,
  n.minobsinnode    = 2,
  shrinkage         = shrinkage,
  bag.fraction      = 0.5,
  cv.folds          = 0,
  # verbose         = FALSE
  n.cores           = 1
);

sim.df$logods  <- predict(gbmFit, sim.df, n.trees = n.trees);  #$
sim.df$prob    <- predict(gbmFit, sim.df, n.trees = n.trees, type = 'response');  #$
sim.df$prob.2  <- plogis(predict(gbmFit, sim.df, n.trees = n.trees));  #$
sim.df$logloss <- sim.df$y*log(sim.df$prob) + (1-sim.df$y)*log(1-sim.df$prob);  #$


gbmFit <- gbm(
  formula           = y~.,
  distribution      = "adaboost",
  data              = sim.df,
  n.trees           = n.trees,
  interaction.depth = 2,
  n.minobsinnode    = 2,
  shrinkage         = shrinkage,
  bag.fraction      = 0.5,
  cv.folds          = 0,
  # verbose         = FALSE
  n.cores           = 1
);

sim.df$exp.scale  <- predict(gbmFit, sim.df, n.trees = n.trees);  #$
sim.df$ada.resp   <- predict(gbmFit, sim.df, n.trees = n.trees, type = 'response');  #$
sim.df$ada.resp.2 <- plogis(2*predict(gbmFit, sim.df, n.trees = n.trees));  #$
sim.df$ada.error  <- -exp(-sim.df$y * sim.df$exp.scale);  #$

sim.df[1:20,]

— user43392
fonte

Non riesco a modificare perché cambierò troppo poco. ´df y´.

y ´ s h o u l d b e ´ s i m . d f

$y´ should be ´sim.df$

— Ric