Adaboost è un metodo di ensemble che combina molti studenti deboli per formare uno forte. Tutti gli esempi di adaboost che ho letto usano tronchi / alberi decisionali come discenti deboli. Posso usare diversi studenti deboli in adaboost? Ad esempio, come implementare adaboost (generalmente potenziando) per potenziare un modello di regressione logistica?
Una delle principali differenze tra gli alberi di classificazione e la regressione logistica è che le precedenti classi di output (-1,1) mentre la regressione logistica produce probi. Un'idea è quella di scegliere la migliore funzione X da una serie di funzionalità e raccogliere una soglia (0,5?) Per convertire i probi in classi e quindi utilizzare una regressione logistica ponderata per trovare la funzione successiva ecc.
Ma immagino che esista un algoritmo generale per stimolare diversi discenti deboli diversi dai ceppi di decisione che generano probabilità. Credevo che Logitboost fosse la risposta alla mia domanda, ma ho provato a leggere il documento "Additive Logistic Regression" e mi sono bloccato nel mezzo.