L'aumento del gradiente è appropriato per i dati con tassi di eventi bassi come l'1%?

Sto provando a incrementare il gradiente su un set di dati con un tasso di eventi di circa l'1% utilizzando Enterprise miner, ma non riesce a produrre alcun output. La mia domanda è, dato che si tratta di un approccio basato sull'albero decisionale, è anche giusto usare il boost gradiente con un evento così basso?

(Per dare una breve risposta a questo :)

Va bene usare un algoritmo di macchina per incrementare il gradiente quando si ha a che fare con un set di dati sbilanciato. Quando si ha a che fare con un set di dati fortemente sbilanciato, è molto più importante mettere in discussione l'idoneità della metrica utilizzata. Dovremmo potenzialmente evitare metriche, come Precisione o Richiamo, basate su soglie arbitrarie e optare per metriche, come il punteggio AUCPR o Brier, che forniscano un quadro più accurato - vedere l'eccellente thread CV.SE su: Perché l'accuratezza non è la misura migliore per valutare i modelli di classificazione? per più). Allo stesso modo, si potrebbe potenzialmente assumere un approccio costo-sensibili assegnando diversi costi di errata classificazione (ad esempio si veda Masnadi-Shirazi & Vasconcelos (2011) Aumentare sensibili ai costiper una visione generale e proposte di modifiche agli algoritmi di potenziamento noti o per un'applicazione particolarmente interessante con un approccio più semplice, consultare il rapporto sulle sfide di Higgs Boson per l'algoritmo XGBoost; Chen & He (2015) Higgs Boson Discovery with Boosted Trees fornisce maggiori dettagli).

Vale anche la pena notare che se impieghiamo un classificatore probabilistico (come GBM) possiamo / dovremmo esaminare attivamente la calibrazione delle probabilità restituite (ad es. Vedi Zadrozny & Elkan (2002) Trasformare i punteggi dei classificatori in accurate stime di probabilità multiclasse o Kull et al. ( 2017) Calibrazione beta: un miglioramento fondato e facilmente implementato sulla calibrazione logistica per classificatori binari ) per migliorare potenzialmente le prestazioni del nostro studente. Soprattutto quando si lavora con dati sbilanciati per catturare adeguatamente i cambiamenti di tendenza potrebbe essere più informativo della semplice etichettatura dei dati. In tal senso, alcuni potrebbero sostenere che gli approcci sensibili ai costi non sono poi così vantaggiosi alla fine (ad esempio, vedere Nikolaou et al. (2016)Algoritmi di boosting sensibili ai costi: ne abbiamo davvero bisogno? ). Per ribadire il punto originale, tuttavia, gli algoritmi di potenziamento non sono intrinsecamente dannosi per i dati sbilanciati e in alcuni casi possono offrire un'opzione molto competitiva.