Per aumentare gli algoritmi, direi che si sono evoluti abbastanza bene. All'inizio del 1995 fu introdotto AdaBoost, poi dopo qualche tempo fu Gradient Boosting Machine (GBM). Di recente, intorno al 2015 è stato introdotto XGBoost, che è accurato, gestisce il sovradimensionamento ed è diventato un vincitore di più competizioni Kaggle. Nel 2017 LightGBM è stato introdotto da Microsoft, offre un tempo di allenamento significativamente inferiore rispetto a XGBoost. Inoltre, CatBoost è stato introdotto da Yandex per la gestione di caratteristiche categoriche.
Random Forest è stata introdotta all'inizio degli anni 2000, ma ci sono stati degni successori? Penso che se esistesse un algoritmo di insaccamento migliore di Random Forest (che può essere facilmente applicato in pratica) avrebbe attirato l'attenzione in luoghi come Kaggle. Inoltre, perché l'amplificazione è diventata la tecnica di ensemble più popolare, perché è possibile costruire meno alberi per una previsione ottimale?