Boosting 方法 - 从 AdaBoost 到 LightGBM PDF 文档

Question

Boosting 是一族可将弱学习器提升为强学习器的算法。关于 Boosting 的两个核心问题：

1、在每一轮如何改变训练数据的权值或概率分布？

通过提高那些在前一轮被弱分类器分错样例的权值，减小前一轮分对样本的权值，而误分的样本在后续受到更多的关注.

2、通过什么方式来组合弱分类器？

通过加法模型将弱分类器进行线性组合，比如 AdaBoost 通过加权多数表决的方式，即增大错误率小的分类器的权值，同时减小错误率较大的分类器的权值。而提升树通过拟合残差的方式逐步减小残差，将每一步生成的模型叠加得到最终模型。

我们常见的 Boosting 算法有 AdaBoost，梯度提升决策树 GBDT，XgBoost 以及LightGBM。

1、Boosting 方法简介 .. 1
2、前向分步算法 2
3、AdaBoost 算法 ...... 2
3.1 核心思想. 2
3.2 基本流程. 2
3.3 从前向分步算法来看 AdaBoost ... 3
4、梯度提升决策树(GBDT)...... 5
4.1 提升树-boosting tree... 5
4.2 梯度提升-Gradient Boosting.... 6
4.3 梯度提升决策树(GBDT) ... 7
5、XGBoost 模型 8
5.1 XGBoost 模型基本原理 ... 8
5.2 分裂算法 10
5.3 XGBoost 与 GBDT 的异同 . 14
6、LightGBM... 15
6.1 LightGBM 基本原理 ..... 15
6.2 LightGBM 的其他特性 ... 17
6.3 LightGBM 与 XGBoost 的不同点 .. 20
参考文献...... 21

下载地址：https://www.wenjiangs.com/wp-content/uploads/2024/02/V1WWki5cao6RnRYE.zip