一、集成学习核心原理
1.1 基本定义
集成学习（Ensemble Learning）通过组合多个弱学习器（Weak Learner）构建强学习器，其泛化误差可表示为：
其中：
- E：各弱学习器误差的加权平均
- A：学习器间的多样性度量（正相关性越小，泛化能力越强）
1.2 两大范式对比
| 特性 | Bagging | Boosting |
|---|---|---|
| 样本权重 | 均匀分布 | 动态调整（关注错分样本） |
| 训练方式 | 并行 | 串行 |
| 方差-偏差 | 主要降低方差 | 主要降低偏差 |
| 代表性算法 | 随机森林 | Adaboost/GBDT/XGBoost |
二、Bagging与随机森林数学详解（600字）
2.1 Bootstrap抽样数学本质
设数据集 D 含 N 个样本，有放回抽样生成子集 Dt：
即每个子集约含63.2%的原始样本，剩余36.8%形成袋外数据（OOB）。
2.2 随机森林双随机性
- 特征随机：分裂时从 M 个特征随机选 m（通常
） - 决策树构建：节点分裂依据基尼不纯度最小化：
三、Boosting算法数学推导
3.1 Adaboost核心公式
权重更新机制：
- 初始权重：
- 第 t 轮弱学习器错误率：
- 学习器权重：
- 样本权重更新：
- 规范化：
3.2 GBDT梯度提升原理
伪残差计算：
对于损失函数 L，第 t 轮伪残差：
ri,t=−[∂F(xi)∂L(yi,F(xi))]F(x)=Ft−1(x)
- 平方损失：ri,t=yi−Ft−1(xi)（残差）
- 绝对损失：ri,t=sign(yi−Ft−1(xi))
- 对数损失：ri,t=yi−1+e−Ft−1(xi)1
模型更新：
Ft(x)=Ft−1(x)+ν∑i=1Nri,t⋅I(x∈Rj,t)
其中：
- ν：学习率（shrinkage系数）
- Rj,t：第 t 轮树的叶子区域
3.3 XGBoost二阶泰勒展开
目标函数分解：
其中正则项 
二阶泰勒近似：
其中：
叶子权重解析解：
定义叶子 j 的实例集合
，则最优权重：
结构分数（增益公式）：
该公式指导特征选择与分裂点决策
四、关键对比总结
维度 |
Bagging（如随机森林） |
Boosting（如Adaboost/GBDT） |
|---|---|---|
数据使用 |
独立有放回抽样 |
全数据集，权重调整 |
模型关系 |
并行独立训练 |
串行依赖训练 |
过拟合风险 |
低（双重随机性） |
需控制学习率和树复杂度 |
代表算法 |
随机森林 |
Adaboost, GBDT, XGBoost |
五、实践案例要点
泰坦尼克号预测：
特征工程：处理缺失值（Age填充均值）、类别编码（Sex的One-hot）。
随机森林 vs 决策树：RF显著提升准确率（约5-10%）。
红酒品质分类：
多分类问题：XGBoost需设objective='multi:softmax'。
样本不均衡：使用class_weight='balanced'调整权重。
六、高频考点解析
Q：为什么随机森林要随机抽样和随机选特征？
A：打破弱学习器间的相关性，提升泛化能力（若所有树用相同数据/特征，投票结果相同）。
Q：GBDT拟合的是残差还是负梯度？
A：负梯度（残差是平方损失下的特例）。
Q：XGBoost如何防止过拟合？
A：正则化项（
gamma控制分裂阈值，lambda约束叶子权重）+ 学习率eta缩减。