自用，有错误欢迎评论区指出
目录
7. Bias-Variance（偏差-方差）权衡是什么意思？
一、机器学习基础概念
| 概念 | 说明 |
|---|---|
| 什么是机器学习？ | 机器学习是一门使计算机从数据中学习经验并做出预测或决策的学科。 |
| 机器学习 vs 传统编程 | 传统编程：规则 + 数据 → 结果；机器学习：数据 + 结果 → 学习规则。 |
| 机器学习三要素 | 模型（Model）、策略（Strategy）、算法（Algorithm） |
二、机器学习类型分类
| 类型 | 特点 | 典型算法 |
|---|---|---|
| 监督学习 | 有标签数据，预测输出 | 线性回归、逻辑回归、SVM、决策树、KNN、神经网络 |
| 无监督学习 | 无标签数据，发现结构 | 聚类（K-means）、降维（PCA） |
| 半监督学习 | 小部分有标签，大量无标签数据 | |
| 强化学习 | 智能体通过与环境交互获得最大奖励 | Q-learning、DQN、策略梯度等 |
三、经典算法与原理
1. 线性模型
线性回归：损失函数是均方误差（MSE），求解方法是最小二乘法。
逻辑回归：用于分类，输出为概率（sigmoid），损失函数是对数似然函数。
2. 决策树
分裂依据：信息增益（ID3）、信息增益率（C4.5）、基尼指数（CART）
【机器学习】熵-信息增益-ID3-C4.5_. 什么是熵?熵在决策树算法中有什么作用?-CSDN博客
优点：可解释性强；缺点：容易过拟合
3. SVM（支持向量机）
最大间隔分类器，核心是构造间隔最大的超平面
使用核函数解决非线性问题（如 RBF、Poly）
4. K近邻（KNN）
基于“相似数据点具有相似标签”，没有训练过程，计算开销大
5. 贝叶斯分类
基于贝叶斯定理，朴素贝叶斯假设特征之间条件独立
6. 集成学习
Bagging（并行）：随机森林
Boosting（串行）：AdaBoost，Gradient Boosting（如XGBoost）
四、模型评价指标
| 任务类型 | 指标 |
|---|---|
| 回归 | MSE、RMSE、MAE、R² |
| 分类 | 准确率、精确率、召回率、F1分数、AUC-ROC |
五、模型泛化能力与调参
| 问题 | 描述 | 解决方法 |
|---|---|---|
| 过拟合 |