机器学习算法-逻辑回归

今天我们用 「预测考试是否及格」 的例子来讲解逻辑回归，从原理到实现一步步拆解，保证零基础也能懂！

🎯 例子背景

假设你是班主任，要根据学生的「学习时间」预测「是否及格」，手上有以下数据：

新问题：学习3.5小时的学生，及格概率有多大？

🌟 逻辑回归核心思想

不是直接预测类别，而是计算属于某类的概率
比如：P(及格|学习3.5h) = 70% → 若阈值设50%，则判定为及格

🔑 关键特点

1. 输出范围在0~1之间（概率）

2. 用S型函数（Sigmoid） 将线性结果转为概率

📈 原理分步拆解

1. 先做线性回归

临时计算 z = a×学习时间 + b
（比如初始假设：z = 0.6×时间 - 1.5）

2. 通过Sigmoid函数转概率

公式：
P(及格) = 1 / (1 + e^(-z))

• 当z=0时，P=0.5

• z越大，P越接近1；z越小，P越接近0

3. 计算示例

对于学习3.5小时：
z = 0.6×3.5 - 1.5 = 0.6
P = 1 / (1 + e^(-0.6)) ≈ 0.65
→ 及格概率65%

🛠️ Python代码实现

1. 基础版（手写核心逻辑）

import numpy as np

# Sigmoid函数
def sigmoid(z):
    return 1 / (1 + np.exp(-z))

# 假设参数
a = 0.6  # 斜率
b = -1.5 # 截距

# 预测函数
def predict(hours):
    z = a * hours + b
    return sigmoid(z)

print("学习3.5小时及格概率:", predict(3.5))  # 输出: 0.65

2. 实战版（用scikit-learn）

from sklearn.linear_model import LogisticRegression
import numpy as np

# 准备数据
X = np.array([1, 2, 3, 4, 5]).reshape(-1, 1)  # 学习时间
y = np.array([0, 0, 1, 1, 1])                 # 是否及格

# 训练模型
model = LogisticRegression()
model.fit(X, y)

# 预测新数据
new_hour = np.array([[3.5]])
prob = model.predict_proba(new_hour)[0][1]  # 获取概率
print(f"及格概率: {prob:.2%}")              # 输出: 64.94%

# 查看参数
print(f"方程: z = {model.coef_[0][0]:.2f}×时间 + {model.intercept_[0]:.2f}")

📊 决策边界可视化

import matplotlib.pyplot as plt

# 绘制数据点
plt.scatter(X, y, color=['red' if i==0 else 'blue' for i in y], label='真实数据')

# 生成概率曲线
X_test = np.linspace(0, 6, 100).reshape(-1,1)
prob_curve = model.predict_proba(X_test)[:,1]
plt.plot(X_test, prob_curve, 'g-', label='概率曲线')

# 标记决策边界（P=0.5对应的X值）
decision_boundary = -model.intercept_ / model.coef_[0]
plt.axvline(x=decision_boundary, linestyle='--', color='black', label='决策边界')

plt.xlabel('学习时间(h)')
plt.ylabel('概率')
plt.legend()
plt.show()

决策边界约在2.5小时（P=0.5的位置）*

🌟 关键知识点

1. 阈值可调

   • 默认0.5，可根据需求调整（如医疗诊断需更高阈值）

2. 为什么叫"回归"

   • 底层用了线性回归，只是加了Sigmoid转换

3. 多分类扩展

   • 用Softmax代替Sigmoid可处理多分类（如预测ABC等级）

4. 评估指标

   • 常用准确率、ROC曲线、AUC值

🆚 vs 线性回归

💡 常见问题

Q：特征需要标准化吗？
A：最好做！逻辑回归虽不受量纲影响，但能加速收敛。

Q：学习时间6小时预测概率>1？
A：不会！Sigmoid函数永远输出0~1之间。

总结：逻辑回归就是
① 线性计算 → ② 概率转换 → ③ 阈值判断
像老师通过学习时间判断学生及格可能性，既简单又实用！ 🎓→📈