机器学习（Machine Learning）
简要声明
基于吴恩达教授(Andrew Ng)课程视频
BiliBili课程资源
文章目录
三、特征工程与多项式回归
（一）特征工程：从数据中发现隐藏规律
1.1 特征工程的核心思想
通过创造性组合原始特征，将领域知识注入机器学习模型。如图1所示，房屋价格预测中：
原始特征 : x 1 ( frontage ) , x 2 ( depth ) 新特征 : x 3 = x 1 × x 2 = area 模型公式 : f w , b ( x ) = w 1 x 1 + w 2 x 2 + w 3 x 3 + b \begin{aligned} \text{原始特征} & : x_1(\text{frontage}),\ x_2(\text{depth}) \\ \text{新特征} & : x_3 = x_1 \times x_2 = \text{area} \\ 模型公式 & : f_{\mathbf{w},b}(\mathbf{x}) = w_1x_1 + w_2x_2 + w_3x_3 + b \end{aligned} 原始特征新特征模型公式:x1(frontage), x2(depth):x3=x1×x2=area:fw,b(x)=w1x1+w2x2+w3x3+b
1.2 特征工程的三大范式
| 方法类型 | 数学表达 | 应用场景 |
|---|---|---|
| 数值转换 | x ′ = log ( x ) x' = \log(x) x′=log(x) | 处理长尾分布数据 |
| 组合运算 | x 3 = x 1 × x 2 x_3 = x_1 \times x_2 x3=x1×x2 | 揭示交互效应 |
特征工程有无的对比
（二）多项式回归：非线性关系的建模利器
2.1 多项式回归原理
通过引入高次项扩展线性模型：
f w , b ( x ) = w 1 x + w 2 x 2 + w 3 x 3 + b f_{w,b}(x) = w_1 x + w_2 x^2 + w_3 x^3 + b fw,b(x)=w1x+w2x2+w3x3+b
不同阶数多项式拟合效果
（三）特征选择：在复杂性与效果间寻找平衡
3.1 非线性特征设计
如图所示，通过引入平方根项增强模型灵活性：
f w , b ( x ) = w 1 x + w 2 x + b f_{w,b}(x) = w_1 x + w_2 \sqrt{x} + b fw,b(x)=w1x+w2x+b
混合特征设计的拟合效果
x = np.arange(0,20,1)
y = x**2
X = np.c_[x, x**2, x**3]
X = zscore_normalize_features(X)
model_w, model_b = run_gradient_descent_feng(X, y, iterations=100000, alpha=1e-1)
plt.scatter(x, y, marker='x', c='r', label="Actual Value"); plt.title("Normalized x x**2, x**3 feature")
plt.plot(x,X@model_w + model_b, label="Predicted Value"); plt.xlabel("x"); plt.ylabel("y"); plt.legend(); plt.show()
Iteration 0, Cost: 9.42147e+03
Iteration 10000, Cost: 3.90938e-01
Iteration 20000, Cost: 2.78389e-02
Iteration 30000, Cost: 1.98242e-03
Iteration 40000, Cost: 1.41169e-04
Iteration 50000, Cost: 1.00527e-05
Iteration 60000, Cost: 7.15855e-07
Iteration 70000, Cost: 5.09763e-08
Iteration 80000, Cost: 3.63004e-09
Iteration 90000, Cost: 2.58497e-10
w,b found by gradient descent: w: [5.27e-05 1.13e+02 8.43e-05], b: 123.5000
通过合理运用特征工程与多项式回归，我们能够将预测误差降低，同时保持较好的模型可解释性。
end_Linear Regression