【机器学习与数据挖掘实战】案例01：基于支持向量回归的市财政收入分析

【作者主页】Francek Chen
【专栏介绍】$\lceil$机器学习与数据挖掘实战$\rfloor$ 机器学习是人工智能的一个分支，专注于让计算机系统通过数据学习和改进。它利用统计和计算方法，使模型能够从数据中自动提取特征并做出预测或决策。数据挖掘则是从大型数据集中发现模式、关联和异常的过程，旨在提取有价值的信息和知识。机器学习为数据挖掘提供了强大的分析工具，而数据挖掘则是机器学习应用的重要领域，两者相辅相成，共同推动数据科学的发展。本专栏介绍机器学习与数据挖掘的相关实战案例。
【GitCode】专栏资源保存在我的GitCode仓库：https://gitcode.com/Morse_Chen/ML-DM_cases。

一、目标分析

（一）背景

财政收入是政府理财的重要环节，是政府进行宏观调控的重要手段之一，也是政府提供公共产品满足公共支出需要的重要经济基础。财政收入规模是衡量一个国家或一个地区财力和相关政府在社会经济生活中职能范围的重要指标。只有在组织财政收入的过程中正确处理各种物质利益关系，才能达到充分调动各方面的积极性，达到优化资源配置，协调分配关系的目的。财政收入的变化受到经济发展水平和分配政策的制约，同时也会影响到后续财政支出的规划，从而影响到下一阶段的发展规划与相关决策。

本案例利用某市财政收入的历史数据，建立合理的模型，对该市2014年和2015年财政收入进行预测，希望预测结果能够帮助政府合理的控制财政收支，优化财源建设，为制政府定相关决策提供依据。

（二）数据说明

考虑到数据的可得性，本案例所用的财政收入数据分为地方一般预算收入和政府性基金收入。

地方一般预算收入包括以下两个部分。

• 税收收入。主要包括企业所得税与地方所得税中中央和地方共享的40%，地方享有的25%的增值税、营业税和印花税等。
• 非税收收入。包括专项收入、行政事业性收费收入、罚没收入、国有资本经营收入和其他收入等。

政府性基金收入是国家通过向社会征收以及出让土地、发行彩票等方式取得收入。并专项用于支持特定基础设施建设和社会事业发展的收入。

本案例所用数据集data.csv内容如下。

本案例所用数据特征名称及说明如下表所示。

（三）分析目标

结合某市财政收入的数据情况，可以实现以下目标。

1. 分析、识别影响地方财政收入的关键特征。
2. 预测2014年和2015年的财政收入。

本案例包括以下步骤。

1. 对原始数据进行探索性分析，了解原始特征之间的相关性。
2. 利用Lasso特征选择模型进行特征提取。
3. 建立单个特征的灰色预测模型以及支持向量回归预测模型。
4. 使用支持向量回归预测模型得出2014–2015年财政收入的预测值。
5. 对上述建立的财政收入预测模型进行评价。

本案例的总体流程图如下图所示。

二、数据准备

本案例采用的数据是某市财政收入数据，均来自某市的统计年鉴。本案例仅对1994–2013年的数据进行分析。获取数据后，发现影响地方财政收入的特征有很多，在建立模型之前需要判断财政收入与所给特征之间的相关性、各特征之间的相关性，以此判断所给特征是否可以用作建模的关键特征，不能用作关键特征的需要删除，本案例利用Pearson相关系数判断各特征之间的相关性。

相关代码如下。

import numpy as np
import pandas as pd

data = pd.read_csv('../data/data.csv')  # 读取数据
# 保留两位小数，并将结果保存为’.csv’文件
np.round(data.corr(method = 'pearson'), 2).to_csv('../tmp/data_cor.csv')
print('相关系数矩阵为：\n', np.round(data.corr(method = 'pearson'), 2))

数据各特征之间的Pearson相关系数，如下表所示。

根据相关系数表所示的结果得到以下分析。

居民消费价格指数（$x_{11}$）与财政收入（$y$）的线性关系不显著，呈现一定程度的负相关。其余特征均与财政收入呈现高度的正相关关系。按相关性大小，依次是 $x_3,x_4,x_5,x_7,x_8,x_{10},x_{13},x_2,x_9,x_1,x_6$ 和 $x_{12}$。
同时，各特征之间存在着严重的共线性。特征 $x_1,x_4,x_5,x_6,x_8,x_9,x_{10}$ 与除了$x_{11}$之外的特征均存在严重的共线性，特征 $x_2,x_3,x_7$ 与除了$x_{11}$和$x_{12}$外的其他特征存在着严重的共线性。$x_{11}$与各特征的共线性不明显，$x_{12}$与除了 $x_2,x_3,x_7,x_{11}$ 之外的其他特征有严重的共线性，$x_{13}$与除了$x_{11}$之外的各特征有严重的共线性。$x_2$和$x_3$，$x_2$和$x_{13}$，$x_3$和$x_{13}$等多对特征之间存在完全的共线性。

根据对相关系数表分析可知以下两点。选取的各特征除了$x_{11}$外，其他特征与$y$的相关性很强，可以用作财政收入预测分析的关键特征，特征之间存在着信息的重复，在建立模型之前需要对特征进行进一步筛选。

三、特征工程

虽然在数据准备过程中对特征进行了初步筛选，但是引入的特征太多，而且这些特征之间存在着信息的重复。为了保留重要的特征，建立精确、简单的模型，需要对原始特征进一步筛选，考虑到传统的特征选择方法存在一定的局限性，本案例采用最近广泛使用的Lasso特征选择方法对原始特征进一步筛选。

（一）Lasso回归

Lasso回归方法以缩小特征集（降阶）为思想，是一种收缩估计方法。Lasso方法可以将特征的系数进行压缩并使某些回归系数变为0，进而达到特征选择的目的，可以广泛地应用于模型改进与选择。通过选择惩罚函数，借用Lasso思想和方法实现特征选择的目的。模型选择本质上是寻求模型稀疏表达的过程，而这种过程可以通过优化一个“损失”＋“惩罚”的函数问题来完成。

Lasso参数估计如下式所示。

$$\hat{\beta }(\text{lasso})=\underset{\beta }{\overset{2}{\mathrm{argmin}}}{\Vert y-\sum _{j=1}^p{x}_i{\beta }_i\Vert }^2+\lambda \sum _{j=1}^p|{\beta }_i|$$

$\lambda$为非负正则参数，控制着模型的复杂程度，$\lambda$越大对特征较多的线性模型的惩罚力度就越大，从而最终获得一个特征较少的模型；$\lambda {\sum }_{j=1}^p|{\beta }_i|$称为惩罚项。调整参数$\lambda$可以采用交叉验证法，选取交叉验证误差最小的$\lambda$值。最后，按照得到的$\lambda$值，用全部数据重新拟合模型即可。

值得注意的是，当原始特征中存在共线性时，Lasso回归不失为一种很好的处理共线性的方法，它可以有效地对存在共线性的特征进行筛选。

（二）特征选择

根据相关系数表的结果分析可知，原始数据中各特征之间存在严重的共线性。

• 特征$x_1、x_4、x_5、x_6、x_8、x_9、x_{10}$与除了$x_{11}$之外的特征均存在严重的共线性。
• 特征$x_2、x_3、x_7$与除了$x_{11}$和$x_{12}$外的其他特征存在着严重的共线性。

本案例可以利用Lasso回归方法进行特征筛选。相关代码如下。

import pandas as pd
import numpy as np
from sklearn.linear_model import Lasso

data = pd.read_csv('../data/data.csv')  # 读取数据
# 调用Lasso()函数，设置λ的值为1000
lasso = Lasso(1000)
lasso.fit(data.iloc[:, 0:13], data['y'])
print('相关系数为：', np.round(lasso.coef_, 5))  # 输出结果，保留五位小数

print('相关系数非零个数为：', np.sum(lasso.coef_ != 0))  # 计算相关系数非零的个数

# 返回一个相关系数是否为零的布尔数组
mask = lasso.coef_ != 0
print('相关系数是否为零：', mask)

data = data.iloc[:, 0:13]
new_reg_data = data.iloc[:, mask]  # 返回相关系数非零的数据
new_reg_data.to_csv('../tmp/new_reg_data.csv')  # 存储数据
print('输出数据的维度为：', new_reg_data.shape)  # 查看输出数据的维度

各特征对应的系数如下表所示。从表的结果可以看出，利用Lasso回归方法识别影响财政收入的关键影响因素是社会从业人数（$x_1$）、社会消费品零售总额（$x_3$）、城镇居民人均可支配收入（$x_4$）、城镇居民人均消费性支出（$x_5$）、全社会固定资产投资额（$x_7$）、地区生产总值（$x_8$）、第一产业产值（$x_9$） 、居民消费水平（$x_{13}$）。

四、模型训练

为实现对2014年和2015年的财政预测，本案例利用SVR（Support Vector Regression，支持向量回归）建立预测模型。由于原始数据中没有提供关键特征2014年和2015年的数据，所以本案例利用灰色预测模型预测关键特征2014年和2015年的值。利用支持向量回归（Support Vector Regression，SVR）预测模型和灰色模型预测值预测2014年和2015年的财政收入。

（一）灰色预测模型

灰色预测模型是一种对含有不确定因素的系统进行预测的方法。在建立灰色预测模型之前，需先对原始时间序列进行数据处理，经过数据处理后的时间序列即称为生成列，灰色系统常用的数据处理方式有累加、累减和加权累加3种。灰色预测模型是利用离散随机数经过生成变为随机性被显著削弱而且较有规律的生成数，建立起的微分方程形式的模型。灰色预测是以灰色模型为基础的，在众多的灰色模型中，GM(1,1)模型最为常用。

设特征 X ( 0 ) = { X ( 0 ) ( i ) , i = 1 , 2 , ⋯   , n } X^{(0)}=\{X^{(0)}(i), i=1,2,\cdots,n\} X(0)={X(0)(i),i=1,2,⋯,n} 为一非负单调原始数据序列，建立灰色预测模型如下。

对 $X^{(0)}$ 进行一次累加得到累加序列 X ( 1 ) = { X ( 1 ) ( k ) , k = 0 , 1 , 2 , ⋯   , n } X^{(1)} = \{X^{(1)}(k), k=0,1,2,\cdots,n\} X(1)={X(1)(k),k=0,1,2,⋯,n}。

对 $X^{(1)}$ 建立一阶线性微分方程，如下式所示，即GM(1,1)模型。
$$\frac{\mathrm{d}{X}^{(1)}}{\mathrm{d}t}+a{X}^{(1)}=\mu$$

求解微分方程，得到预测模型如下式所示。
$${\hat{X}}^{(1)}(k+1)=\left[X^{(0)}(1)-\frac{\mu }{a}\right]{\mathrm{e}}^{-ak}+\frac{\mu }{a}$$

由于GM(1,1)模型得到的是一次累加量，将GM(1,1)模型所得数据 ${\hat{X}}^{(1)}(k+1)$ 经过累减还原为 ${\hat{X}}^{(0)}(k+1)$ 即 $X^{(0)}$ 的灰色预测模型如下式所示。
$${\hat{X}}^{(0)}(k+1)=({\mathrm{e}}^{-\hat{a}}-1)\left[X^{(0)}(n)-\frac{\hat{\mu }}{\hat{a}}\right]{\mathrm{e}}^{-\hat{a}k}$$

灰色预测模型可以利用后验差检验模型精度，使用后验差检验法的判别规则如下表所示。

在后验差检验判别参照表中，P和C计算公式如下式所示。
$$C=\frac{\sigma (\text{delta})}{\sigma (X^{(0)})}$$ $$P=\frac{S}{L}$$

在C的计算公式中，$\text{delta}=|X^{(0)}-{\hat{X}}^{(0)}|$，$\sigma$表示标准差，$S$表示的 $|\text{delta}-\text{mean}(\text{delta})|<0.6745\cdot \sigma (X^{(0)})$ 数量，mean(delta)表示delta的平均值，$L$表示$X^{(0)}$的长度。

灰色预测法的通用性比较强些，一般的时间序列场合都可以用，尤其适合那些规律性差且不清楚数据产生机理的情况。

相关代码如下。

# 自定义灰色预测函数 
def GM11(x0):  # x0为矩阵形式
    import numpy as np
    x1 = x0.cumsum()  # 1-AGO序列
    # 紧邻均值（MEAN）生成序列
    z1 = (x1[:len(x1) - 1] + x1[1:]) / 2.0
    z1 = z1.reshape((len(z1), 1))
    B = np.append(-z1, np.ones_like(z1), axis = 1)
    Yn = x0[1:].reshape((len(x0)-1, 1))
    # 计算参数
    [[a], [b]] = np.dot(np.dot(np.linalg.inv(np.dot(B.T, B)), B.T), Yn) 
    # 还原值
    f = lambda k: (x0[0] - b / a) * np.exp(-a * (k - 1)) - (x0[0] - b / a) * np.exp(-a * (k - 2)) 
    delta = np.abs(x0 - np.array([f(i) for i in range(1, len(x0) + 1)]))
    C = delta.std() / x0.std()
    P = 1.0 * (np.abs(delta - delta.mean()) < 0.6745 * x0.std()).sum() / len(x0)
    # 返回灰色预测函数、a、b、首项、方差比、小残差概率
    return f, a, b, x0[0], C, P

（二）关键特征预测

利用灰色预测模型得到以下特征的2014年和2015年的预测值。

• 社会从业人数（$x_1$）
• 社会消费品零售总额（$x_3$）
• 城镇居民人均可支配收入（$x_4$）
• 城镇居民人均消费性支出（$x_5$）
• 年末总人口（$x_6$）
• 全社会固定资产投资额（$x_7$）
• 地区生产总值（$x_8$）
• 居民消费水平（$x_{13}$）

相关代码如下。

import pandas as pd
import numpy as np

new_reg_data = pd.read_csv('../tmp/new_reg_data.csv')  # 读取经过特征选择后的数据
data = pd.read_csv('../data/data.csv')  # 读取总的数据
new_reg_data.index = range(1994, 2014)
new_reg_data.loc[2014] = None
new_reg_data.loc[2015] = None
Accuracy = []  # 存放灰色预测模型精度
l = ['x1', 'x3', 'x4', 'x5', 'x6', 'x7', 'x8', 'x13']
for i in l:
    f = GM11(new_reg_data.loc[range(1994, 2014), i].as_matrix())[0]
    new_reg_data.loc[2014, i] = f(len(new_reg_data) - 1)  # 2014年预测结果
    new_reg_data.loc[2015, i] = f(len(new_reg_data))  # 2015年预测结果
    new_reg_data[i] = new_reg_data[i].round(2)  # 保留两位小数
    C = GM11(new_reg_data.loc[range(1994, 2014), 'x1'].as_matrix())[4]
    P = GM11(new_reg_data.loc[range(1994, 2014), 'x1'].as_matrix())[5]
    if P>0.95 and C<0.35:
        Accuracy.append('好')
    elif 0.8<P<=0.95 and 0.35<=C<0.5:
        Accuracy.append('合格')
    elif 0.7<P<=0.8 and 0.5<=C<0.65:
        Accuracy.append('勉强合格')
    else :
        Accuracy.append('不合格')

new_reg_data = new_reg_data.iloc[:, 1:]
new_reg_data.loc['模型精度', :] = Accuracy
outputfile = '../tmp/new_reg_data_GM11.xls'  # 灰色预测后保存的路径
# 提取财政收入列，合并至新数据框中
y = list(data['y'].values)
y.extend([np.nan, np.nan])
new_reg_data.loc[range(1994, 2016),'y'] = y
new_reg_data.to_excel(outputfile)  # 结果输出
# 预测结果展示
print('预测结果为：\n', new_reg_data.loc[[2014, 2015, '模型精度'], :])

（三）SVR模型预测

构建支持向量回归预测模型，并将关键特征灰色预测代码中的预测结果代入建立的地方财政收入支持向量回归预测模型，预测2014年和2015年的财政收入。地方财政收入真实值与预测值的对比图如下图所示。

相关代码如下。

from sklearn.svm import LinearSVR
import matplotlib.pyplot as plt

data = pd.read_excel('../tmp/new_reg_data_GM11.xls')  # 读取数据
data = data.drop('Unnamed: 0', axis=1, errors='ignore')  # 如果该列存在则删除，不存在则跳过
data = data.drop(labels='模型精度', axis=0, errors='ignore')  # 删除行
feature = ['x1', 'x3', 'x4', 'x5', 'x6', 'x7', 'x8', 'x13']  # 特征所在列
data_train = data.loc[range(1994, 2014)].copy()  # 取2014年前的数据建模
data_mean = data_train.mean()
data_std = data_train.std()
data_train = (data_train - data_mean) / data_std  # 数据标准化
x_train = data_train[feature].as_matrix()  # 特征数据
y_train = data_train['y'].as_matrix()  # 标签数据
linearsvr = LinearSVR(random_state=123)  # 调用LinearSVR()函数
linearsvr.fit(x_train, y_train)

# 预测2014年和2015年财政收入，并还原结果。
x = ((data[feature] - data_mean[feature]) / data_std[feature]).as_matrix()
data[u'y_pred'] = linearsvr.predict(x) * data_std['y'] + data_mean['y']
outputfile = '../tmp/new_reg_data_GM11_revenue.xls'
data.to_excel(outputfile)
print('真实值与预测值分别为：\n', data[['y', 'y_pred']])

print('预测图为：', data[['y', 'y_pred']].plot(style = ['b-o', 'r-*']))  # 画出预测结果图
plt.xlabel('年份')
plt.xticks(range(1994,2015,2))
plt.show()

五、性能度量

整理关键特征灰色预测的结果，如下表所示。从表中可以看出，2014年和2015年关键特征的灰色模型预测值精度均较高，可以用于预测2014年和2015年财政收入的关键特征数据。

利用关键特征灰色预测的结果中的预测值和SVR模型预测2014年和2015年财政收入。整理后如下表所示，y_pred表示预测值。

支持向量回归预测模型的代码结果中已给出地方财政收入真实值与预测值的对比图。利用回归模型性能度量指标对地方财政收入预测模型进行性能度量。如下表所示，平均绝对误差与中值绝对误差较小，可解释方差值与R方值十分接近1，从真实值与预测值的对比图可以看出，预测值和真实值曲线基本重合，表明建立的支持向量回归模型拟合效果优良，可以用于预测财政收入。

相关代码如下。

from sklearn.metrics import mean_absolute_error  # 平均绝对误差 
from sklearn.metrics import median_absolute_error  # 中值绝对误差
from sklearn.metrics import explained_variance_score  # 可解释方差
from sklearn.metrics import r2_score  # R方值
import pandas as pd

data = pd.read_excel('../tmp/new_reg_data_GM11_revenue.xls')  # 读取数据
data = data.drop('Unnamed: 0', axis=1, errors='ignore')  # 如果该列存在则删除，不存在则跳过
mean_ab_error = mean_absolute_error(data.loc[range(1994, 2014), 'y'], data.loc[range(1994,2014), 'y_pred'], multioutput = 'raw_values')
median_ab_error = median_absolute_error(data.loc[range(1994, 2014), 'y'], data.loc[range(1994, 2014), 'y_pred'])
explain_var_score = explained_variance_score(data.loc[range(1994, 2014), 'y'], data.loc[range(1994, 2014), 'y_pred'], multioutput = 'raw_values')
r2 = r2_score(data.loc[range(1994, 2014), 'y'], data.loc[range(1994, 2014), 'y_pred'], multioutput = 'raw_values')

print('平均绝对误差：', mean_ab_error, '\n', 
      '中值绝对误差：', median_ab_error, '\n', 
      '可解释方差：', explain_var_score, '\n', 
      'R方值:', r2)

小结

本案例结合某市财政收入原始数据，重点介绍了SVR模型在财政预测方面的应用，主要内容包含数据探索、特征选取、模型构建和性能度量。其中利用Pearson相关系数探对原始数据进行相关性分析，得到与财政收入相关性较高的特征，并且了解到各特征之间存在严重的共线性。利用Lasso回归模型对原始特征进行筛选，得到用于建模的关键特征。

针对历史数据，构建灰色预测模型，对所选关键特征2014年和2015年的值进行预测。最后根据所选特征原始数据建立SVR模型，然后利用灰色预测模型对所选特征的预测值进行预测，最终得到2014年和2015年的财政收入预测值。利用回归模型性能度量指标对SVR模型进行评价，模型精度较高，可以用于指导实际工作。

附：以上文中的数据集及相关资源下载地址：
链接：https://pan.quark.cn/s/bc0a61378df2
提取码：n2Kw