机器学习每周挑战——二手车车辆信息&交易售价数据

这是数据集的截图

目录

背景描述

数据说明

车型对照：

燃料类型对照：

老规矩，第一步先导入用到的库

 第二步，读入数据：

第三步，数据预处理

第四步：对数据的分析

第五步：模型建立前的准备工作

第六步：多元线性回归模型的建立

第七步：随机森林模型的建立

问题：

背景描述

本数据爬取自印度最大的二手车交易平台 CARS24，包含 8000+ 该平台上交易车辆的关键评估信息。

CARS24 成立于 2015 年，总部位于印度古尔冈，是一个在印度、澳大利亚、泰国和阿联酋运营的二手车交易平台，为用户提供一站式二手车交易服务，包括车辆评估、交易、融资、保险等。CARS24 已成为印度最大的二手车交易平台之一，在印度拥有超过 1000 家线下门店。

数据说明

• 车型对照：

  英文	中文
  sedan	轿车
  SUV	SUV
  hatchback	两厢车
  luxury SUV	豪华SUV
  luxury sedan	豪华轿车

• 燃料类型对照：

  英文	中文
  petrol	汽油
  diesel	柴油
  CNG	压缩天然气
  other	其他

老规矩，第一步先导入用到的库

import pandas as pd
import numpy as np
import seaborn as sns
import matplotlib.pyplot as plt
from sklearn.metrics import confusion_matrix
import statsmodels.api as sm
from statsmodels.formula.api import ols
from sklearn.preprocessing import StandardScaler,LabelEncoder,OneHotEncoder
from statsmodels.stats.outliers_influence import variance_inflation_factor
from sklearn.model_selection import train_test_split,cross_val_score
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error,r2_score,classification_report
import scipy.stats as stats
from statsmodels.stats.stattools import durbin_watson
from statsmodels.stats.diagnostic import het_breuschpagan
from scipy.stats import kstest
from sklearn.ensemble import RandomForestRegressor
from hyperopt import fmin, tpe, hp,STATUS_OK

 第二步，读入数据：

data = pd.read_csv('cars_24.csv')
pd.set_option('display.max_columns',1000)
pd.set_option('display.max_rows',1000)

plt.rcParams['axes.unicode_minus'] = False
plt.rcParams['font.family'] = ['Microsoft YaHei']

第三步，数据预处理

print(data.info()) # 从这里我们可以看出Location Year Car Name 三列数据有确实值，由于位置信息无法填充，因此我选择将缺失值删除
data.dropna(inplace=True)
for col in data.columns:
    print(col)
    print(data[col].unique())
    print('/'*20)
# 通过上面的循环我们可以了解到所有列的唯一值，排除Index Distance Price这些连续值，我们可以看出其他特征列都有那些值
# 删除包含22-BH的行，因为在印度的车辆注册号码中，BH通常不是一个标准的州或联邦领地代码，这可能是数据有误，这里直接删除
data = data[data['Location'] != '22-BH']
# 由于Car Name名字太多，因此我们只提取品牌，即，第一个空格前面的
data['Brand'] = data['Car Name'].apply(lambda x: x.split()[0]) 
# 有了Brand后，我们将原先的Car Name这一列删除
data = data.drop('Car Name',axis=1)
data['Location'] = data['Location'].apply(lambda x:x[:2])
# print(data['Location'].unique())           # 如果前面我们没发现22-BH这种异常值，我们从这里发现后，我们也可以将其删除
# data['Location'] = [x for x in data['Location'] if x!=22]
# 标签这一列对于我们来说也没有用，因此我们也将其删除
data.drop('Index',axis=1,inplace=True)
# 将年份转换为整数
data['Year'] = data['Year'].astype(int)
# 我们对预处理后的数据进行复制，以便于我们后续对数据进行建模
new_data = data.copy()

第四步：对数据的分析

# 接下来我们对数据进行分析，通过图表来观察他们各个特征之间的关联
plt.figure(figsize=(10,8))
ax = sns.countplot(x='Brand',data=data)
plt.title('不同品牌的分布情况')
plt.xlabel('品牌')
plt.ylabel('品牌数量')
plt.xticks(rotation=90)
plt.tight_layout()

for p in ax.patches:
    ax.annotate(format(p.get_height(), '.0f'),
                (p.get_x() + p.get_width() / 2., p.get_height()),
                ha = 'center', va = 'center',
                xytext = (0, 10),
                textcoords = 'offset points')

plt.show()

所有二手车品牌中，马鲁蒂(Maruti)和现代(Hyundai)的数量是最多的，马鲁蒂是印度的一个知名品牌，所以占比也是最大的

fig,ax = plt.subplots(1,3,figsize=(10,8))
count_year = data['Year'].value_counts()
label = count_year.index
# print(label)
ax[0].pie(count_year,labels=label,autopct='%.2f%%')
ax[0].set_title('各个年份购车数量占比')

ax[1].hist(data['Distance'],bins=30)
ax[1].set_title('车辆行驶距离')

ax[2].hist(data['Price'],bins=30)
ax[2].set_title('购车价格')

plt.tight_layout()
plt.show()

总结:数据集中的车辆大多数是17,18年购买的，有较短的行驶距离，且价格相对较低

fig,ax = plt.subplots(2,2,figsize=(10,8))
owner_plot = sns.countplot(ax=ax[0,0],x='Owner',data=data)
ax[0,0].set_title('前任车主特征分布图')
ax[0,0].set_xlabel('前任车主')
ax[0,0].set_ylabel('总数')
for x in owner_plot.patches:
    owner_plot.annotate(format(x.get_height(),'.0f'),
                        (x.get_x()+x.get_width()/2,x.get_height()),
                        ha='center',va='center',
                        xytext=(0,10),
                        textcoords='offset points')


fuel_plot = sns.countplot(ax=ax[0,1],x='Fuel',data=data)
ax[0,1].set_title('燃料类型特征分布图')
ax[0,1].set_xlabel('燃料类型')
ax[0,1].set_ylabel('总数')
for x in fuel_plot.patches:
    fuel_plot.annotate(format(x.get_height(),'.0f'),
                        (x.get_x()+x.get_width()/2,x.get_height()),
                        ha='center',va='center',
                        xytext=(0,10),
                        textcoords='offset points')


drive_plot = sns.countplot(ax=ax[1,0],x='Drive',data=data)
ax[1,0].set_title('变速器类型特征分布图')
ax[1,0].set_xlabel('变速器类型')
ax[1,0].set_ylabel('总数')
for x in drive_plot.patches:
    drive_plot.annotate(format(x.get_height(),'.0f'),
                        (x.get_x()+x.get_width()/2,x.get_height()),
                        ha='center',va='center',
                        xytext=(0,10),
                        textcoords='offset points')


type_plot = sns.countplot(ax=ax[1,1],x='Type',data=data)
ax[1,1].set_title('车辆类型特征分布图')
ax[1,1].set_xlabel('车辆类型')
ax[1,1].set_ylabel('总数')
for x in type_plot.patches:
    type_plot.annotate(format(x.get_height(),'.0f'),
                        (x.get_x()+x.get_width()/2,x.get_height()),
                        ha='center',va='center',
                        xytext=(0,10),
                        textcoords='offset points')
plt.tight_layout()
plt.show()

1.大多数车都是一手车(只有一个前任车主)。

2.大多数车都是使用汽油(Petrol)，然后就是柴油(Diesel)，天然气(CNG)和液化石油气(LPG)作为燃料类型的车辆数量相对较少。

3.手动挡(Manual)车辆数量大于自动挡(Automatic)车辆数量。

4.掀背车(HatchBack)是最常见的车型，其次是轿车(Sedan)和SUV，豪华SUV(Lux_SUV)和豪华轿车(Lux_sedan)的数量相对较少。

plt.figure(figsize=(10,8))
registration = data['Location'].value_counts().reset_index()
# print(registration)
plt.bar(registration['Location'],registration['count'])
plt.title('车辆注册地址')
plt.xlabel('注册地')
plt.ylabel('数量')
plt.tight_layout()
plt.show()

MH和KA有较多的车辆注册，CH、KL、RJ、BR、AP、MP有较少的车辆注册，较少的注册数量可能表明在某些州二手车市场的规模较小。

plt.figure(figsize=(10,8))
sns.boxplot(x='Brand',y='Price',data=data)
plt.title('品牌和价格分布的箱线图')
plt.xlabel('品牌')
plt.ylabel('价格')
plt.tight_layout()
plt.show()

 可以看到，不同品牌之间的汽车价格有明显差异，达特桑(Datsun)、马鲁蒂(Maruti)价格普遍比较低，吉普(Jeep)、名爵(MG) 价格普遍偏高，当然，这也可能是因为数据样本少导致的，但是从整体上看，可以认为不同品牌之间的汽车价格有明显差异。

plt.figure(figsize=(10,8))
sns.regplot(x='Distance',y='Price',data=data,scatter_kws={'alpha':0.4},line_kws={'color':'red'})
plt.title('行驶距离和价格之间的关系图')
plt.xlabel('行驶距离')
plt.ylabel('价格')
plt.show()

行驶距离和价格之间没有明显的线性关系，虽然价格的整体趋势似乎随行驶距离的增加而下降，但数据点较为分散

plt.figure(figsize=(10,8))
sns.boxplot(x='Year',y='Price',data=data)
plt.title('年份和价格分布的箱线图')
plt.xlabel('年份')
plt.ylabel('价格')
plt.tight_layout()
plt.show()

购买年份是影响二手车价格的一个重要因素，不同年份的车辆价格分布有显著差异，随着购买年份越近，车辆价格也越高。

fig, axes = plt.subplots(2, 2, figsize=(24, 24))

# 前任车主的数量对价格的影响
sns.boxplot(ax=axes[0, 0], x='Owner', y='Price', data=data)
axes[0, 0].set_title('前任车主对价格的影响')
axes[0, 0].set_xlabel('前任车主的数量')
axes[0, 0].set_ylabel('价格')

# 燃料类型对价格的影响
sns.boxplot(ax=axes[0, 1], x='Fuel', y='Price', data=data)
axes[0, 1].set_title('燃料类型对价格的影响')
axes[0, 1].set_xlabel('燃料类型')
axes[0, 1].set_ylabel('价格')

# 变速器类型对价格的影响
sns.boxplot(ax=axes[1, 0], x='Drive', y='Price', data=data)
axes[1, 0].set_title('变速器类型对价格的影响')
axes[1, 0].set_xlabel('变速器类型')
axes[1, 0].set_ylabel('价格')

# 车辆类型对价格的影响
sns.boxplot(ax=axes[1, 1], x='Type', y='Price', data=data)
axes[1, 1].set_title('车辆类型对价格的影响')
axes[1, 1].set_xlabel('车辆类型')
axes[1, 1].set_ylabel('价格')

plt.tight_layout()
plt.show()

 1.前任车主越多，价格越低，至于4手车因为数据样本只有一个，导致价格偏高，但是仍然可以认为前任车主的数量与价格有显著关系。

2.柴油车的价格要高于其他三种类型的汽车，可以认为不同燃料类型之间的汽车价格有明显差异。

3.整体上，自动挡的车价格要高于手动挡的车。

4.豪华版的汽车价格整体上更贵，其次是SUV的价格高于轿车(Sedan)，高于掀背车(HatchBack)，也就是两厢车，因此可以认为不同类型之间的汽车价格有明显差异。

# 对于价格的影响因素我们可以通过斯皮尔曼来确定
print(data.info())
le = LabelEncoder()
for col in data.columns:
    data[col] = le.fit_transform(data[col])

corr = data.corr(method='spearman')
plt.figure(figsize=(10,8))
sns.heatmap(corr,color='red',annot=True,fmt='.2f')
plt.show()

 通过热力图我们可以发现年份，变速器类型，和车辆类型对价格的影响较高。

第五步：模型建立前的准备工作

new_data = pd.get_dummies(new_data,columns=['Brand','Fuel','Location','Type','Drive'],dtype=int)
# print(new_data.info())
# 对车辆行驶距离进行对数变化处理，因为行驶距离成右偏分布，对数变化可以使得数据更接近正态分布，而且缩小极端值的影响。
new_data['Log_Distance'] = np.log(data['Distance']+1)
# 最后，由于部分特征数据跨度较大，因此我们对数据进行标准化
scaler = StandardScaler()
features_to_scale = ['Year', 'Log_Distance', 'Owner']
new_data[features_to_scale] = scaler.fit_transform(new_data[features_to_scale])
# 由于我们前面对距离这一列进行对数化操作后，将其重新写入数据中，因此我们将原先的数据列删除
new_data.drop(['Distance'], axis=1, inplace=True)

df = new_data.drop('Price',axis=1)
df = sm.add_constant(df)
# 计算VIF值
vif_data = pd.DataFrame()
vif_data['feature'] = df.columns
vif_data['VIF'] = [variance_inflation_factor(df.values,i) for i in range(df.shape[1])]
# print(vif_data)
# 独热编码后又导致了无穷大的多重共线性，这里需要进行处理，直接删除独热编码产生的一个类别(建议选择数量最多的那个)，
# 这样删除的好处是，当其他类型都为0的时候，实际上表示了这个被删除的特征。
# for col in df.columns:
#     count = df[col].value_counts()
#     print(count)
# 删除一些独热编码新增的列
new_data.drop(['Brand_Maruti','Fuel_CNG','Location_MH','Type_HatchBack'], axis=1,inplace=True)
df = new_data.drop('Price',axis=1)
df = sm.add_constant(df)
# 计算VIF值，一般来说VIF大于10，这样我们会认为各个特征之间相关性较高，VIF小于5，我们认为各个特征之间相关性较小
vif_data = pd.DataFrame()
vif_data['feature'] = df.columns
vif_data['VIF'] = [variance_inflation_factor(df.values,i) for i in range(df.shape[1])]
# print(vif_data)

这里我们可以对比处理之后的VIF值

可以发现，删除了那几列后，除了常数项的方差膨胀因子(VIF)>10，其他特征均在1-4之间，可以认为这个数据特征不存在多重共线性，因此可以使用多元线性回归模型。

第六步：多元线性回归模型的建立

# 接下来我们开始建立模型
X = new_data.drop('Price',axis=1)
y = new_data['Price']
# 对X,y进行赋值后，我们对数据进行划分
X_train,X_test,y_train,y_test = train_test_split(X,y,test_size=0.3,random_state=42)

# 创建模型
Re = LinearRegression()
Re.fit(X_train,y_train)
# 对模型进行训练后，我们需要对残差的正态性分布进行验证，否则多元线性回归模型的预测结果会不准确
pred_y_train = Re.predict(X_train)
residuals = y_train-pred_y_train
# print(len(residuals))
# 绘制残差序列图
plt.figure(figsize=(10,8))
# sns.regplot(x=np.arange(len(residuals)),y=residuals,scatter_kws={'alpha':0.4},line_kws={'color':'yellow'})
plt.plot(residuals,marker='o',linestyle='')
plt.title('残差序列图')
plt.ylabel('残差')
plt.axhline(y=0,color='red',linestyle='-')
# plt.tight_layout()
# plt.show()
# 画出残差图后，我们对残差的独立性进行检验
dw = durbin_watson(residuals)
print('DW检验',dw)
# 接下来，我们判断残差的正态性性分布，这里我们用到了KS检验
ks_statistic,ks_p_values = kstest((residuals - np.mean(residuals))/np.std(residuals),'norm')
print('正态性P值',ks_p_values)
# 验证正态性后，我们还需要验证同方差性
df_ = sm.add_constant(X_train)
bp_test = het_breuschpagan(residuals,df_)
print('同方差P值',bp_test[1])

dw的值在2附近，说明残差的独立性，同时可以从p值看出，残差不符合正态性分布和同方差性分布，因此，不可以用多元线性回归来预测

那我们可以对数据进行优化，比如对因变量（y）进行BOX-COX变换，但是我自己变换后发现还是无法满足正态性分布和同方差性

所以，这里我就不对y进行变换了，不用多元线性回归，我们考虑其他回归模型，比如随机森林，神经网络等

第七步：随机森林模型的建立

Rtree = RandomForestRegressor(random_state=42)
Rtree.fit(X_train,y_train)
y_pred = Rtree.predict(X_test)
# class_report = classification_report(y_test,y_pred)    # 注意 classification_report  是用于分类变量的评价指标，不能用于连续变量
mse = mean_squared_error(y_test,y_pred)
r2 = r2_score(y_test,y_pred)
print('均方根误差：',mse)
print('R2决定系数',r2)

第八步：随机森林模型的优化

# 效果不是很理想，因此我们对随机森林进行优化，这里使用Hyperopt进行优化
def objective(params):
    Rtree = RandomForestRegressor(**params)
    score = -np.mean(cross_val_score(Rtree, X_train, y_train, cv=5, scoring='neg_mean_squared_error'))
    return {'loss': score, 'status': STATUS_OK, 'model': Rtree}

# 设定参数空间
space = {
    'n_estimators': hp.choice('n_estimators', range(10, 500)),
    'max_depth': hp.choice('max_depth', range(1, 50)),
    'min_samples_split': hp.choice('min_samples_split', range(2, 100)),
    'min_samples_leaf': hp.choice('min_samples_leaf', range(2, 100)),
}

# 运行优化
best = fmin(fn=objective, space=space, algo=tpe.suggest, max_evals=100)

print("Best parameters found: ", best)

Rtree = RandomForestRegressor(**best)
Rtree.fit(X_train,y_train)
y_pred = Rtree.predict(X_test)
mse = mean_squared_error(y_test,y_pred)
r2 = r2_score(y_test,y_pred)
print('均方根误差：',mse)
print('R2决定系数',r2)

对模型的优化没有没有多大提升，大家可以试着把n_estimators，max_depth等参数适当调大，可能运行时间较长

由于神经网络通常被称为“黑匣子”模型，因为其内部结构复杂，难以直观理解，且代码偏多，因此我会在后续的每周挑战中单独拿出一起来使用神经网络

问题：

这里我发现了一个问题，那就是我使用独热编码时不知道为什么会出现这种情况，但我前面对于人力资源分析这篇文章里面用的就是这个方法，对每一列进行独热编码，删除原先的列，将其经过独热编码的子列加入到数据集。我感觉思路应该没错，有解决思路的可以私聊我，也可以写在评论区。

encode = OneHotEncoder()
for col in new_data.columns:
    if data[col].dtype == object:
        encode_data = encode.fit_transform(new_data[[col]])
        new_data.drop(col, axis=1, inplace=True)
        encoded_columns = [f"{col}_{i}" for i in range(encode_data.shape[1])]
        new_data = pd.concat([new_data, pd.DataFrame(encode_data, columns=encoded_columns)], axis=1)


Traceback (most recent call last):
    new_data = pd.concat([new_data, pd.DataFrame(encode_data, columns=encoded_columns)], axis=1)
  File "D:\pyobject\pythonProject\.venv\lib\site-packages\pandas\core\frame.py", line 867, in __init__
    mgr = ndarray_to_mgr(
  File "D:\pyobject\pythonProject\.venv\lib\site-packages\pandas\core\internals\construction.py", line 336, in ndarray_to_mgr
    _check_values_indices_shape_match(values, index, columns)
  File "D:\pyobject\pythonProject\.venv\lib\site-packages\pandas\core\internals\construction.py", line 420, in _check_values_indices_shape_match
    raise ValueError(f"Shape of passed values is {passed}, indices imply {implied}")
ValueError: Shape of passed values is (7800, 1), indices imply (7800, 4)