机器学习算法应用——神经网络回归任务、神经网络分类任务

神经网络回归任务（4-3）

神经网络回归任务，通常指的是使用神经网络模型进行回归分析。回归分析是一种统计学方法，用于研究一个或多个自变量（预测变量）与一个因变量（响应变量）之间的关系。神经网络回归模型结合了神经网络和回归分析的优点，能够处理复杂的非线性关系，并提供灵活的模型结构。

神经网络回归模型（如Quantile Regression Neural Network, QRNN）由Taylor于2000年提出，是一种非参数非线性方法。它不仅可以揭示响应变量的整个条件分布，还可以模拟金融系统等领域的非线性特征。神经网络回归模型的研究已经扩展到了多个领域，包括金融、电力、气象等，并取得了较好的研究成果。

在神经网络回归任务中，通常包括以下几个步骤：

1. 数据准备：收集具有自变量和因变量标签的数据集，并进行必要的数据预处理和特征工程。
2. 模型构建：选择适当的神经网络结构，并定义模型的参数和损失函数。
3. 模型训练：使用训练数据对神经网络进行训练，通过反向传播算法和梯度下降等方法优化模型的参数。
4. 模型评估：使用测试数据对训练好的神经网络进行评估，计算预测误差和其他性能指标。
5. 模型应用：将训练好的神经网络应用于实际问题中，进行预测和分析。

需要注意的是，神经网络回归模型在处理非线性关系时具有很强的能力，但也可能存在过拟合和解释性不足的问题。因此，在实际应用中需要根据具体问题和数据集的特点选择合适的模型和参数，并进行充分的验证和测试。

1. 数据

1. 使用留出法划分数据集，训练集:测试集为7:3

# 使用留出法划分数据集，训练集:测试集为7:3
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

1. 使用多层感知机回归模型对训练集进行训练

# 初始化多层感知机回归模型，并设置参数
model = MLPRegressor(max_iter=1000, random_state=42, hidden_layer_sizes=(100,))

1. 使用训练好的模型对测试集进行预测并输出预测结果和模型的MSE和MAE。

# 对训练集进行训练
model.fit(X_train, y_train)

# 使用训练好的模型对测试集进行预测
y_pred = model.predict(X_test)

# 计算模型的均方误差（MSE）和平均绝对误差（MAE）
mse = mean_squared_error(y_test, y_pred)
mae = mean_absolute_error(y_test, y_pred)

# 输出预测结果和模型的MSE和MAE
print("预测结果：", y_pred)
print("模型的均方误差（MSE）：", mse)
print("模型的平均绝对误差（MAE）：", mae)

1. 使用训练好的模型对如下数据的房价进行预测并输出结果。

# 创建新数据
new_data = pd.DataFrame([[3.0, 2.5, 1490, 8102, 2.0, 0, 0, 4, 1490, 0, 1990, 0]], columns=feature_names)

# 使用训练好的模型对提供的数据进行预测
predicted_price = model.predict(new_data)
print("提供的数据的房价预测结果：", predicted_price)

数据：[3.0,2.5,1490,8102,2.0,0,0,4,1490,0,1990,0]

 完整代码：

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.neural_network import MLPRegressor
from sklearn.metrics import mean_squared_error, mean_absolute_error

# 读取数据
df = pd.read_csv('house-price.csv')
df = df.drop(columns=['date', 'street', 'city', 'statezip', 'country'])

# 设置特征名称
feature_names = ['bedrooms', 'bathrooms', 'sqft_living', 'sqft_lot', 'floors', 'waterfront', 'view', 'condition', 'sqft_above', 'sqft_basement', 'yr_built', 'yr_renovated']
X = df[feature_names]
y = df['price']

# 使用留出法划分数据集，训练集:测试集为7:3
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 初始化多层感知机回归模型，并设置参数
model = MLPRegressor(max_iter=1000, random_state=42, hidden_layer_sizes=(100,))

# 对训练集进行训练
model.fit(X_train, y_train)

# 使用训练好的模型对测试集进行预测
y_pred = model.predict(X_test)

# 计算模型的均方误差（MSE）和平均绝对误差（MAE）
mse = mean_squared_error(y_test, y_pred)
mae = mean_absolute_error(y_test, y_pred)

# 输出预测结果和模型的MSE和MAE
print("预测结果：", y_pred)
print("模型的均方误差（MSE）：", mse)
print("模型的平均绝对误差（MAE）：", mae)

# 创建新数据
new_data = pd.DataFrame([[3.0, 2.5, 1490, 8102, 2.0, 0, 0, 4, 1490, 0, 1990, 0]], columns=feature_names)

# 使用训练好的模型对提供的数据进行预测
predicted_price = model.predict(new_data)
print("提供的数据的房价预测结果：", predicted_price)

5.神经网络分类任务（4-3）

神经网络分类任务是指利用神经网络模型对输入数据进行分类。在分类任务中，神经网络通过学习输入数据中的特征和模式，将输入数据划分为不同的类别。这些类别可以是预定义的，也可以是神经网络在训练过程中自动学习得到的。

神经网络分类任务通常包括以下几个步骤：

1. 数据准备：收集具有标签（即类别）的数据集，并进行必要的数据预处理和特征提取。
2. 神经网络设计：选择合适的神经网络结构，如卷积神经网络（CNN）、循环神经网络（RNN）、递归神经网络（RNNs的一种）或图神经网络（GNN）等，并确定网络的层数、节点数、激活函数等参数。
3. 训练神经网络：使用带有标签的训练数据对神经网络进行训练。在训练过程中，神经网络会学习输入数据中的特征和模式，并调整网络参数以最小化预测误差。
4. 评估和优化：使用测试数据对训练好的神经网络进行评估，计算分类准确率、召回率、F1分数等指标。根据评估结果对神经网络进行优化，如调整网络结构、改变学习率等。
5. 部署和应用：将训练好的神经网络部署到实际应用中，对新的输入数据进行分类和预测。

在神经网络分类任务中，不同的神经网络结构适用于不同的数据类型和任务需求。例如，卷积神经网络在图像分类任务中表现出色，而循环神经网络则更适合处理序列数据（如文本、语音等）。图神经网络则特别适用于处理图结构数据，如社交网络、蛋白质结构等。

需要注意的是，神经网络分类任务的性能受到多种因素的影响，包括数据集的质量、网络结构的选择、参数的调整等。因此，在实际应用中需要根据具体情况进行选择和调整，以获得最佳的分类性能。

1. 数据

1. 用1-10行数据作为训练集，用11-20行数据作为测试集。

# 加载数据
df = pd.read_excel('企业贷款审批数据表.xlsx')  # 请替换成你的数据文件路径

# 划分训练集和测试集
train_data = df.iloc[0:17]  # 使用1-10行数据作为训练集
test_data = df.iloc[17:20]  # 使用11-20行数据作为测试集

# 特征和标签
X_train = train_data.drop(columns=['Y'])  # 特征
y_train = train_data['Y']  # 标签
X_test = test_data.drop(columns=['Y'])  # 特征
y_test = test_data['Y']  # 标签

1. 使用多层感知机分类模型对训练集进行训练

# 初始化多层感知机分类模型
model = MLPClassifier(max_iter=1000, random_state=42)

# 训练模型
model.fit(X_train, y_train)

1. 使用训练好的模型对测试集进行预测并输出预测结果和模型准确度。

# 对测试集进行预测
y_pred = model.predict(X_test)

# 计算模型准确度
accuracy = accuracy_score(y_test, y_pred)
print("模型准确度：", accuracy)

1. 使用模型对21-25行数据的贷款申请进行评估，输出评估结果（1为同意，0为拒绝）。

# 准备新数据
new_data = df.iloc[20:25].drop(columns=['Y'])

# 使用训练好的模型进行评估
evaluation_result = model.predict(new_data)
print("评估结果：", evaluation_result)

完整代码：

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.neural_network import MLPClassifier
from sklearn.metrics import accuracy_score

# 加载数据
df = pd.read_excel('企业贷款审批数据表.xlsx')  # 请替换成你的数据文件路径

# 划分训练集和测试集
train_data = df.iloc[0:17]  # 使用1-10行数据作为训练集
test_data = df.iloc[17:20]  # 使用11-20行数据作为测试集

# 特征和标签
X_train = train_data.drop(columns=['Y'])  # 特征
y_train = train_data['Y']  # 标签
X_test = test_data.drop(columns=['Y'])  # 特征
y_test = test_data['Y']  # 标签

# 初始化多层感知机分类模型
model = MLPClassifier(max_iter=1000, random_state=42)

# 训练模型
model.fit(X_train, y_train)

# 对测试集进行预测
y_pred = model.predict(X_test)

# 计算模型准确度
accuracy = accuracy_score(y_test, y_pred)
print("模型准确度：", accuracy)

# 准备新数据
new_data = df.iloc[20:25].drop(columns=['Y'])

# 使用训练好的模型进行评估
evaluation_result = model.predict(new_data)
print("评估结果：", evaluation_result)