前言
本次笔记来源于学习Datawhale AI夏令营的记录概要，纯私人记录,部分图片来源于其他帖子。
资料链接：Datawhale-学用 AI,从此开始
6.1 神经网络模型
神经网络（neural networks）是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反映。神经网络中最基本的成分是神经元（neuron）模型，即上述定义中的“简单单元”。
M-P神经元：一个用来模拟生物行为的数学模型，接受n个输入（通常是来自其他神经元），并给各个输入赋予权重计算加权和，然后和自身特有的阈值进行比较（做减法），最后经过激活函数（模拟抑制和激活），处理得到输出（通常是给下一个神经元）
单个M-P神经元：感知机（sgn作激活函数），对数几率回归（sigmoid作激活函数）
多个M-P神经元：神经网络
6.2 感知机
感知机模型：激活函数为sgn（阶跃函数）的神经元
感知机的学习目标：求得能对数据集T中的正负样本完全正确划分的超平面，其中即为超平面方程。
感知机学习策略：感知机是一种基础的线性分类算法，通过不断调整权重和偏置来学习一个线性决策边界。训练过程包括计算每个输入数据的预测值，若预测错误，则根据误差更新权重和偏置，直到所有样本被正确分类或达到最大迭代次数。感知机适用于线性可分问题，但对于线性不可分的数据，无法收敛并找到准确的分类器。
感知机学习算法：当误分类样本集合M固定时，那么可以求得损失函数L(w)的梯度为
具体采用的是随机梯度下降法，也就是极小化过程中不是一次使M中所有误分类点的梯度下降，而是一次随机选取一个误分类点使其梯度下降，所以权重w的更新公式为：
6.3 神经网络
由于像感知机这种单个神经元分类能力有限，只能分类线性可分的数据集，对于线性不可分的数据集则无能为力，但是多个神经元构成的神经网络能够分类线性不可分的数据集，且有理论证明（通用近似定理）：只需一个包含足够多神经元的隐层，多层前馈网络，就能以任意精度逼近任意复杂度的连续函数。因此，神经网络既能做回归，也能做分类，而且不需要复杂的特征工程。
多层前馈网络：每层神经元与下一层神经元全互连，神经元之间不存在同层连接，也不存在跨层连接。
将神经网络（NN）看做一个特征加工函数
（单输出）回归：后面接一个的神经元，例如：没有激活函数的神经元
分类：后面接一个的神经元，例如：激活函数为sigmoid函数的神经元
在模型训练过程中，神经网络（NN）自动学习提取有用的特征
6.4 误差逆传播算法（BP算法）
基于随机梯度下降的参数更新算法：