1.神经网络
1.1损失函数
损失函数的作用：衡量模型模型预测的好坏。再简单一点说就是：损失函数就是用来表现预测与实际数据的差距程度。
神经网络的本质是提取特征
引入非线性函数
1.2激活函数
- 激活函数可以引入非线性因素。 如果不使用激活函数，则输出信号仅是一个简单的线性函数。 线性函数一个一级多项式，线性方程的复杂度有限，从数据中学习复杂函数映射的能力很小。 没有激活函数，神经网络将无法学习和模拟其他复杂类型的数据，例如图像、视频、音频、语音等。
- 激活函数可以把当前特征空间通过一定的线性映射转换到另一个空间，让数据能够更好的被分类。
1.3数据预处理
数据预处理可以把对最终分析结果影响较大的不一致数据、虚假数据、错误数据等等数据排除在外，保证了数据分析结果具有较大的准确性
python机器学习之数据的预处理（五种方式数据处理案例详解）_python数据预处理-CSDN博客
4参数初始化
为了让神经网络学习得快一些，我们希望激活函数sigmoid的导数较大。我们知道，一个神经元的输入是前一层神经元的输出的加权和。因此，我们可以通过控制权重参数初始值的范围，使得神经元的输入落在我们需要的范围内，以便梯度下降能够更快的进行。
pytorch中的参数初始化方法总结_pytorch中的reset_parameters-CSDN博客
深入理解dropout(原理+手动实现+实战)_dropout实现-CSDN博客
深度学习中Dropout原理解析 - 知乎 (zhihu.com)
2.卷积神经网络
卷积的特点：局部感知、参数共享、多核
局部感知，简单来说，卷积核的大小一般小于输入图像的大小（如果等于则是全连接），因此卷积提取出的特征会更多地关注局部 —— 这很符合日常我们接触到的图像处理。而每个神经元其实没有必要对全局图像进行感知，只需要对局部进行感知，然后在更高层将局部的信息综合起来就得到了全局的信息。
参数共享，参数共享最大的作用莫过于很大限度地减少运算量了。
多核，一般我们都不会只用一个卷积核对输入图像进行过滤，因为一个核的参数是固定的，其提取的特征也会单一化。这就有点像是我们平时如何客观看待事物，必须要从多个角度分析事物，这样才能尽可能地避免对该事物产生偏见。我们也需要多个卷积核对输入图像进行卷积
卷积神经网络CNN特点功能及其缺陷_cnn的作用-CSDN博客
1.1卷积神经网络参数
1.2 池化层
增加网络的非线性映射
1.3 经典网络 alexnet vgg resnet
残差结构 稳赚不赔 至少不必原来差
1.4 感受野
感受野是什么？
在卷积神经网络中，决定某一层输出结果中一个元素所对应的输入层的区域大 小，被称作感受野(receptive field)。通俗的解释是，输出feature map上的一个单元对应输入层上的区域大小。
计算机视觉面临的挑战
深度学习要在历史数据中进行特征提取，学习其分布和规律，但是新的数据会发生不断地变化，新的数据分布和历史数据分布不一致