卷积神经网络是如何反向调整参数的？
如何对CNN网络的卷积层进行反向传播
在多分类中，CNN的输出层一般都是SoftmaxAI爱发猫 www.aifamao.com。RBF在我的接触中如果没有特殊情况的话应该是“径向基函数”（RadialBasisFunction）。
在DNN兴起之前，RBF由于出色的局部近似能力，被广泛应用在SVM的核函数中，当然也有我们熟悉的RBF神经网络（也就是以RBF函数为激活函数的单隐含层神经网络）。
如果说把RBF作为卷积神经网络的输出，我觉得如果不是有特殊的应用背景的话，它并不是一个很好的选择。至少从概率角度上讲，RBF没有Softmax那样拥有良好的概率特性。
如果题主是在什么地方看到它的源代码并且感到困惑的话，可以贴上源链接一起讨论一下。
的定义和计算公式参考：/link?url=7LE6KImv5IveCM90JcnctlgVY7OgCd7E_G0Yv0vyTfV3P8S3Q_rZU3CM6f0udS-b6ux2w-hejkOrGMkmj8Nqba。
如何理解神经网络里面的反向传播算法
1.普通的机器学习模型：其实，基本上所有的基本机器学习模型都可以概括为以下的特征：根据某个函数，将输入计算并输出。
图形化表示为下图：当我们的g(h)为sigmoid函数时候，它就是一个逻辑回归的分类器。当g(h)是一个只能取0或1值的函数时，它就是一个感知机。
那么问题来了，这一类模型有明显缺陷：当模型线性不可分的时候，或者所选取得特征不完备（或者不够准确）的时候，上述分类器效果并不是特别喜人。
如下例：我们可以很轻易的用一个感知机模型（感知器算法）来实现一个逻辑与（and），逻辑或（or）和逻辑或取反的感知器模型，（感知器模型算法链接），因为上述三种模型是线性可分的。
但是，如果我们用感知器模型取实现一个逻辑非异或（相同为1，不同为0），我们的训练模型的所有输出都会是错误的，该模型线性不可分！
2.神经网络引入：我们可以构造以下模型：（其中，A代表逻辑与，B代表逻辑或取反，C代表逻辑或）上述模型就是一个简单的神经网络，我们通过构造了三个感知器，并将两个感知器的输出作为了另一个感知其的输入，实现了我们想要的逻辑非异或模型，解决了上述的线性不可分问题。
那么问题是怎么解决的呢？其实神经网络的实质就是每一层隐藏层（除输入和输出的节点，后面介绍）的生成，都生成了新的特征，新的特征在此生成新的特征，知道最新的特征能很好的表示该模型为止。
这样就解决了线性不可分或特征选取不足或不精确等问题的产生。
（以前曾介绍过线性不可分的实质就是特征不够）神经网络的模型结构如下：（蓝色，红色，黄色分别代表输入层，影藏层，输出层）在此我们介绍的神经网络中的每一个训练模型用的都是逻辑回归模型即g(h)是sigmoid函数。
我们可以将神经网络表示如下：3.神经网络的预测结果（hypothesis函数）的计算和CostFunction的计算预测结果的计算其实与普通的逻辑回归计算没有多大区别。
只是有时候需要将某几个逻辑回归的输出作为其他逻辑回归模型的输入罢了，比如上例的输出结果为：那么CostFunction的计算又和逻辑回归的CostFunction计算有什么区别呢？
逻辑回归的CostFunction如下：上述式子的本质是将预测结果和实际标注的误差用某一种函数估算，但是我们的神经网络模型有时候输出不止一个，所以，神经网络的误差估算需要将输出层所有的CostFunction相加：k：代表第几个输出。
补充：神经网络可以解决几分类问题？
理论上，当输出单元只有一个时，可以解决2分类问题，当输出单元为2时可以解决4分类问题，以此类推...实质上，我们三个输出单元时，可以解决三分类问题（[1,0,0],[0,1,0],[0,0,1]）,为什么如此设计？
暂时留白，以后解决ps：面试题：一个output机器，15%可能输出1，85%输出0，构造一个新的机器，使0,1输出可能性相同？
答：让output两次输出01代表0，10代表1，其余丢弃4.神经网络的训练这儿也同于logistic回归，所谓的训练也就是调整w的权值，让我们再一次把神经网络的CostFunction写出来！
W代表所有层的特征权值，Wij(l)代表第l层的第i个元素与第j个特征的特征权值m代表样本个数，k代表输出单元个数hw(x(i))k代表第i个样本在输出层的第k个样本的输出y(i)k代表第i个样本的第k个输出然后同于logistic回归，将所有的W更新即可。
难处在于此处的偏导数怎么求？
首先得说说链式求导法则：所以我们可以有：接下来的问题就是有theta了，当我们要求的错误变化率是最后一层（最后一层既是输出层的前一层）且只看一个输出神经元时则：多个相加即可那么中间层次的神经元变化率如何求得呢？
我们需要研究l层和了+1层之间的关系，如下图：第l层的第i个Z与第l层的第i个a的关系就是取了一个sigmod函数，然而第l层的第i个a与和其对应的w相乘后在加上其他的节点与其权值的乘积构成了第l+1层的Z，好拗口，好难理解啊，看下式：大体也就是这么个情况，具体的步骤为：1.利用前向传播算法，计算出每个神经元的输出2.对于输出层的每一个输出，计算出其所对应的误差3.计算出每个神经元的错误变化率即：4.计算CostFunction的微分，即：
BP神经网络反向传播中的问题
。
BP算法的基本思想是：学习过程由信号正向传播与误差的反向回传两个部分组成；正向传播时，输入样本从输入层传入，经各隐层依次逐层处理，传向输出层，若输出层输出与期望不符，则将误差作为调整信号逐层反向回传，对神经元之间的连接权矩阵做出处理，使误差减小。
经反复学习，最终使误差减小到可接受的范围。具体步骤如下：1、从训练集中取出某一样本，把信息输入网络中。2、通过各节点间的连接情况正向逐层处理后，得到神经网络的实际输出。
3、计算网络实际输出与期望输出的误差。4、将误差逐层反向回传至之前各层，并按一定原则将误差信号加载到连接权值上，使整个神经网络的连接权值向误差减小的方向转化。
5、対训练集中每一个输入—输出样本对重复以上步骤，直到整个训练样本集的误差减小到符合要求为止。
反向传播算法的算法简介
反向传播算法（backpropagation）是目前用来训练人工神经网络（artificialneuralnetwork，ann）的最常用且最有效的算法。
其主要思想是：（1）将训练集数据输入到ann的输入层，经过隐藏层，最后达到输出层并输出结果，这是ann的前向传播过程；（2）由于ann的输出结果与实际结果有误差，则计算估计值与实际值之间的误差，并将该误差从输出层向隐藏层反向传播，直至传播到输入层；（3）在反向传播的过程中，根据误差调整各种参数的值；不断迭代上述过程，直至收敛。
反向传播算法的思想比较容易理解，但具体的公式则要一步步推导，因此本文着重介绍公式的推导过程。1.变量定义上图是一个三层人工神经网络，layer1至layer3分别是输入层、隐藏层和输出层。
如图，先定义一些变量：表示第层的第个神经元连接到第层的第个神经元的权重；表示第层的第个神经元的偏置；表示第层的第个神经元的输入，即：表示第层的第个神经元的输出，即：其中表示激活函数。
2.代价函数代价函数被用来计算ann输出值与实际值之间的误差。
常用的代价函数是二次代价函数（quadraticcostfunction）：其中，表示输入的样本，表示实际的分类，表示预测的输出，表示神经网络的最大层数。
3.公式及其推导本节将介绍反向传播算法用到的4个公式，并进行推导。如果不想了解公式推导过程，请直接看第4节的算法步骤。
首先，将第层第个神经元中产生的错误（即实际值与预测值之间的误差）定义为：本文将以一个输入样本为例进行说明，此时代价函数表示为：公式1（计算最后一层神经网络产生的错误）：其中，表示hadamard乘积，用于矩阵或向量之间点对点的乘法运算。
公式1的推导过程如下：公式2（由后往前，计算每一层神经网络产生的错误）：推导过程：公式3（计算权重的梯度）：推导过程：公式4（计算偏置的梯度）：推导过程：4.反向传播算法伪代码输入训练集对于训练集中的每个样本x，设置输入层（inputlayer）对应的激活值：前向传播：，计算输出层产生的错误：
深度神经网络是如何训练的？
Coursera的Ng机器学习，UFLDL都看过。没记错的话Ng的机器学习里是直接给出公式了，虽然你可能知道如何求解，但是即使不知道完成作业也不是问题，只要照着公式写就行。
反正我当时看的时候心里并没能比较清楚的明白。我觉得想了解深度学习UFLDL教程-Ufldl是不错的。有习题，做完的话确实会对深度学习有更加深刻的理解，但是总还不是很清晰。
后来看了LiFeiFei的StanfordUniversityCS231n:ConvolutionalNeuralNetworksforVisualRecognition，我的感觉是对CNN的理解有了很大的提升。
沉下心来推推公式，多思考，明白了反向传播本质上是链式法则(虽然之前也知道，但是当时还是理解的迷迷糊糊的)。所有的梯度其实都是对最终的loss进行求导得到的，也就是标量对矩阵or向量的求导。
当然同时也学到了许多其他的关于cnn的。并且建议你不仅要完成练习，最好能自己也写一个cnn，这个过程可能会让你学习到许多更加细节和可能忽略的东西。
这样的网络可以使用中间层构建出多层的抽象，正如我们在布尔线路中做的那样。
例如，如果我们在进行视觉模式识别，那么在第一层的神经元可能学会识别边，在第二层的神经元可以在边的基础上学会识别出更加复杂的形状，例如三角形或者矩形。第三层将能够识别更加复杂的形状。依此类推。
这些多层的抽象看起来能够赋予深度网络一种学习解决复杂模式识别问题的能力。然后，正如线路的示例中看到的那样，存在着理论上的研究结果告诉我们深度网络在本质上比浅层网络更加强大。
循环神经网络的反向传播
可以采用MATLAB软件中的神经网络工具箱来实现BP神经网络算法。BP神经网络的学习过程由前向计算过程、误差计算和误差反向传播过程组成。
双含隐层BP神经网络的MATLAB程序，由输入部分、计算部分、输出部分组成，其中输入部分包括网络参数与训练样本数据的输入、初始化权系、求输入输出模式各分量的平均值及标准差并作相应数据预处理、读入测试集样本数据并作相应数据预处理；计算部分包括正向计算、反向传播、计算各层权矩阵的增量、自适应和动量项修改各层权矩阵；输出部分包括显示网络最终状态及计算值与期望值之间的相对误差、输出测试集相应结果、显示训练，测试误差曲线。
什么是卷积神经网络？为什么它们很重要
卷积神经网络（ConvolutionalNeuralNetwork,CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。
[1] 它包括卷积层(alternatingconvolutionallayer)和池层(poolinglayer)。卷积神经网络是近年发展起来，并引起广泛重视的一种高效识别方法。
20世纪60年代，Hubel和Wiesel在研究猫脑皮层中用于局部敏感和方向选择的神经元时发现其独特的网络结构可以有效地降低反馈神经网络的复杂性，继而提出了卷积神经网络（ConvolutionalNeuralNetworks-简称CNN）。
现在，CNN已经成为众多科学领域的研究热点之一，特别是在模式分类领域，由于该网络避免了对图像的复杂前期预处理，可以直接输入原始图像，因而得到了更为广泛的应用。
K.Fukushima在1980年提出的新识别机是卷积神经网络的第一个实现网络。随后，更多的科研工作者对该网络进行了改进。
其中，具有代表性的研究成果是Alexander和Taylor提出的“改进认知机”，该方法综合了各种改进方法的优点并避免了耗时的误差反向传播。