损失函数

1. 训练数据（监督数据）/测试数据

2. 损失函数：一般使用均方误差、交叉熵误差

   均方误差:$E=\frac{1}{2}\Sigma (y_k-t_k{)}^2$

   t_k 表示监督数据，k为维数
   one-hot表示：正确解标签为1，其他为0

   def mean_squared_error(y,t):
       return 0.5*np.sum((y-t)**2) 
   

   交叉熵误差:$E=-\Sigma t_{k}lo{g}_e^{y^k}$

   正确标签的输出越大，交叉熵误差越接近0，当输出为1时，交叉熵误差为0

3. mini-batch:交叉熵误差$E=-\frac{1}{N}\Sigma t_{nk}lo{g}_e^{y^{nk}}$ 所有训练数据损失函数总和

数值微分

1. 数值微分：导数，偏导，梯度（向量）

   梯度指示的方向是函数值减少最多的的方向

   梯度法：寻找函数最小值，此时（损失）函数最小时，取得最优参数（权重与偏置） ，即神经网络最优化
   $x_0=x_0-\eta \frac{\partial f}{\partial x_0}$,式中$x_0$可以为ω、b，用于参数更新
   simoid函数:$h(x)=\frac{1}{（1+exp(-1)）}$，$dh(x)=h(x)(1-h(x))$
   超参数：学习率η等参数，需要人工设定