脉冲神经网络入门指南（五）反向传播方式【原理理解】

一、反向传播的基本原理

反向传播（Backpropagation, BP）是一种用于训练神经网络的技术。它通过链式法则计算损失函数相对于每个参数的梯度，从而进行参数更新。

基本概念

反向传播是一种优化算法，用于通过计算梯度来最小化神经网络的损失函数。反向传播的核心思想是使用链式法则来计算损失函数相对于每个网络参数的梯度，从而更新参数以减少损失。

什么是链式法则？

链式法则（Chain Rule）是微积分中的一个重要法则，用于计算复合函数的导数。它告诉我们，如果一个函数 $f$ 可以表示为另一个函数 $g$ 的复合，即 $f(g(x))$ ，那么 $f$ 对 $x$ 的导数可以分解为 $f$ 对 $g$ 的导数乘以 $g$ 对 $x$ 的导数。

数学上，链式法则可以表示为：
$$\frac{d}{dx}f(g(x))=f^{\prime }(g(x))\cdot g^{\prime }(x)$$

反向传播的过程

假设我们有一个简单的两层神经网络：

1. 输入层： $x$
2. 隐藏层： $h=f(Wx+b)$ ，其中 $W$ 是权重矩阵， $b$ 是偏置， $f$ 是激活函数。
3. 输出层： $\hat{y}=g(Vh+c)$ ，其中 $V$ 是权重矩阵， $c$ 是偏置， $g$ 是激活函数。

目标是通过最小化损失函数 $L(\hat{y},y)$ 来训练网络，其中 $y$ 是真实标签。

反向传播步骤

1. 前向传播（Forward Propagation）：

   • 计算隐藏层输出： $h=f(Wx+b)$
   • 计算最终输出： $\hat{y}=g(Vh+c)$

2. 计算损失（Loss Calculation）：

   • 损失函数： $L(\hat{y},y)$

3. 反向传播（Backward Propagation）：

   • 目标：计算损失函数 $L$ 相对于所有参数 $W,b,V,c$ 的梯度。

举例：具体计算梯度

假设激活函数 $f$ 和 $g$ 都是简单的线性函数（即 $f(x)=x$ 和 $g(x)=x$ ），损失函数为均方误差（MSE）：

$$L(\hat{y},y)=\frac{1}{2}(\hat{y}-y{)}^2$$

1. 前向传播：

$$h=Wx+b$$
$$\hat{y}=Vh+c$$

2. 计算损失：

$$L(\hat{y},y)=\frac{1}{2}(\hat{y}-y{)}^2$$

3. 反向传播：

Step 1: 计算输出层的梯度

对输出层的输出 $\hat{y}$ 求导：

$$\frac{\partial L}{\partial \hat{y}}=\hat{y}-y$$

对 $V$ 和 $c$ 求导：

$$\frac{\partial L}{\partial V}=\frac{\partial L}{\partial \hat{y}}\cdot \frac{\partial \hat{y}}{\partial V}=(\hat{y}-y)\cdot h$$

$$\frac{\partial L}{\partial c}=\frac{\partial L}{\partial \hat{y}}\cdot \frac{\partial \hat{y}}{\partial c}=(\hat{y}-y)\cdot 1=(\hat{y}-y)$$

Step 2: 计算隐藏层的梯度

对隐藏层的输出 ( h ) 求导：

$$\frac{\partial L}{\partial h}=\frac{\partial L}{\partial \hat{y}}\cdot \frac{\partial \hat{y}}{\partial h}=(\hat{y}-y)\cdot V$$

对 $W$ 和 $b$ 求导：

$$\frac{\partial L}{\partial W}=\frac{\partial L}{\partial h}\cdot \frac{\partial h}{\partial W}=((\hat{y}-y)\cdot V)\cdot x$$

$$\frac{\partial L}{\partial b}=\frac{\partial L}{\partial h}\cdot \frac{\partial h}{\partial b}=(\hat{y}-y)\cdot V$$

为什么要求导？

求导（计算梯度）是为了直到损失函数L对每个参数的敏感度。具体来说，梯度告诉我们如果稍微调整一个参数 $\theta$，损失L会如何变化。

通过知道这个变化的方向和大小，我们可以调整参数，使得损失函数变小，这也就是优化模型的过程。

对于神经网络来说，输出层的梯度计算是反向传播的起点，因为输出层直接影响损失函数。我们需要知道损失函数对输出层输出的影响，以便逐层传播回去，调整每一层的参数

更新参数：

使用梯度下降法更新参数：

$$W\leftarrow W-\eta \frac{\partial L}{\partial W}$$
$$b\leftarrow b-\eta \frac{\partial L}{\partial b}$$
$$V\leftarrow V-\eta \frac{\partial L}{\partial V}$$
$$c\leftarrow c-\eta \frac{\partial L}{\partial c}$$

其中，$\eta$ 是学习率。

为什么可以使用梯度下降法更新？原理是什么？

梯度下降法是一种优化算法，用于最小化目标函数（在这里是损失函数）。它的基本思想是 沿着目标函数梯度的负方向更新参数 ，因为梯度指示了函数增大的最快方向，而我们希望减少损失函数的值。
具体来说，梯度下降法的更新规则是：
$$\theta \leftarrow \theta -\eta \frac{\partial L}{\partial \theta }$$
其中：

• $\theta$ 是需要更新的参数
• $\eta$ 是学习率，控制每次更新的步长
• $\frac{\partial L}{\partial \theta }$ 是损失函数对参数 $\theta$ 的梯度
  
  

梯度下降法的原理基于以下几点：

1. 梯度的方向性：梯度指示了函数增大的方向。为了最小化损失函数，我们沿着梯度的负方向更新参数。
2. 迭代更新：通过多次迭代更新参数，逐步逼近损失函数的局部最小值。
3. 学习率控制：学习率决定了每次更新的步长。如果步长太大，可能会错过最优点；如果步长太小，收敛速度会很慢。

通过反向传播计算出每个参数的梯度后，我们使用梯度下降法来更新这些参数，使得损失函数逐步减小，从而训练出一个性能更好的模型。

如何理解“梯度指示了函数增大的方向”？

梯度是函数在某一点的导数向量，表示该点在各个方向上的 变化率 。在一个多维空间中， 梯度向量的方向指向函数值增长最快的方向 。我们来举个简单的二维例子来帮助理解。

假设我们有一个二维函数 $f(x,y)$ ，在某个点 $(x_0,y_0)$ ，函数值为 $f(x_0,y_0)$ 。如果我们在该点计算梯度 $\nabla f(x_0,y_0)$ ，得到的梯度向量可能是 $(\partial f/\partial x,\partial f/\partial y)$。

这个梯度向量表示在 $(x_0,y_0)$ 点，函数 $f$ 在 $x$ 和 $y$ 方向上的变化率。梯度的方向就是函数值增加最快的方向，即如果我们沿着梯度的方向移动，函数值会迅速增大。

为了最小化函数值，我们需要沿着梯度的反方向（即梯度的负方向）移动，因为这会使函数值减小。这就是梯度下降法的基本原理。

为什么梯度的方向是函数值增加最快的方向？

1. 梯度的直观理解

我们先从二维空间中的一个简单例子开始，假设我们有一个函数 $f(x,y)$ ，其图像是一个地形图，表示一个山的高度。梯度 $\nabla f(x,y)$ 在某点 $(x_0,y_0)$ 处的方向和大小，表示在该点处函数值变化最快的方向和变化的速度。

2. 梯度的定义

在多维空间中，函数 $f$ 的梯度 $\nabla f$ 是一个向量，其每个分量是函数在该方向上的偏导数：

$$\nabla f=\left(\frac{\partial f}{\partial x_1},\frac{\partial f}{\partial x_2},\dots ,\frac{\partial f}{\partial x_n}\right)$$

这个向量在点 $(x_0,y_0)$ 处的方向，就是 函数值增加最快的方向 。

3. 具体的例子

考虑一个简单的函数 $f(x,y)=x^2+y^2$ ，其梯度是：

$$\nabla f(x,y)=\left(\frac{\partial f}{\partial x},\frac{\partial f}{\partial y}\right)=(2x,2y)$$

4. 在点 (1, 1) 处的梯度

假设我们在点 ( (1, 1) ) 处，那么梯度就是：

$$\nabla f(1,1)=(2\cdot 1,2\cdot 1)=(2,2)$$

这个梯度向量 $(2,2)$ 指向坐标轴的第一个象限，并且指示了函数 $f(x,y)$ 在这个点处增加最快的方向。

5. 梯度的几何解释

如果我们在点 $(1,1)$ 沿着梯度方向 $(2,2)$ 移动，函数值会迅速增加。具体来说，如果我们沿着梯度的方向小步移动 $\Delta s$ ，新点的坐标为 $(1+\Delta s\cdot 2,1+\Delta s\cdot 2)$ 。

6. 数学证明

要证明梯度是函数值增加最快的方向，可以从以下角度考虑：

我们在 $(x_0,y_0)$ 点沿着一个单位向量 $\mathbf{u}$ 的方向移动一小步 $\Delta s$ ，那么函数值的变化量为：

$$\Delta f=f(x_0+\Delta s\cdot u_x,y_0+\Delta s\cdot u_y)-f(x_0,y_0)$$

在 $(x_0,y_0)$ 点附近，我们可以使用泰勒展开来近似表示函数 $f(x,y)$ 的变化。泰勒展开的一阶近似形式为：

$$f(x_0+\Delta x,y_0+\Delta y)\approx f(x_0,y_0)+\frac{\partial f}{\partial x}\Delta x+\frac{\partial f}{\partial y}\Delta y$$

泰勒展开是一种用于近似表示函数在某点附近的值的方法。它将一个函数表示为无穷阶导数的级数。泰勒展开的一阶近似形式如下：
$$f(x_0+\Delta x)\approx f(x_0)+\frac{df}{dx}(x_0)\Delta x$$

其中，$f(x_0)$ 是函数 $f(x)$ 在点 $x_0$ 处的值，$\frac{df}{dx}(x_0)$ 是函数 $f(x)$ 在点 $x_0$ 处的导数。

对于二元函数 $f(x,y)$，泰勒展开可以表示为：
$$f(x_0+\Delta x,y_0+\Delta y)\approx f(x_0,y_0)+\frac{\partial f}{\partial x}(x_0,y_0)\Delta x+\frac{\partial f}{\partial y}(x_0,y_0)\Delta y$$
这里，$\frac{\partial f}{\partial x}(x_0,y_0)$ 和 $\frac{\partial f}{\partial y}(x_0,y_0)$ 分别表示函数 $f(x,y)$ 在点 $(x_0,y_0)$ 处的偏导数。

对于给定的步长 $\Delta x$ 和 $\Delta y$ ，可以使用泰勒展开来近似计算函数值的变化 $\Delta f$ 。

将 $\Delta x=\Delta s\cdot u_x$ 和 $\Delta y=\Delta s\cdot u_y$ 代入上式，得到：

$$f(x_0+\Delta s\cdot u_x,y_0+\Delta s\cdot u_y)\approx f(x_0,y_0)+\frac{\partial f}{\partial x}(\Delta s\cdot u_x)+\frac{\partial f}{\partial y}(\Delta s\cdot u_y)$$

进一步整理可得：

$$f(x_0+\Delta s\cdot u_x,y_0+\Delta s\cdot u_y)\approx f(x_0,y_0)+\frac{\partial f}{\partial x}{u}_x\Delta s+\frac{\partial f}{\partial y}{u}_y\Delta s$$

由于 $\nabla f=\left(\frac{\partial f}{\partial x},\frac{\partial f}{\partial y}\right)$ ，可以将上式改写为：

$$f(x_0+\Delta s\cdot u_x,y_0+\Delta s\cdot u_y)\approx f(x_0,y_0)+\nabla f\cdot \mathbf{u}\cdot \Delta s$$

为了最大化 $\Delta f$　，我们需要最大化 $\nabla f(x_0,y_0)\cdot \mathbf{u}$ 。由于 $\mathbf{u}$ 是单位向量，其模为1，最大化点积意味着 $\mathbf{u}$ 必须与 $\nabla f(x_0,y_0)$ 同向。因此，梯度的方向就是函数值增加最快的方向。

7. 反向传播和梯度的关系

在反向传播中，我们利用梯度信息来更新模型的参数。通过计算损失函数相对于每个参数的梯度，我们知道每个参数变化的方向和大小，从而调整参数使损失函数减小。具体步骤如下：

1. 计算损失函数的梯度：反向传播计算每个参数的梯度。
2. 沿梯度的反方向更新参数：为了最小化损失函数，我们沿梯度的反方向移动参数。

这样，我们就逐步调整模型，使其性能越来越好。

二、反向传播通过时间（Backpropagation Through Time, BPTT）

BPTT 是将反向传播扩展到处理时间序列数据的方法。对于 SNN 来说，神经元的状态依赖于之前的状态（即时间步的依赖），需要将误差从输出层逐时间步地传播回输入层。

SNN的状态更新方程

首先，SNN的状态更新方程：

$$U[t]=\beta U[t-1]+I[t]-\theta S[t-1]$$

其中：

• $U[t]$ 是在时间步 $t$ 的膜电位（membrane potential）。
• $\beta$ 是衰减因子（通常小于1）。
• $I[t]$ 是在时间步 ( t ) 的输入电流。
• $\theta$ 是阈值电位（threshold potential）。
• $S[t-1]$ 是在时间步 ( t-1 ) 的脉冲发射（spike）。

梯度计算

我们将逐步计算损失函数对权重的梯度。假设在时间步 $T$ 计算损失函数 $L[T]$ 。

1. 损失函数对膜电位的梯度

$$\frac{\partial L}{\partial U[t]}=\frac{\partial L[T]}{\partial U[t]}(\text{T 是终止时间步})$$

这一步表示我们需要知道在每个时间步 $t$ 上，损失函数 $L[T]$ 对膜电位 $U[t]$ 的敏感度。

2. 膜电位对权重的梯度

接下来，我们需要计算膜电位 $U[t]$ 对权重 $w$ 的梯度：

$$\frac{\partial U[t]}{\partial w}=\sum _{k=0}^t\frac{\partial U[t]}{\partial U[k]}\frac{\partial U[k]}{\partial w}$$

根据状态更新方程：

$$\frac{\partial U[t]}{\partial U[k]}=\{\begin{array}{ll}{\beta }^{t-k}& \text{if }k<t\\ 1& \text{if }k=t\\ 0& \text{if }k>t\end{array}$$

这意味着如果 $k<t$ ， $U[k]$ 对 $U[t]$ 的影响会以 ${\beta }^{t-k}$ 的形式衰减；如果 $k=t$ ，梯度是1；如果 $k>t$ ，梯度是0。

3. 总梯度

结合上面的梯度，我们可以得到损失函数对权重的总梯度：

$$\frac{\partial L}{\partial w}=\sum _{t=0}^T\frac{\partial L[T]}{\partial U[t]}\frac{\partial U[t]}{\partial w}=\sum _{t=0}^T\frac{\partial L[T]}{\partial U[t]}\left(\sum _{k=0}^t{\beta }^{t-k}\frac{\partial U[k]}{\partial w}\right)$$

这个公式表示在每个时间步 $t$ ，我们需要计算损失函数 $L[T]$ 对膜电位 $U[t]$ 的梯度，然后将其乘以膜电位 $U[t]$ 对权重 $w$ 的梯度，并对所有时间步进行求和。

梯度消失问题

这里的关键在于理解梯度会随着时间步的增加呈指数级衰减，这导致了所谓的梯度消失问题。具体地说，当 $\beta$ 是一个小于1的数时， ${\beta }^{t-k}$ 会随着 $t$ 和 $k$ 之间的差距增大而快速减小，这使得早期时间步的信息在后期时间步中逐渐消失。

三、近似梯度（Surrogate Gradients）

在脉冲神经网络（SNN）中，通过近似梯度的方法实现反向传播，其实质就是在无法直接对脉冲（spike）进行微分的情况下，引入连续且可微的近似函数，来替代原本不可微的脉冲函数。这样就可以使用反向传播算法来计算梯度，并更新权重。

1. 脉冲神经网络中的问题

在SNN中，神经元的激活是通过脉冲（spike）实现的，而脉冲函数是非连续的，通常表示为Heaviside阶跃函数 $H$ ，形式如下：

$$S(U)=H(U-\theta )$$

其中 $U$ 是膜电位， $\theta$ 是阈值电位。Heaviside函数的定义是：

$$H(x)=\{\begin{array}{ll}0& \text{if }x<0\\ 1& \text{if }x\ge 0\end{array}$$

这个函数在 $x=\theta$ 处不连续，其导数在大部分区域为0，导致无法直接使用反向传播算法来计算梯度。

2. 近似梯度（Surrogate Gradients）方法

为了使得梯度计算可行，我们引入了一个连续且可微的近似函数 $\hat{S}(U)$ 。常用的近似函数是sigmoid函数，形式为：

$$\hat{S}(U)=\sigma (U-\theta )=\frac{1}{1+e^{-(U-\theta )}}$$

这种近似函数在整个区域都是连续且可微的，因此可以使用其导数来替代脉冲函数的导数。

3. 近似梯度的计算

为了计算近似函数的梯度，我们需要求其导数：

$$\frac{\partial \hat{S}(U)}{\partial U}={\sigma }^{\prime }(U-\theta )=\sigma (U-\theta )(1-\sigma (U-\theta ))$$

当我们要求解 $\frac{\partial \hat{S}(U)}{\partial U}$ 时，其中 $\hat{S}(U)$ 是 sigmoid 函数，其表达式为 $\sigma (U-\theta )$，$\sigma (x)$ 是 sigmoid 函数，$\theta$ 是阈值。我们可以按照链式法则来计算导数。
首先，我们回顾一下 sigmoid 函数的定义：
$$\sigma (x)=\frac{1}{1+e^{-x}}$$
现在，我们要计算 $\frac{\partial \hat{S}(U)}{\partial U}$：

1. 首先，我们将 $\hat{S}(U)$ 展开，即 $\hat{S}(U)=\sigma (U-\theta )$。
2. 对 $\sigma (U-\theta )$ 求导，使用链式法则，即先对 $\sigma (x)$ 求导，再对 $x=U-\theta$ 求导：
   首先，对 $\sigma (x)$ 求导：
   $$\begin{array}{rl}\frac{d}{dx}\sigma (x)& =\frac{d}{dx}\left(\frac{1}{1+e^{-x}}\right)\\ & =\frac{e^{-x}}{(1+e^{-x}{)}^2}\\ & =\frac{1}{1+e^{-x}}\cdot \frac{e^{-x}}{1+e^{-x}}\\ & =\sigma (x)\cdot (1-\sigma (x))\end{array}$$
   然后，对 $x=U-\theta$ 求导：
   $$\frac{d}{dU}(U-\theta )=1$$
3. 将上述两个结果相乘即可得到 $\frac{\partial \hat{S}(U)}{\partial U}$ 的表达式：
   $$\frac{\partial \hat{S}(U)}{\partial U}=\sigma (U-\theta )\cdot (1-\sigma (U-\theta ))$$
   最终结果为 $\sigma (U-\theta )\cdot (1-\sigma (U-\theta ))$。

我们将这个近似梯度用于反向传播过程中。具体步骤如下：

1. 损失函数对近似脉冲函数的梯度

假设我们有一个损失函数 $L$ ，其对近似脉冲函数 $\hat{S}[t]$ 的梯度可以近似为对真实脉冲函数 $S[t]$ 的梯度：

$$\frac{\partial L}{\partial \hat{S}[t]}\approx \frac{\partial L}{\partial S[t]}$$

2. 近似脉冲函数对膜电位的梯度

利用上面的导数公式：

$$\frac{\partial \hat{S}[t]}{\partial U[t]}={\hat{S}}^{\prime }(U[t])={\sigma }^{\prime }(U[t]-\theta )=\sigma (U[t]-\theta )(1-\sigma (U[t]-\theta ))$$

3. 总梯度的计算

我们需要计算损失函数对权重 ( w ) 的总梯度：

$$\frac{\partial L}{\partial w}\approx \sum _{t=0}^T\frac{\partial L}{\partial \hat{S}[t]}\frac{\partial \hat{S}[t]}{\partial U[t]}\frac{\partial U[t]}{\partial w}$$

这个公式表示在每个时间步 $t$ 上，我们计算损失函数对近似脉冲函数的梯度，乘以近似脉冲函数对膜电位的梯度，再乘以膜电位对权重的梯度。然后对所有时间步进行求和，得到损失函数对权重的总梯度。

为什么近似梯度有效？

1. 跨越非连续性

通过引入近似函数，代替原来的不可微脉冲函数，允许我们在反向传播过程中计算梯度。这解决了由于脉冲函数的非连续性导致的梯度计算问题。

2. 处理死神经元问题

死神经元问题是指神经元永远不会发放脉冲，从而对损失函数的梯度贡献为零。使用近似梯度后，即使膜电位没有达到阈值， 近似函数也会有非零的梯度 ，这使得权重仍然可以更新，从而避免了死神经元问题。

近似梯度具体例子

以sigmoid函数为例，假设我们的近似函数为：

$$\hat{S}(U)=\sigma (U-\theta )=\frac{1}{1+e^{-(U-\theta )}}$$

其导数为：

$$\frac{\partial \hat{S}(U)}{\partial U}=\sigma (U-\theta )(1-\sigma (U-\theta ))=\frac{e^{\theta -U}}{(e^{\theta -U}+1{)}^2}$$

这个导数在 $U=\theta$ 附近有较大的值，而在其他区域渐近于0，但仍然是非零的。这使得在反向传播过程中，无论膜电位是否达到阈值，梯度都可以传播到更早的层次，进行有效的参数更新。

通过这个方法，我们可以在SNN中使用类似于传统神经网络的反向传播算法，进行有效的训练。

近似梯度是如何避免梯度消失的？

近似梯度方法避免梯度消失的关键在于 近似函数的导数在所有区域都有非零值 。这意味着在反向传播过程中，梯度不会变为零，而是能够有效传播回去。这一点可以通过数学推导来具体说明：

• 以sigmoid函数为例，其导数为 $\sigma (U-\theta )(1-\sigma (U-\theta ))$。
• 当 $U$ 很大或很小时，虽然导数值很小，但始终是非零的，这确保了梯度不会完全消失。
• 这种非零导数在整个范围内保持有效，避免了由于脉冲函数的不连续性导致的梯度消失问题。

四、本地学习规则（Local Learning Rules）

1. 脉冲时序依赖可塑性（STDP）

STDP是一种生物启发的学习规则，它根据突触前神经元和突触后神经元的脉冲时间差来调整突触权重。具体来说，如果突触前神经元在突触后神经元之前发射脉冲（即 $\Delta t>0$ ），则突触权重会增加；反之，如果突触前神经元在突触后神经元之后发射脉冲（即 $\Delta t<0$ ），则突触权重会减少。

2. STDP权重更新公式

STDP权重更新公式如下：

$$\Delta w=\{\begin{array}{ll}{A}_{+}\exp \left(-\frac{\Delta t}{{\tau }_{+}}\right)& \text{if }\Delta t>0\\ -A_{-}\exp \left(\frac{\Delta t}{{\tau }_{-}}\right)& \text{if }\Delta t<0\end{array}$$

其中：

• $\Delta w$ 是突触权重的变化。
• $\Delta t=t_{\text{post}}-t_{\text{pre}}$ 是突触前后神经元发射脉冲的时间差。
• $A_{+}$ 和 $A_{-}$ 是权重增加和减少的幅度系数。
• ${\tau }_{+}$ 和 ${\tau }_{-}$ 是控制权重变化的时间常数。

3. 权重更新过程

1. 当突触前神经元发射脉冲：

   • 如果突触前神经元在突触后神经元之前发射脉冲（ $\Delta t>0$ ），则权重增加。权重增加的量随着时间差的增大呈指数衰减，即时间差越大，增加的权重越小。
   • 增加权重的公式为： $$\Delta w=A_{+}\exp \left(-\frac{\Delta t}{{\tau }_{+}}\right)$$

2. 当突触后神经元发射脉冲：

   • 如果突触前神经元在突触后神经元之后发射脉冲（ $\Delta t<0$ ），则权重减少。权重减少的量随着时间差的增大呈指数衰减，即时间差越大，减少的权重越小。
   • 减少权重的公式为： $$\Delta w=-A_{-}\exp \left(\frac{\Delta t}{{\tau }_{-}}\right)$$

4. 数学推导和解释

让我们更详细地推导和解释这些公式：

权重增加（ $\Delta t>0$ ）：

当突触前神经元在突触后神经元之前发射脉冲，时间差 $\Delta t=t_{\text{post}}-t_{\text{pre}}>0$ 。

权重增加的公式是：

$$\Delta w=A_{+}\exp \left(-\frac{\Delta t}{{\tau }_{+}}\right)$$

• 当 $\Delta t$ 很小时， $\exp \left(-\frac{\Delta t}{{\tau }_{+}}\right)\approx 1$ ，因此 $\Delta w\approx A_{+}$ 。
• 当 $\Delta t$ 增大时， $\exp \left(-\frac{\Delta t}{{\tau }_{+}}\right)$ 会迅速减小，导致 $\Delta w$ 也迅速减小。

权重减少（ $\Delta t<0$ ）：

当突触前神经元在突触后神经元之后发射脉冲，时间差 $\Delta t=t_{\text{post}}-t_{\text{pre}}<0$ 。

权重减少的公式是：

$$\Delta w=-A_{-}\exp \left(\frac{\Delta t}{{\tau }_{-}}\right)$$

• 当 $\Delta t$ 很小时， $\exp \left(\frac{\Delta t}{{\tau }_{-}}\right)\approx 1$ ，因此 $\Delta w\approx -A_{-}$ 。
• 当 $\Delta t$ 减小时， $\exp \left(\frac{\Delta t}{{\tau }_{-}}\right)$ 会迅速减小，导致 $\Delta w$ 也迅速减小。

5. STDP的生物学意义

STDP被认为是生物神经网络中学习和记忆的基础之一。它通过调整突触前后神经元的连接强度，使得神经元能够根据 脉冲时间模式 进行学习。具体来说，STDP可以使得同步发射脉冲的神经元连接变得更强，从而增强这种时间相关性。

6. 示例和应用

假设我们有一个突触前神经元和一个突触后神经元：

• 突触前神经元在 $t_{\text{pre}}=10$ ms时发射脉冲。
• 突触后神经元在 $t_{\text{post}}=15$ ms时发射脉冲。

时间差 $\Delta t=t_{\text{post}}-t_{\text{pre}}=15-10=5$ ms。

根据STDP规则，权重更新为：

$$\Delta w=A_{+}\exp \left(-\frac{5}{{\tau }_{+}}\right)$$

如果 $A_{+}=0.1$ 和 ${\tau }_{+}=20$ ms：

$$\Delta w=0.1\exp \left(-\frac{5}{20}\right)=0.1\exp \left(-0.25\right)\approx 0.1\times 0.7788\approx 0.07788$$

因此，权重增加了约0.07788。

对比分析

脉冲神经网络（SNN）中的反向传播和权重更新方式主要包括以下三种方法：反向传播通过时间（BPTT）、近似梯度（Surrogate Gradients）和脉冲时序依赖可塑性（STDP）。每种方法的特点和适用场景如下：

1. 反向传播通过时间（BPTT）

特点：

• BPTT是传统反向传播算法在时间上的扩展，适用于时序数据。
• 这种方法会将时间展开，将时间步的依赖关系展开成一个长链。
• 在每个时间步进行梯度计算，并将梯度反向传播回去。

优点：

• 可以处理长期依赖问题，适用于时序数据。
• 能够精确地计算梯度，并用于优化权重。

缺点：

• 由于时间展开后链条很长，容易出现梯度消失（vanishing gradient）或梯度爆炸（exploding gradient）问题。
• 计算复杂度高，计算和存储成本较大。

2. 近似梯度（Surrogate Gradients）

特点：

• 由于脉冲神经元的激活函数是非连续的，传统的梯度计算无法直接应用。
• 近似梯度方法使用连续的、可微的函数（例如Sigmoid函数）来替代非连续的脉冲激活函数。

优点：

• 通过使用连续的近似函数，能够进行梯度计算并应用反向传播。
• 可以避免梯度消失问题，因为近似函数在所有区域都有非零导数。

缺点：

• 近似函数引入了额外的（逼近）误差，可能会影响训练效果。
• 需要选择合适的近似函数，否则可能导致收敛问题。

3. 脉冲时序依赖可塑性（STDP）

特点：

• STDP是一种生物启发的学习规则，通过突触前后神经元发射脉冲的时间差来调整突触权重。
• 权重更新是基于局部的时间相关规则，而不是全局的误差。

优点：

• 不需要全局误差信号，只需要局部的时间信息，计算简单。
• 能够捕捉神经元之间的时间相关性，适用于生物神经网络。

缺点：

• 由于缺乏全局误差信号，可能无法达到全局最优解。
• 适用范围有限，通常用于研究生物神经网络的学习机制。

总结

这三种方法各有优缺点和适用场景：

• BPTT：适用于处理长时间依赖关系的时序数据，但存在梯度消失和梯度爆炸问题，计算复杂度高。
• 近似梯度：通过使用连续的近似函数，使得梯度计算和反向传播成为可能，适合处理SNN中的非连续激活函数问题。
• STDP：基于时间相关的局部权重更新规则，不需要全局误差信号，适用于生物神经网络的研究，但可能无法达到全局最优。

在实际应用中，可以根据具体问题的特点和需求选择合适的反向传播和权重更新方法。