1 引言

在前面的文章中已经介绍了介绍了一系列激活函数 (Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU、Softmin、Softmax2d、Logsoftmax、Identity、LogSigmoid、Bent Identity、Absolute、Bipolar、Bipolar Sigmoid、Sinusoid、Cosine、Arcsinh、Arccosh、Arctanh、LeCun Tanh、TanhExp、Gaussian 、GCU、ASU、SQU、NCU、DSU、SSU、SReLU、BReLU、PELU、Phish)。在这篇文章中，会接着上文提到的众多激活函数继续进行介绍，给大家带来更多不常见的激活函数的介绍。这里放一张激活函数的机理图：

2 激活函数

2.1 Radial Basis Function (RBF)激活函数

径向基函数（Radial Basis Function，RBF）激活函数是一种常用于神经网络和机器学习中的非线性激活函数。它在一些特定的网络结构和任务中具有一定的应用。其数学表达式如下所示：
$$f(x)=e^{-\beta \cdot (x-\mu {)}^2}$$

其中，x 是输入，μ 是中心（可以是固定值或可学习参数），β 是控制函数宽度的参数。

优点：

• 非线性变换： RBF 激活函数是一种非线性函数，能够引入更复杂的非线性变换，有助于神经网络模型捕捉数据中的复杂模式。
• 局部性质： RBF 激活函数在中心附近具有较大的响应，这种局部性质使其在某些模式识别任务中表现出色。
• 平滑性： RBF 激活函数在函数值上具有连续和平滑的特性，这对于梯度计算和反向传播有益。
• 适应性： 通过调整中心 μ 和参数 β，可以适应不同的数据分布和任务需求。

缺点：

• 计算复杂性： 计算 RBF 激活函数涉及指数计算，可能相对于一些简单的激活函数而言较为复杂，可能会影响训练和推理的速度。
• 参数调整： 调整中心 μ 和参数 β 需要更多的实验和调优，这可能会增加模型设计的复杂性。

总体而言，RBF 激活函数在一些特定的问题和网络结构中可能具有一些优势，但它也有其限制。在实际应用中，选择激活函数需要根据具体问题、网络结构和实验结果来决定。

2.2 Square Radial Basis Function（SQ-RBF）激活函数

论文链接：Computationally Efficient Radial Basis Function

SQ-RBF指的是基于平方的径向基函数（Square Radial Basis Function）激活函数。这是一种用于神经网络的激活函数，通常用于非线性变换以及模式识别任务。其数学表达式和数学图像分别如下所示：
$$SQ-RBF(x)=\{\begin{array}{ll}1-\frac{x^2}{2},& \text{if }|x|\le 1\\ \frac{1}{2}(2-|x|{)}^2,& \text{if }1<|x|<2\\ 0,& \text{if }2\le |x|\end{array}$$
优点：

• 简单、计算速度快：由于消除了指数项，它在计算上是高效的。在实验中，SQ-RBF不仅导致更快的学习，而且还需要显著低的神经元。
• 改善梯度计算：SQ-RBF的导数是线性的，这将改善梯度计算，并使其在多层感知器神经网络中的适用性具有吸引力。
• 局部性质： 像传统的径向基函数一样，“SQ-RBF” 在中心附近具有较大的响应，这使得它具有一定的局部性质，适用于某些模式识别任务。

缺点：

• 范围有限：函数仅在【-2，2】的区间是有限的，在别的数值下，神经元都处于一个非激活状态.
• 可解释性： 由于 SQ-RBF 并不是深度学习中最常见的激活函数，它的解释性可能相对较差，可能需要更多的背景知识才能理解其作用和效果。

总体而言，SQ-RBF激活函数在当前很少有所应用。。。。。

3. 总结

到此，使用 激活函数总结（十八） 已经介绍完毕了！！！ 如果有什么疑问欢迎在评论区提出，对于共性问题可能会后续添加到文章介绍中。如果存在没有提及的激活函数也可以在评论区提出，后续会对其进行添加！！！！

如果觉得这篇文章对你有用，记得点赞、收藏并分享给你的小伙伴们哦😄。