Relook：softmax函数

1. 计算$Z=W^{T}X+\mathbf{b}$

定义变量

定义$X\in {\mathbb{R}}^{D_{\text{in}}\times N},W\in {\mathbb{R}}^{D_{\text{in}}\times D_{\text{out}}},b\in {\mathbb{R}}^{D_{\text{out}}}$，则

$$X=\left[\begin{array}{cccc}{x}_{11}& x_{12}& \cdots & x_{1N}\\ x_{21}& x_{22}& \cdots & x_{2N}\\ ⋮& ⋮& ⋮& ⋮\\ x_{D_{in}1}& x_{D_{in}2}& \cdots & x_{D_{in}N}\end{array}\right]=\left[\begin{array}{c}{\mathbf{x}}_1{\mathbf{x}}_2\cdots {\mathbf{x}}_N\end{array}\right]$$

式中，${\mathbf{x}}_{\mathbf{i}}=[x_{1i},x_{2i},\cdots ,x_{D_{in}i}{]}^T$，每一列为一个样本，且样本是用列向量表示。

$$W=\left[\begin{array}{cccc}{w}_{11}& w_{12}& \cdots & w_{1D_{out}}\\ w_{21}& w_{22}& \cdots & w_{2D_{out}}\\ ⋮& ⋮& \ddots & ⋮\\ w_{D_{in}1}& w_{D_{in}2}& \cdots & w_{D_{in}{D}_{out}}\end{array}\right]=\left[\begin{array}{c}{\mathbf{w}}_1{\mathbf{w}}_2\cdots {\mathbf{w}}_{D_{out}}\end{array}\right]$$

式中，${\mathbf{w}}_i=[w_{1i},w_{2i},\cdots ,w_{D_{in}i}{]}^T$，每一列为一个权重向量。

计算权重转置$W^T$

$$W^T=\left[\begin{array}{cccc}{w}_{11}& w_{21}& \cdots & w_{D_{in}1}\\ w_{12}& w_{22}& \cdots & w_{D_{in}2}\\ ⋮& ⋮& \ddots & ⋮\\ w_{1D_{out}}& w_{2D_{out}}& \cdots & w_{D_{in}{D}_{out}}\end{array}\right]=\left[\begin{array}{c}{\mathbf{w}}_1^T\\ {\mathbf{w}}_2^T\\ ⋮\\ {\mathbf{w}}_{D_{out}}^T\end{array}\right]$$

注意，由于${\mathbf{w}}_i$是一个列向量，则对应的转置即为行向量。

计算线性变换$W^{T}X$

$$W^{T}X=\left[\begin{array}{c}{\mathbf{w}}_1^T\\ {\mathbf{w}}_2^T\\ ⋮\\ {\mathbf{w}}_{D_{out}}^T\end{array}\right]\left[\begin{array}{c}{\mathbf{x}}_1{\mathbf{x}}_2\cdots {\mathbf{x}}_N\end{array}\right]=\left[\begin{array}{cccc}{\mathbf{w}}_1^T{\mathbf{x}}_1& {\mathbf{w}}_1^T{\mathbf{x}}_2& \cdots & {\mathbf{w}}_1^T{\mathbf{x}}_N\\ {\mathbf{w}}_2^T{\mathbf{x}}_1& {\mathbf{w}}_2^T{\mathbf{x}}_2& \cdots & {\mathbf{w}}_2^T{\mathbf{x}}_N\\ ⋮& ⋮& \ddots & ⋮\\ {\mathbf{w}}_{D_{out}}^T{\mathbf{x}}_1& {\mathbf{w}}_{D_{out}}^T{\mathbf{x}}_2& \cdots & {\mathbf{w}}_{D_{out}}^T{\mathbf{x}}_N\end{array}\right]$$

为了更加直观的观察，采用$A[x_1{x}_2\cdots x_n]=[A{x}_{1}A{x}_2\cdots A{x}_n]$这种矩阵乘法的表达形式，则上式可以写成：
$$W^{T}X=\left[\begin{array}{cccc}\left[\begin{array}{c}{\mathbf{w}}_1^T\\ {\mathbf{w}}_2^T\\ ⋮\\ {\mathbf{w}}_{D_{out}}^T\end{array}\right]{\mathbf{x}}_1& \left[\begin{array}{c}{\mathbf{w}}_1^T\\ {\mathbf{w}}_2^T\\ ⋮\\ {\mathbf{w}}_{D_{out}}^T\end{array}\right]{\mathbf{x}}_2& \cdots & \left[\begin{array}{c}{\mathbf{w}}_1^T\\ {\mathbf{w}}_2^T\\ ⋮\\ {\mathbf{w}}_{D_{out}}^T\end{array}\right]{\mathbf{x}}_N\end{array}\right]$$

添加偏置$\mathbf{b}$（广播机制）

$$\begin{array}{rl}{W}^{T}X+b& =\left[\begin{array}{cccc}{\mathbf{w}}_1^T{\mathbf{x}}_1& {\mathbf{w}}_1^T{\mathbf{x}}_2& \cdots & {\mathbf{w}}_1^T{\mathbf{x}}_N\\ {\mathbf{w}}_2^T{\mathbf{x}}_1& {\mathbf{w}}_2^T{\mathbf{x}}_2& \cdots & {\mathbf{w}}_2^T{\mathbf{x}}_N\\ ⋮& ⋮& \ddots & ⋮\\ {\mathbf{w}}_{D_{out}}^T{\mathbf{x}}_1& {\mathbf{w}}_{D_{out}}^T{\mathbf{x}}_2& \cdots & {\mathbf{w}}_{D_{out}}^T{\mathbf{x}}_N\end{array}\right]+\left[\begin{array}{c}{b}_1\\ b_2\\ ⋮\\ b_{D_{out}}\end{array}\right]\\ & ={\left[\begin{array}{cccc}{\mathbf{w}}_1^T{\mathbf{x}}_1+b_1& {\mathbf{w}}_1^T{\mathbf{x}}_2+b_1& \cdots & {\mathbf{w}}_1^T{\mathbf{x}}_N+b_1\\ {\mathbf{w}}_2^T{\mathbf{x}}_1+b_2& {\mathbf{w}}_2^T{\mathbf{x}}_2+b_2& \cdots & {\mathbf{w}}_2^T{\mathbf{x}}_N+b_2\\ ⋮& ⋮& \ddots & ⋮\\ {\mathbf{w}}_{D_{out}}^T{\mathbf{x}}_1+b_{D_{out}}& {\mathbf{w}}_{D_{out}}^T{\mathbf{x}}_2+b_{D_{out}}& \cdots & {\mathbf{w}}_{D_{out}}^T{\mathbf{x}}_N+b_{D_{out}}\end{array}\right]}_{D_{out}\times N}\end{array}$$

输出矩阵 $Z$

$$Z=W^{T}X+b={\left[\begin{array}{cccc}{z}_{11}& z_{12}& \cdots & z_{1N}\\ z_{21}& z_{22}& \cdots & z_{2N}\\ ⋮& ⋮& \ddots & ⋮\\ z_{D_{out}1}& z_{D_{out}2}& \cdots & z_{D_{out}N}\end{array}\right]}_{D_{out}\times N}$$

因此，对于任意一列样本${\mathbf{x}}_i$，对应的输出为

$${\mathbf{z}}_i=\left[\begin{array}{c}{\mathbf{w}}_1^T{\mathbf{x}}_i+b_1\\ {\mathbf{w}}_2^T{\mathbf{x}}_i+b_2\\ ⋮\\ {\mathbf{w}}_{D_{out}}^T{\mathbf{x}}_i+b_{D_{out}}\end{array}\right]=\left[\begin{array}{c}{\mathbf{w}}_1^T\\ {\mathbf{w}}_2^T\\ ⋮\\ {\mathbf{w}}_{D_{out}}^T\end{array}\right]{\mathbf{x}}_i+\left[\begin{array}{c}{b}_1\\ b_2\\ ⋮\\ b_{D_{out}}\end{array}\right]$$

2. 点积(内积/标量积)定义

点积（dot product）、标量积（scalar product）、内积（inner product）都是同一种意义，叫法不同。其中，点积是基于代数运行，两个长度相等的数列对应位置相乘，然后求和。标量积，是因为运算的结果为一个数，即标量值，所以称标量积。从几何角度出发，在欧几里空间中，两个向量的欧几里得模长与它们夹角余弦值的乘积，称为内积。

坐标定义

对于两个长度相等的列向量$\mathbf{a}=[a_1,a_2,\cdots ,a_n{]}^T,\mathbf{b}=[b_1,b_2,\cdots ,b_n{]}^T$，它们的点积定义如下：
$$\mathbf{a}\cdot \mathbf{b}=\sum _{i=1}^n{a}_i{b}_i=a_1{b}_1+a_2{b}_2+\cdots +a_n{b}_n$$
同样地，可以采用矩阵乘法的形式进行运算：

$$\begin{array}{rl}\mathbf{a}\cdot \mathbf{b}& ={\mathbf{a}}^T\mathbf{b}=[a_1{a}_2\cdots a_n]\times \left[\begin{array}{c}{b}_1\\ b_2\\ ⋮\\ b_n\end{array}\right]=a_1{b}_1+a_2{b}_2+\cdots +a_n{b}_n\end{array}$$

几何定义

在欧几里得空间中，欧几里得向量是一种兼具大小（模长）和方向的几何对象，两个欧几里得向量的点积定义为：
$$\mathbf{a}\cdot \mathbf{b}=||\mathbf{a}||||\mathbf{b}||\cos (\theta )$$

3. 重新思考Softmax

这里忽略偏置$\mathbf{b}$，对于任意一个样本$\mathbf{x}$，全连接的分类输出为
$$\mathbf{z}=\left[\begin{array}{c}{\mathbf{w}}_1^T\mathbf{x}\\ {\mathbf{w}}_2^T\mathbf{x}\\ ⋮\\ {\mathbf{w}}_{D_{out}}^T\mathbf{x}\end{array}\right]$$
进一步，假设是3分类问题，Fc的输出维度$D_{out}=3$，则
$$\mathbf{z}=\left[\begin{array}{c}{\mathbf{w}}_1^T\mathbf{x}\\ {\mathbf{w}}_2^T\mathbf{x}\\ {\mathbf{w}}_3^T\mathbf{x}\end{array}\right]$$
根据前面条件可知，$\mathbf{x}$是列向量，${\mathbf{w}}_i$也是列向量，则
$${\mathbf{w}}_i^T\mathbf{x}=||{\mathbf{w}}_i^T||||\mathbf{x}||\cos ({\theta }_i)$$
因此，可以表达为下图内容所示。基于三分类的问题，若某个类别的softmax输出概率最大，则认为输入样本$\mathbf{x}$为该类别。要使某个某个的概率最大，则必须使得内积的结果最大。可以看出，内积的大写与两个变量有关，即${\mathbf{w}}_i,{\theta }_i$。

当输入样本$\mathbf{x}$与某个类别权重${\mathbf{w}}_i$的夹角越小，且该类别权重的模长越长，则样本$\mathbf{x}$被预测为该类别的概率就越大。

4. 总结

上述相关对softmax进行魔改的工作相当多，可以参考人脸识别领域的相关改进softmax loss工作，如：

• [1612.02295] Large-Margin Softmax Loss for Convolutional Neural Networks
• [1704.08063] SphereFace: Deep Hypersphere Embedding for Face Recognition
• [1801.09414] CosFace: Large Margin Cosine Loss for Deep Face Recognition
• [1801.05599] Additive Margin Softmax for Face Verification
• ArcFace: Additive Angular Margin Loss for Deep Face Recognition

个人感觉，改修的各种版本softmax loss具有明确的可解释性，在一定程度上可能会提升收敛速度，但是准确率的提升可能不会太明显。（目前还没在代码中体验）