一、Aster解读—Level1 梳理论文思路

  ASTER是独立于另一篇博文CTC文本识别的另一篇经典识别论文。它的全称是A ttentional S cene Te xt Recognizer with Flexible R ectification。
  首先作者找到了一个值得研究的学术问题：在自然场景下，存在扭曲文字和非常规布局的现象，讲的再数学性一点就是透视变换和曲形文字，单纯的文本识别器对该情形的识别能力有限。

Fig1 扭曲文字和非常规布局文字示例   作者的解决思路也较直观，通过增添一个显性的校正模块来缓解这一问题。具体来讲作者使用了TPS(Thin Plate Spines)算法来做图像矫正。该算法在opencv库里面已经被实现，但如果直接调用该算法会有两个问题：

• 速度慢
• opencv是在求一个闭式解，无法智能的学习、推理

Fig2 Aster整体流程图   作者比较巧妙的将TPS求闭式解的过程转换为一个深度学习问题，并且以STN和pytorch的基本操作来实施TPS算法保证了该校正模块的可导性。在模块可导的基础上，识别的反传梯度就可以end-to-end的传递给校正模块，从而达到无需TPS校正真值的效果。

  识别网络，作者采用了Attentional 识别模型，这算是有别于CTC方案目前介绍的第二文本识别流派。

Fig3 Attentional 识别方案流程简图   最终的结果显示，增添完校正模块的识别效果相比未添加校正模块，有相当可观的提升。

Fig4 增添校正模块前后指标对比

  再来看一看，校正前后的图片效果，效果可能不够完美，但应该讲都还是有朝着好的方向发展。

Fig5 校正效果示意图

二、Aster解读—Level2 理解论文数学原理

2.1 尝试对TPS的数学原理进行理解

  TPS算法求解通用图像转换的思想是将其转换为一个最优化问题。提出了以下假设：

• 寻找到的转换方式，尽可能得“拟合”已知的控制点。
• 寻找到的转换方式，使得原始图像拟合控制点的“扭曲度”尽可能的小。

  这有点类似于一些小学找规律题目。

1----3-----5-----7------（?）
找出其中的规律，并补充括号中的数字

  按照TPS的思想，找到的规律为y=2*x-1, 括号中的答案为9。因为寻找到的规律（尽可能）满足了原始提供的4个控制点(1,3,5,7), 且规律足够的简单（对应扭曲度足够小)。之所以强调规律足够简单，是因为如果较真的话，我们也可以设计出一个复杂的规律，使得其前4个数字也满足{1， 3， 5，7}，但注意到此时已经不满足“扭曲度”尽可能小的思想。
  因此TPS最优化的问题可以描述为：$\epsilon ={\epsilon }_t+\lambda {\epsilon }_d$。前面一项称之为拟合项，后面一项称之为扭曲度。通过求上述等式的最小值，可以求得tps算法闭式解的形式为：
$T(c)=m_0+M\ast c+{\sum }_{i=1}^K{\omega }_i\varphi (||c-c_i||)$。
  这也是Aster这篇论文中transformation矩阵表示形式的由来。
$T_{2\ast (K+3)}=\left[\begin{array}{cccc}{a}_0& a_1& a_2& u_{1\ast k}\\ b_0& b_1& b_2& v_{1\ast k}\end{array}\right]$
  根据一个控制点，我们可以获得两个等式（因为一个点有x和y两个维度）：
$p_{2\ast 1}^{{}^{\prime }}=T\left[\begin{array}{c}1\\ p\\ \varphi (||p-c_1||)\\ ...\\ \varphi (||p-c_K||)\end{array}\right]$
  类推我们已知$K$个控制点，所以我们可以得到$2\ast K$个等式：
$C_{2\ast K}^{{}^{\prime }}=T_{2\ast (K+3)}\left[\begin{array}{cccc}1& 1& ...& 1\\ c_0& c_1& ...& c_{K-1}\\ \varphi (||c_0-c_0||)& \varphi (||c_1-c_0||)& ...& \varphi (||c_{K-1}-c_0||)\\ ...& ...& ...& ...\\ \varphi (||c_0-c_{K-1}||)& \varphi (||c_1-c_{K-1}||)& ...& \varphi (||c_{K-1}-c_{K-1}||)\end{array}\right]$
  但要知道的是$T$含有$2\ast (K+3)$个参数, 但我们目前仅仅有$2K$个等式方程，这是无法求解到的，因此作者人为添加了6个约束：
$0=u\ast 1$
$0=v\ast 1$
$0=u\ast c_x^T$
$0=v\ast c_y^T$
$0=u\ast c_y^T--Aster论文中没有，我感觉是作者写漏了$
$0=v\ast c_x^T--Aster论文中没有，我感觉是作者写漏了$
  有了这6个等式，我们可以"padding"得到如下的$2\ast (K+3)$个等式：
$C_{2\ast K}^{{}^{\prime }}，\left[\begin{array}{ccc}0& 0& 0\\ 0& 0& 0\end{array}\right]=T_{2\ast (K+3)}\left[\begin{array}{cccccc}1& 1& ...& 1& 0& 0\\ c_0& c_1& ...& c_{K-1}& 0& 0\\ \varphi (||c_0-c_0||)& \varphi (||c_1-c_0||)& ...& \varphi (||c_{K-1}-c_0||)& 1& c_0\\ ...& ...& ...& ...& ...& ...\\ \varphi (||c_0-c_{K-1}||)& \varphi (||c_1-c_{K-1}||)& ...& \varphi (||c_{K-1}-c_{K-1}||)& 1& C_{K-1}\end{array}\right]$
   这也就是论文中Aster中如下写法的由来：
$T{\nabla }_C=\left[\begin{array}{cc}{C}^{{}^{\prime }}& 0^{2\ast 3}\end{array}\right]$
${\nabla }_C=\left[\begin{array}{ccc}{1}^{1\ast K}& 0& 0\\ C& 0& 0\\ \hat{C}& 1^{K\ast 1}& C^T\end{array}\right]$
  我们想要求得得转换$T$, 则可以表示为：
$T=\left[\begin{array}{cc}{C}^{{}^{\prime }}& 0^{2\ast 3}\end{array}\right]\ast {\nabla }_C^{-1}$

  作者用上图来模拟了TPS过程，$C_{{}^{\prime }}$是STN网络中的localization网络预测得到的控制点。并根据规则确定出了输出控制点$C$, 规则按照论文上的说法为，细节这边还需要再看一下代码。

at fixed locations along the top and bottom image borders with equal spacings

  有了输出图片上$p$对应的输入图片上$p_{{}^{\prime }}$之后(这一步对应STN网络的grid_generator)，就可以进一步利用STN模块上的Sampler模块，获得校正后的图片。STN也在这篇博文中进行了解读，如果对localization、grid_generator和sampler三子模块不熟悉的可以跳转查看。

三、Aster解读—Level3 通过Attentional 避开CTC loss

  在CTC LOSS这篇文章中介绍了由于图片块中字体大小以及布局之间的关系，具体的，例如说，如果图片中S这个字母特别大，可能会导致出现SSSTATE这样的“结巴现象”, 但通过后处理操作可以将其修正为STATE。通过CTC Loss可以巧妙的计算出所有情形的概率。而Aster这篇论文使用了Attentional的方式就可以避免上述的问题，从而避开CTC Loss。

  论文中也绘制了基于Attentional的Sequence-to-Sequence模型的简图：

  如下的计算权重以及加权的公式更加直观明显：
$e_{t,i}=w^{T}tanh(W_{s_{t-1}}+V{h}_i+b)$
${\alpha }_{t,i}=exp(e_{t,i})/{\sum }_{i^{{}^{\prime }}=1}^{n}exp(e_{t,i^{{}^{\prime }}})$
$g_t={\sum }_{i=1}^n{\alpha }_{t,i}{h}_i$

四、Aster解读—Level4 思考

  思考：

• tps+x应该是一种可以推广的方式，端到端的，无需额外标签。
• tps中有6个等式是默认其等于0来获得2K+6个方程组。是否可以将其设置为等于V, 而V是可学习的，从而获得更优的解。

参考资料

1. Aster: An Attentional Scene Text Recognizer with Flexible Rectification