[论文笔记] SparseInst 阅读笔记

发布于:2023-01-22 ⋅ 阅读:(16) ⋅ 点赞:(0) ⋅ 评论:(0)

Sparse Instance Activation for Real-Time Instance Segmentation(2022)

论文链接:论文链接
代码链接:代码链接

看 SparseInst 主要是因为它能够做到实时实例分割性能,对车牌脱敏可能有比较大的帮助

在这里插入图片描述

摘要

  • 大多数实例分割方法严重依赖于目标检测基于边界框或密集中心执行掩码预测
  • SparseInst的做法
    • 提出新的目标表示方法—— 稀疏的实例激活图(sparse instance activation map(IAM)),以突出前景目标
    • 根据突出区域 聚合特征来获得实例级特征以进行识别和分割
    • 实例激活图可以以一对一的方式预测对象,从而避免NMS

引言

  • IAM对比其他目标表示法的优点
    • IAM突出实例像素,抑制无关像素,避免了基于中心/区域的方法中不正确的实例特征定位问题
    • IAM从整个图像中聚合实例特征并提供更多上下文
    • 使用激活图计算实例特征相当简单无需 RoI-Align 这样的额外操作。
      在这里插入图片描述

方法

实例激活图(Instance Activation Maps(IAM))

  • 公式
    • 给定输入图片特征 X ∈ R D × ( H × W ) X\in\mathbb R^{D×(H×W)} XRD×(H×W),IAM可以表示为 A = F i a m ( X ) ∈ R N × ( H × W ) A=\mathcal F_{iam}(X)\in\mathbb R^{N×(H×W)} A=Fiam(X)RN×(H×W),其中 A A A N N N 个iam的稀疏集, F i a m ( ⋅ ) \mathcal F_{iam}(·) Fiam() 是具有sigmoid非线性的简单网络
    • 然后可以通过 z = A ˉ ⋅ X T ∈ R N × D z=\bar A·X^T\in\mathbb R^{N×D} z=AˉXTRN×D 从输入特征图 X X X 和实例激活图 A A A 来获取稀疏的实例特征集,其中 z = { z i } N z=\{z_i\}^N z={zi}N 是图像中可能的 N N N 个对象(这里的 N N N 是自己设置的,代表每个图中可能的实例个数)的特征表示;对于每一个实例映射, A ˉ \bar A Aˉ 来自把 A A A 归一化为1
    • 稀疏实例特征 z i N {z_i}^N ziN 直接用于后续识别和实例级分割
  • IAM如何学习参数
    • IAM 不通过显式监督(例如实例掩码)来学习,而是通过后续的识别和分割模块提供隐式监督来进行学习
    • 由于 bipartite(二分匹配,刚才得到了 z i N {z_i}^N ziN,我们需要知道这 N N N 个预测的实例对应哪一个标注的实例,因此使用二分匹配来进行),监督是 instance-aware 的。这进一步加强了 F i a m \mathcal F_{iam} Fiam 对于目标的区分,每张图上只激活一个对象

SparseInst 网络结构

在这里插入图片描述

实验结果

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述


网站公告

欢迎关注微信公众号

今日签到

点亮在社区的每一天
签到