arXiv-2019
文章目录
1 Background and Motivation
基于深度学习的目标检测效果在MS COCO数据集上越来越好，但是小目标检出率还是无法媲美中目标或者大目标
原因
- only a few images are containing small objects（含有小目标的图片占比比较小）
- small objects do not appear enough even within each image containing them（每张图片的小目标数量也比较少——lack of diversity in the locations of small objects）
小目标比较少， both across images and across pixels
作者采用 oversampling 和 copy-pasting（not overlap with any existing object）方法来提升 MS COCO 数据集上小目标的检出率
2 Related Work
- Object Detection
- Instance Segmentation
- Small objects
- increasing the input image resolution
- fusing high-resolution features
3 Advantages / Contributions
用 oversampling 和 copy-paste 方法来提升目标检测任务中小目标的检出率
4 Method
Small object detection by Mask R-CNN on MS COCO
统计的还算细致，average matching anchors 比较少，average max IoU 也比较小
large object spanning multiple sliding-window locations often has a high IoU with many anchor boxes
小目标面积比较小，负责预测的 grid anchor 也会少很多（只能说高质量的负样本会变少，因为每个GT只有一个 anchor 负责预测——以前的正负样本匹配策略，小目标比较小，周边 grid 的 anchor 可能覆盖不到目标，同为负样本，但质量应该没有大目标的高）
4.1 Oversampling
over-sample images containing small objects
4.2 Augmentation
（1）copy mask
（2）random transformations——object size ±20% and rotate it ±15°
（3）paste
4.3 Copy-Pasting Strategies
5 Experiments
5.1 Datasets and Metrics
MS COCO 2017
118,287 images for training, 5,000 images for validation and 40,670 test images.
860,001 and 36,781 objects from 80 categories are annotated with ground-truth bounding boxes and instance masks
5.2 Oversampling
可以看出，小目标提升了，大目标的效果会响应的降低
5.3 Augmentation
aug 应该是 copy-aug-paste 替换了原图
aug + oversample 是 aug 的基础上过采样，应该也不涉及到原图
original + aug 应该是 aug + 原图相当于 2x 小目标图片，训练数据集变多了，对于 baseline 有一点点不公平
同样也可以观察到，小目标提升了，大目标的效果会响应的降低
5.4 Copy-Pasting strategies
（1）Copy-pasting of a single object
单个小目标被 copy-paste 很多次
（2）Copy-pasting of multiple objects
许多小目标，每个小目标仅可能被 copy-paste 一次
choose numerous small objects and copy-paste each of these exactly once in an arbitrary position
（3）Copy-pasting of all small objects
copy-paste all small objects in each image multiple times in random places
感觉和 multi 的区别是 all，效果没有 multi 好
5.4 Pasting Algorithms
paste 的时候，不 overlap，边缘也不做 gaussion blur 效果最好
6 Conclusion（own） / Future work
MS COCO 数据集检测和分割的 leaderboard
- https://cocodataset.org/#detection-leaderboard
提升点有限，吹的是相对提升很唬人，而且小目标提升后，大目标效果下降比较明显，整体 AP 的提升基本没有
方法没有任何创新点，文章描述不够简洁
数据集的分析可以参考参考