论文：(cvpr2025) Adaptive Rectangular Convolution for Remote Sensing Pansharpening
代码：https://github.com/WangXueyang-uestc/ARConv.git
这个论文研究的是全色与多光谱图像的融合。作者认为现有的基于CNN的方法中，传统的卷积存在两个问题：问题1，卷积被限制在一个固定的方形窗口内。问题2，采样点的个数是预设的，保持不变。
为了解决这两个问题，作者提出了 ARConv （Adaptive Rectangular Convolution），与当前方法的比较如下图所示，最大的变化是窗口可以变成3x5这样的形状，这个尺寸是通过网络学出来的。
作者提出了ARConv ，如下图所示，主要包括四个步骤：
- 学习卷积核的高度和宽度：用网络学习每个像素位置的卷积核高度和宽度。每个位置学到的卷积核高度和宽度是不同的，这使得卷积核的形状能够自适应地调整以适应不同尺度的物体。（网络的最后输出是 sigmoid函数，因此输出是（0,1）区间，作者使用a,b变量进行了缩放，这个变量是通过实验手工设置的）
- 确定采样点的数量： 根据高度和宽度特征图的平均值，通过映射函数选择垂直和水平方向上的采样点数量，并确保采样点数量为奇数。（作者设计了变量m,n，可以用高度、宽度平均值除以m,n得到采样点数量，这个m,n也是手工设置的）
- 生成采样图：基于标准卷积的采样网格，通过缩放矩阵调整采样点位置，并采用双线性插值估计非整数位置的像素值。
- 卷积实现：对生成的采样图进行卷积操作，并引入仿射变换以增强空间适应性。
全色与多光谱图像的融合网络的整体架构如下图所示，是典型的UNET结构，中间加了5个应用ARConv的block。
ARConv 的特点是： 卷积可以适应图像中不同大小和形状的物体。在遥感图像中，物体的尺度差异很大，例如小汽车和大型建筑物。传统的固定形状卷积核（如 3x3 或 5x5）无法有效地捕捉这些不同尺度的特征，而ARConv通过自适应调整卷积核的形状，能够更好地提取每个局部区域的特征。尽管卷积核大小不同，但最后采样点又是相同的，这样又加速了计算。为证明研究动机，可视化是必要的，也就是说对于不同尺寸的目标，学习到的卷积核大小是不同的。 论文中有一个实验，如下图所示，作者把5个block里学到的卷积核大小可视化出来了。作者指出，在第四层建筑外围有一条蓝细线，这表明卷积核的高度在边缘处较小。
实验部分可以参考作者论文，这里不过多介绍。