论文信息
题目：Towards In-the-wild 3D Plane Reconstruction from a Single Image
从单张图像实现野外环境下的3D平面重建
作者：Jiachen Liu、Rui Yu、Sili Chen、Sharon X. Huang、Hengkai Guo
源码：https://github.com/jcliu0428/ZeroPlane
论文创新点
提出跨域平面重建任务并构建大规模数据集：作者提出跨域平面重建任务，为训练和评估创建了一个大规模数据集，该数据集包含来自各种室内和室外数据集的高分辨率、密集平面注释。
设计Transformer - 基于的框架ZeroPlane：论文提出基于Transformer的ZeroPlane框架。为应对混合数据集上平面几何学习的挑战，采用先分类后回归的范式来学习平面法线和偏移。
解耦平面法线和偏移表示：当前基于Transformer的框架将平面参数表示为法线和偏移的除法并直接回归，作者发现这种耦合表示在跨数据集训练时存在问题。因此解耦平面法线和偏移的表示，分别设置两个头来学习平面级别的法线和偏移，提升了训练效果。
引入像素几何增强平面嵌入模块：基于Transformer的平面检测器在捕捉高级语义信息方面表现出色，但结合像素级深度和法线等低级几何线索对平面识别和几何恢复有益。于是作者提出将像素级深度和法线估计作为辅助任务，并设计像素几何增强平面嵌入模块，使平面查询能够利用低级几何线索，提升实例预测能力。
摘要
从单张图像进行3D平面重建是3D计算机视觉中一个至关重要但又极具挑战性的课题。以往最先进（SOTA）的方法主要集中在单一数据集上训练其系统，这些数据集要么来自室内场景，要么来自室外场景，这限制了它们在多样测试数据上的泛化能力。在这项工作中，作者引入了一种名为ZeroPlane的新颖框架，这是一种基于Transformer的模型，旨在从单张图像中，在不同的领域和环境中进行零样本3D平面检测和重建。为了使数据驱动的模型能够跨越多个领域，作者精心策划了一个大规模的平面基准数据集，该数据集包含超过14个数据集以及560,000个针对各种室内和室外场景的高分辨率、密集平面注释。为了解决在多数据集训练中实现理想平面几何的挑战，作者提出将平面法向量和偏移量的表示解耦，并采用一种示例引导、先分类后回归的范式，分别学习平面和偏移量。此外，作者采用先进的骨干网络作为图像编码器，并提出一种有效的像素几何增强平面嵌入模块，以进一步促进平面重建。在多个零样本评估数据集上进行的大量实验表明，作者的方法在重建精度和泛化能力上都显著优于以前的方法，特别是在实际场景数据上。
关键词
3D平面重建；零样本学习；Transformer；跨领域泛化
一、引言
几十年来，从图像中恢复3D几何基元一直是计算机视觉中一项基础但具有挑战性的任务。与离散表示（如3D点云、体素网格或网格）相比，这些基元通过结构规律性和非局部几何线索来概括3D场景。3D平面是主要的几何基元之一，具有简洁而紧凑的3D表示，并且在各种人造环境中普遍存在。感知和恢复3D平面在包括增强现实（AR）、定位与地图构建以及机器人技术等各种应用中也起着关键作用。人们已经针对从各种输入数据格式（如单张或多张RGB图像、RGB - D序列或点云）进行3D平面重建开展了大量研究。传统方法通过采用特定的场景假设或利用RGB - D数据或多视图输入，实现了准确的平面恢复。这些方法涉及复杂的优化过程，在异构环境中灵活性较差。
近年来，数据驱动的框架应运而生，借助诸如卷积神经网络（CNNs）和Transformer等先进的网络设计，从单张RGB图像中恢复3D平面。尽管这些方法在单个室内或室外数据集上实现了显著的平面重建精度，但没有一种方法在不同环境中测试，甚至考虑过值得称赞且具有泛化性的平面重建。探索一种统一且可迁移的框架，用于从不同场景的单张图像中进行平面重建，是一个具有广阔实际应用前景的有希望的方向。例如，设想一个机器人必须在室内空间和城市街道中导航的场景。它通过识别和重建3D平面来感知周围环境的能力，对于有效的规划和导航至关重要。增强现实用户可能希望将虚拟对象放置在各种已识别的平面表面上，例如客厅的桌面或街景的地面。另一方面，最近在从单张图像进行零样本深度估计方面的突破，验证了在从不同来源收集的大规模数据上训练统一模型的可行性，这使得在各种测试数据集上都能获得更高的精度和泛化能力。这促使作者探索开发一种3D平面重建模型，该模型能够在不同数据集上进行泛化，特别是在推理过程中对实际场景数据具有泛化能力。
以前的平面重建方法在一些室内数据集上进行了基准测试，然而高质量室外平面真实标签的稀缺，阻碍了开发可迁移平面重建系统的可能性。此外，大多数现有方法在低分辨率输入上进行训练和测试，限制了在不同输入分辨率下平面重建的灵活性和质量。为了弥合这一差距，在作者的研究中，作者在几个室外数据集上生成了高分辨率的平面注释，并通过利用强大的平面估计器和最先进的预训练全景分割模型，用平面注释丰富了几个新的室内基准数据集。因此，作者创建了一个大规模的平面数据集，其中的数据来自不同的领域和环境。
在作者的工作中，在混合数据集平面检测方面，受先前工作的启发，作者采用基于Transformer的检测的优势设计作为主要框架，因为它在大规模数据训练中具有卓越的适应性和可扩展性。这个问题的关键挑战在于平面几何（法向量和偏移参数）的估计。作者通过实验发现，直接在混合训练数据上回归这些参数并不能得到最佳结果。以前最先进的单数据集平面重建方法通常将平面法向量和偏移表示为一个耦合的、缩放的向量，并直接学习对其进行回归。然而，平面以复杂的方式分布，在不同的室内和室外场景中具有不同的位置、方向、几何比例和外观。这种多样性给网络准确回归缩放向量的精确值带来了挑战。为了缓解这一障碍，作者首先解耦法向量和偏移的表示，并提出一种示例引导、先分类后回归的策略来学习这两个分量。此外，作者将最近先进的图像编码器和像素级解码器集成到框架中，这提高了网络在多数据集学习中的泛化性和鲁棒性。作者进一步设计了一个像素几何增强平面嵌入模块，该模块促使平面查询利用有用的低级几何线索，以获得几何增强的平面嵌入，从而促进参数学习。这些改进帮助作者的模型在各种输入中感知独特且鲁棒的特征。作者的框架在跨领域的各种数据集上，特别是在实际场景中，在平面重建方面表现出始终如一的准确性能和卓越的泛化能力。图1展示了作者模型在各种未见数据集上的示例结果。
作者总结主要贡献如下：
作者引入了跨领域平面重建任务，并创建了一个大规模数据集，该数据集包含来自各种室内和室外数据集的高分辨率、密集平面注释，用于对其进行训练和评估的基准测试。
作者提出了一种基于Transformer的框架，即ZeroPlane。为了缓解在混合数据集上学习平面几何的挑战，作者采用先分类后回归的范式来学习平面法向量和偏移。作者进一步整合先进的骨干模型以增强鲁棒性，并提出一个像素几何增强模块来促进平面几何学习。
在混合数据集训练和实际场景评估上进行的大量实验表明，作者的系统在平面恢复精度和跨各种室内和室外数据集的泛化能力方面，都显著优于现有同类方法。
三、数据集
在本节中，作者介绍了本文中用于训练和零样本评估的基准数据集，并介绍了为新采用的数据集生成高质量真实平面注释的方法。
3.1 数据集收集
为了实现构建可迁移3D平面重建系统的目标，作者需要一个规模可观、注释密集的平面基准数据集，其来源应多样化。尽管先前的研究已经使用一些大规模语义RGB - D基准数据集，为室内环境实施了平面拟合和注释流程，但有限的数据多样性阻碍了模型对新的、未见测试数据的泛化能力。在室外场景方面，据作者所知，目前没有包含室外环境中密集平面注释且能够用于训练平面重建模型的数据集。虽然PlaneRecover使用了Synthia数据集，但在训练过程中没有使用大规模的平面掩码标签，并且作者手动为100张图像标注了密集平面掩码用于评估。为了解决多样且高质量平面真实数据有限的挑战，作者通过采用更多室内数据集并为从各种环境中采样的一些室外数据集生成平面真实数据，扩展了方法。
具体而言，对于室内数据，作者首先采用现有的带有平面注释的数据集，如ScanNet（在[37]中生成平面标签，称为ScanNetv1）、[38]生成的更大规模版本（ScanNetv2）、[31]注释的Matterport3D以及[75]注释的NYUv2。此外，作者为几个新的室内基准数据集生成平面标签，包括两个逼真的数据集：Replica和Habitat - Matterport3D，以及三个真实的RGB - D数据集：7 - Scenes、DIODE和Taskonomy。对于室外数据集，在现实世界中获取准确的密集深度图的不切实际性，给拟合平面和生成密集平面注释带来了挑战。为此，作者利用包含准确和完整深度图的合成数据集，包括Synthia、Virtual KITTI、Sanpo、ParallelDomain，以及具有来自立体相机的密集视差图的ApolloScape，来生成平面真实数据。作者将在3.2节介绍密集平面注释过程的详细信息。
在作者的设置中，作者使用NYUv2和7 - Scenes进行零样本室内评估，而ApolloScape和ParallelDomain作为室外零样本评估数据集。其余数据集用于混合领域训练和验证。表1展示了每个数据集的统计信息。有关所使用数据集的更多详细信息，请参考补充材料。
3.2 新数据集的平面标签生成
先前的工作通过使用RANSAC在整个场景的网格上拟合平面，然后将获得的3D平面渲染回每张图像来进行平面注释。虽然这种方法可能会产生更完整的平面标签，但作者通过实验发现，在室外场景中通过TSDF - Fusion从图像序列中获取干净准确的网格具有挑战性。另一方面，如果数据集不提供图像序列，这种注释流程将无法工作。为了解决这个问题并提高生成的灵活性，作者在室内和室外新数据集上，将每个单张图像的平面拟合到从深度图反投影的点云上。与基于网格的拟合相比，这种方法在不牺牲标签精度的情况下，使标签注释更加高效和灵活。
直接将平面拟合到整个点云上仍然具有挑战性且计算量巨大。以前的方法将平面拟合到每个对象实例的点上，这些对象实例的语义标签来自数据集（例如，ScanNet、Matterport3D）。对于新采用的数据集，如Replica、HM3D和Sanpo，它们提供对象级语义真实标签，作者直接将其注释纳入注释流程。对于缺乏完整语义标签的数据集，如DIODE、Taskonomy、7 - Scenes、Synthia、Virtual KITTI、ApolloScape和ParallelDomain，作者采用最先进的图像分割网络Mask2Former来获得全景分割结果作为伪真实标签。随后，在每个数据集的图像上，作者依次拟合平面并将平面掩码注释到每个背景类别或前景实例的反投影点上。
尽管先前的大多数工作在低分辨率（256×192）图像上训练和测试他们的方法，但作者认为高分辨率数据集是高质量平面重建的先决条件。为此，作者为所有数据集生成分辨率为640×480的真实平面。有关平面真实生成的可视化和质量测量的更多详细信息，可以在作者的补充材料中找到。
四、方法
在本节中，作者介绍基于Transformer模型的总体设计（4.1节），接着介绍用于平面法向量和偏移的解耦、先分类后回归方案（4.2节），以及像素几何增强平面嵌入模块（4.3节）。最后，作者描述所使用的损失函数（4.4节）。
4.1 基于Transformer的平面重建框架
为了开发一个统一、可泛化且可扩展的平面重建系统，作者的模型基于最先进的基于Transformer的检测和分割框架进行设计和构建，这些框架已被用于各种3D几何预测任务。在这个框架中，平面被视为查询嵌入，并通过基于查询的推理方法进行检测。如图2所示，作者框架的主要架构遵循Mask2Former和PlaneRecTR的总体设计，由一个骨干编码器网络和一个基于Transformer的解码器组成。骨干编码器网络提取多尺度特征图，在解码器中，一组可学习的查询与来自编码器的多尺度特征交织在一起，执行多层交替的交叉注意力和自注意力，以生成优化的实例级平面嵌入。然后，这些嵌入由单独的投影头处理，分别预测平面级输出。
像素级编码器和解码器：作者的目标是通过独特的编码器在多样数据上一致生成鲁棒的表示。为此，与PlaneRecTR使用预训练的SwinTransformer不同，在作者的默认设置中，作者整合预训练的DINOv2模型作为编码器，这是一种更强大的视觉Transformer（ViT），通过对比学习在数百万未标记样本上进行训练，以提取多尺度特征嵌入。为了获得在几何预测任务中高效的像素级表示，作者采用DPT中基于RefineNet的融合块作为像素解码器。这些块将来自DINOv2不同分辨率的嵌入作为输入，从而解码出多尺度图像像素级特征图。
用于平面实例级预测的Transformer解码器：遵循PlaneRecTR，作者的模型利用可学习的基于查询的推理方案来学习各种平面级输出。在Transformer解码器中，平面查询的嵌入与编码的图像特征图执行掩码交叉注意力，随后在查询之间进行自注意力以及前馈网络（FFN）进行多轮优化。优化后的查询嵌入然后由单独的头投影，以得出实例级平面预测。这些预测包括平面几何属性：（i）平面法向量（3D方向）和（ii）平面偏移（从相机到平面的距离），以及平面检测属性，包括（iii）分类分数（属于平面的概率），以及（iv）平面2D分割掩码对数几率。利用预测的平面掩码和参数，平面深度图可以通过恢复，其中表示相机内参，表示像素齐次坐标，表示平面掩码像素上的深度。
4.2 多数据集训练的平面法向量和偏移估计
平面法向量和偏移的解耦表示：当前最先进的基于Transformer的平面重建框架将平面参数表示为法向量和偏移的除法（）并直接学习对其进行回归。这种表示极大地耦合了法向量和偏移。然而，它们具有不同的几何属性：法向量表示3D平面的方向，而偏移表示平面到相机的距离。在作者的实验中，作者发现这种耦合在单数据集训练和评估中没有显著影响，因为训练数据的几何尺度保持相对一致。相比之下，在具有更高几何范围变化的跨数据集训练中（例如，训练期间混合室内场景和街景），这种耦合表示可能会给网络在针对不同输入一致回归精确值时带来挑战。因此，作者认为这两个参数应该解耦。受此启发，作者在解码器后设置两个头，分别学习平面级法向量和偏移。
先分类后回归的学习方案：作者通过实验观察到，直接回归解耦后的法向量和偏移值并不能产生理想的精度。一个重要因素可能是室内和室外领域平面参数分布之间的显著差异。当网络尝试直接预测法向量和偏移值时，平面的不同外观和几何尺度可能会带来重大障碍。为了解决由领域差距带来的挑战，受先前在几何预测任务中采用基于bin或基于聚类分类的工作启发，作者将平面法向量和偏移预测都视为先分类后回归的任务。作者的基本原理是，对于网络来说，学习将方向和距离尺度分类到“示例”（聚类中心）之一，比直接回归精确值的要求更低。虽然PlaneRCNN在法向量估计上采用了类似的范式，但它们专注于单数据集训练，并通过法向量和深度图预测偏移。这与作者在偏移上的先分类后回归策略不同。作者利用来自混合大规模训练数据的真实平面参数，通过聚类算法（作者使用K - Means）得出一组法向量和偏移示例。如图2（b）所示，这个聚类过程产生个法向量示例和个偏移示例，代表场景中广泛分布的平面并封装几何先验。作者采用两个多层感知器（MLP）解码器作为分类头，学习每个平面实例的法向量类别和偏移类别。作者使用另外两个MLP预测相对于每个示例的法向量残差和偏移残差。最后，平面法向量和偏移将预测的（假设为第个法向量和第个偏移）示例与残差向量或值相加作为预测结果：
4.3 像素几何增强平面嵌入
像素级深度和法向量预测作为辅助任务：基于Transformer的平面检测器在捕捉高级平面语义信息方面表现出色。然而，结合像素深度和法向量等低级几何线索，对于平面识别和几何恢复是有益的。像素级深度表示表面点到相机的距离，而像素级表面法向量为识别平面方向和边界提供有用线索。受此启发，作者提出将像素级深度和法向量估计作为辅助任务，使网络能够学习场景的整体几何结构并利用有价值的几何线索。如图2（a）所示，在编码器之后，作者并入两个卷积神经网络（CNN）块，分别预测像素深度图和法向量图。
几何增强平面嵌入：作者发现仅将像素深度和法向量训练作为辅助任务并没有产生实质性的改进。虽然编码器和解码器可能通过多任务训练隐含地学习几何信息，但平面查询无法利用低级几何线索来增强实例级预测。为了解决这个瓶颈，作者首先通过单独的CNN层将深度和法向量投影到嵌入空间，表示为和。然后，平面查询嵌入以与图像特征类似的方式，与投影的几何特征和执行交替的交叉注意力和自注意力，得到增强的嵌入和：
最终的几何增强嵌入表示为原始嵌入与上述两个几何嵌入的和：。注意力机制引导平面查询从像素级几何预测中发现细粒度的上下文几何线索（例如，平面边界）。利用几何注意力模块，解码器可以提取几何增强的平面嵌入，这被证明对解码平面重建过程中的各种输出是有益的。
4.4 损失函数
作者采用二分匹配策略，与先前工作一样，在训练期间匹配预测和真实平面实例。作者的总体损失函数包括以下组件：平面分类损失、掩码损失（联合交叉熵和骰子损失）、法向量分类损失和残差回归损失（L1损失）、偏移分类损失和残差回归损失（L1损失）、像素级深度损失（L1损失）以及法向量损失（联合L1和余弦距离）。仅在具有有效真实深度值的像素上进行监督，而仅在真实平面像素上进行监督。对于残差监督，作者利用真实类别来索引预测的残差，确保在训练期间仅对选定类别的残差进行监督。对每个分类任务采用交叉熵损失。注意，遵循[14]的设计，作者在训练期间对Transformer解码器每一层的预测进行监督。最终损失计算为：
其中是相应的损失权重。
5. 实验
5.1 实现细节
作者基于 [14, 53] 的代码，使用PyTorch实现了该框架。模型从预训练的DINOv2-base [45] 模型初始化编码器权重，并使用AdamW [42] 优化器以16的批量大小进行50K步的端到端训练。学习率设置为，在40K步和47K步时衰减10倍。
对于平面法向示例聚类，作者设置，并对整个混合训练数据集应用K-Means算法。对于偏移示例聚类，由于室内和室外数据之间存在显著的几何尺度差异，为避免聚类被单一领域主导，作者首先使用20m的阈值根据偏移值将所有平面分为两组。然后，分别为每组聚类10个示例，并合并结果，最终得到个示例。
在推理过程中，作者基本上遵循PlaneRecTR [53] 的方式，保留被分类为平面的平面查询，并解码其平面掩码和参数，进而重建平面深度图。更多实验和网络架构细节，请参考补充材料。
5.2 评估指标
遵循以往关于单视图平面重建的工作 [37, 53, 59]，作者使用多个分割指标评估平面检测质量，包括信息变异 (VOI)、兰德指数 (RI) 和分割覆盖率 (SC)。通过计算不同深度和法向误差阈值下的平均平面召回率来评估几何重建精度。具体而言，室内数据集采用0.05m / 0.1m / 0.6m的深度阈值，室外数据集采用1m / 3m / 10m的深度阈值。两个领域均采用5° / 10° / 30°的法向阈值。
5.3 定量和定性评估
零样本评估：为证明该框架卓越的泛化能力，作者首先对训练期间未见过的不同领域数据集进行零样本评估，结果见表2。具体而言，在NYUv2数据集上，为进行公平比较，作者评估了仅在ScanNet上训练的方法。在平面分割和3D几何方面，作者的方法在几乎所有指标上都显著优于其他SOTA方法。此外，当在多个室内和室外数据集上训练时，与混合训练的对比方法PlaneRecTR（使用与作者相同的训练设置）相比，作者的方法在不同基准数据集上，包括室内（NYUv2 [55]、7-Scenes [54]）和室外（ParallelDomain [25, 46]、ApolloScape [29]），均展现出显著的性能提升。这验证了作者网络架构设计以及解耦的先分类后回归学习范式的优越性。
为验证特征编码器的通用性，作者进一步采用使用ViT-Large架构训练的DINOv2（DINO-L）和最近的几何3D基础模型Dust3R [63] 作为骨干网络，作为更强的变体。可以看到，作者的模型在不同选择下通常表现出稳健性，并且从这些在数百万张多样图像上预训练的模型的先验知识中进一步获得了性能提升。
消融实验：在混合数据集训练设置下，作者对每个提出的组件进行消融实验，包括使用DINO-Base编码器和DPT解码器（简称为DPT）、先分类后回归学习方案（Cls-Reg）以及基于注意力的几何增强平面嵌入模块（Geo-Attn）。如表3所示，第一行表示作者方法的基础版本，该版本采用原始骨干网络（SwinTransformer编码器和解码器）并直接回归。
为展示所提出模块在多数据集训练中的独特优势，作者以相同方式在单数据集（ScanNet）训练上进行消融实验。可以观察到，在混合数据集设置下，每个组件对平面重建结果都起着显著作用，其性能提升显著优于单数据集训练的情况。这验证了作者所采用的模块或训练策略在多领域场景中的显著有效性。
训练数据：作者研究了不同训练数据集组合的效果。为验证训练数据规模的影响，构建了一个 “起始” 混合数据集，包括两个室内数据集（ScanNetv1、Matterport3D）和两个室外数据集（Synthia、VKITTI），然后在其上训练模型。
此外，为展示室内和室外数据的领域差距如何影响平面重建，作者分别使用所有室内训练数据集和所有室外数据集训练模型，然后在室内（NYUv2）和室外（ParallelDomain）数据集上进行零样本评估。如表4所示，由于领域差距带来的挑战，在室内训练的模型无法很好地泛化到ParallelDomain数据集，同样，在室外训练的模型在NYUv2上测试也存在同样问题。与起始数据集相比，使用完整混合数据集进行训练取得了显著改进，这表明更大的训练数据规模具有显著优势。此外，作者惊讶地发现，混合领域模型在NYUv2上与单领域重建结果相当，甚至在ParallelDomain上优于单领域重建结果。这展示了作者系统在不同领域的稳健性和有效性，并且在纳入更多训练数据集时具有取得更好结果的强大潜力。
高分辨率标注训练：在先前的评估中，为了与基线进行公平比较，作者报告了在低分辨率（256x192）的真实标注上进行训练的结果。为说明在更高分辨率（640x480）上训练的好处以及作者方法在不同输入大小之间的适应性，在表5中，作者比较了在高分辨率评估上低分辨率训练模型和高分辨率训练模型的性能。可以看到，在大多数指标上，更高分辨率的训练对平面分割和几何重建都有好处。
定性结果：作者在图3中展示了在各种实际场景数据集上的平面分割和重建网格。与当前的SOTA方法PlaneRecTR [53] 相比，作者的方法始终表现出改进。如前三例中各种室内场景所示，PlaneRecTR重建的平面有时偏离正确的几何形状，而作者的方法更有效地保留了平面间的几何关系，如平行或正交。在室外场景中，如最后三行所示，作者的方法在分割和网格精度上有显著提高。
6. 结论
本文主要关注从单张图像建立跨领域平面重建这一关键任务。作者自动为几个室内和室外数据集生成了高分辨率、密集的3D平面标签，从而形成了一个大规模的跨领域基准数据集，以满足训练需求。作者提出了一种名为ZeroPlane的基于Transformer的模型，这是一个统一的、可迁移的3D平面重建框架，在混合领域和数据集上进行训练。
作者的模型解耦了平面法向和偏移的表示，并采用示例引导的先分类后回归学习方案以及像素几何增强模块，以实现稳健且精确的平面重建。大量实验表明，该框架在跨领域评估的实际场景数据上具有卓越的零样本泛化能力。作者期望模型和标注的平面基准数据集能够推动泛化和实际应用的发展，同时也能激发该领域的进一步研究。更多实验结果和其他技术细节，请参考补充材料。
局限性和未来工作
尽管作者的系统展现出强大的性能和泛化能力，但由于缺乏具有密集真实深度的真实室外训练数据，仍受到一定限制，这在一定程度上阻碍了泛化能力的进一步提升。为取得进展，作者计划在未标注数据上应用语义或几何基础模型，如SAM [32] 和DepthAnything [69]，并利用这些基础模型中编码的先验知识来解决此限制。
声明
本文内容为论文学习收获分享，受限于知识能力，本文对原文的理解可能存在偏差，最终内容以原论文为准。本文信息旨在传播和学术交流，其内容由作者负责，不代表本号观点。文中作品文字、图片等如涉及内容、版权和其他问题，请及时与我们联系，我们将在第一时间回复并处理。