一、前沿速览
来自韩国机械与材料研究所的研究人员近日在报道了一项研究成果。在文章中，他们提出了一种新的操作策略，利用从视觉-触觉传感器图像中提取的关键点对应关系来方便精确的对象操作。他们使用视觉-触觉反馈来指导机器人的动作，以精确地抓取和放置物体，消除了对抓取后的调整和广泛的训练的需要。该方法提高了部署效率，解决了在对象位置没有预定义的环境中执行操作任务的难点问题，并通过实验验证了所提出的策略的有效性，证明了关键点对应的提取及其在现实任务中的应用，如块对齐和齿轮插入，这需要毫米级的精度。结果表明，平均误差幅度明显低于传统的基于视觉的方法，足以实现目标任务。
二、背景介绍
在机器人技术领域，专注于精确挑选和放置物体的操作任务构成了重大挑战，特别是在对象位置没有预定义的环境中。在这些环境中实现精确的操作需要先进的感知能力，使机器人能够根据所识别的物体姿态来调整他们的动作。
先前的工作中，基于视觉的RGB-D相机或激光雷达传感器被用来估计物体的姿态。然而，这些方法往往容易受到传感器噪声和环境干扰的影响，从而影响操作的精度。为了克服这些限制，研究探索了不同传感方法的融合，包括视触觉传感器的新应用。这些传感器通常使用柔性弹性体材料和颜色传感器，可以将触觉数据转换为视觉图像。传感器大多连接在机器人的末端执行器或夹持器的末端，使得机器人在操作任务期间直接观察对象的接触状态。
与传统的基于视觉的方法相比，这种触觉传感器提供了更好的操作精度。通过触觉反馈直接感知接触状态，提高了机器人更精确地抓取和操纵物体的能力。这种视觉-触觉传感器已被应用于各种任务，包括抓取、部分识别、姿态细化和操作期间的稳定性评估，尽管需要广泛的训练和物体标记以改进识别等挑战仍然存在。
为了克服这一困难，研究人员提出了一种新的操作方法，利用视觉-触觉传感器捕获的图像的关键点对应来指导操作。在从目标图像和当前获取的传感器图像中提取特征描述符后，将目标图像的特征描述符中预定义关键点对应的值与获取的图像中整个特征描述符之间的相似性进行比较。在此比较之后，继续选择相似性最高的点来寻找对应关系，并基于关键点对应和位姿调整进行位移估计。这种方法有两个优点：它消除了在抓取后进行额外调整的需要，并消除了对广泛训练的要求，使部署更高效和更快。
图1基于视触觉传感器图像关键点对应的机器人操作姿态调整位移估计
这项研究有两个贡献。首先，研究人员提出了一种方法，利用来自视觉触觉传感器数据的关键点对应，在不需要额外学习的情况下实现精确操作。其次，研究展示了该方法在现实任务中的可行性，证明了其在提高操作精度方面的有效性和可靠性。
三、研究方案
本文的基本假设为，当一个物体被抓住，它的特征，如点，线和纹理，可以被观察到。整体程序分为演示阶段和执行阶段。算法流程见算法1。
机器人拾起物体，从传感器获取视觉触觉图像并识别与预定义的关键点的对应关系，并进行后续的操作任务。。
关键点匹配方法:为构建执行阶段中的触觉传感器数据构建密集的描述符，研究人员使用了一个预先训练好的视觉Transformer（ViT）来提取作为密集的视觉描述符的特征，充分描述了细粒度的局部语义信息。本文的重点是利用两个关键点来寻找对应关系，以便支持计算对应点间位置与角度的对应关系。
图2利用从视觉-触觉传感器图像中提取的关键点进行操作过程。
四、实验验证
本文开展了一系列的实验以证明是否可以从视触觉图像中提取关键点对应，位移估计方法的精度，以及本文方法是否可以应用于实际的操作任务。
研究人员首先在Franka Emika Panda一端安装GelSight的GelSight-mini传感器，如图3所示。该传感器接触范围18mm×24mm，分辨率为240×320，本文将其调整为224×298用于关键点提取。实验中只使用了连接在机器人上的两个传感器中的一个进行。本文使用了基于ViT的DINO方法实现特征提取。
图3实验平台一个GelSight-mini传感器，这是一个视觉触觉传感器，被连接到Franka Emika Panda机器人的末端执行器上，以获取传感器数据和估计位移
图4齿轮插入任务的物体。机器人拿起齿轮，并将它们插入到面板上的孔中。
本文第一个实验旨在验证从视触觉传感器捕获的图像中提取关键点对应的有效性，并测量这些关键点与真实位置的偏差。实验的目标任务是在适当的位置抓住齿轮，以确保成功插入。机器人的末端执行器移动并估计插入点的目标位置。在此姿态下，将从触觉传感器获得的图像设置为目标图像，并在目标图像上手动定义关键点。将机器人的末端执行器定位在姿势上，并在x轴和z轴上的+/- 5mm范围内随机移动，以获得测试触觉图像，最终评估从这些图像中提取的关键点与由操作符识别的关键点之间的偏差，偏差由平均和位移大小衡量。
图5 关键点对应成功的示例。已执行关键点匹配，将目标图像中的对象的左角与所捕获的触觉传感器数据中的对象的左角相关联。
图6 关键点对应关系不成功的示例。该关键点匹配已错误地将目标图像中的对象的左角与所捕获的触觉传感器数据中的对象的右角相关联。
本文进行了10次实验，平均误差为1.29 mm，其标准差为0.71mm。图5和图6分别展示了成功与失败的样例。失败主要源于目标特征超出图像的范围。然而，与基于视觉的方法相比，这种误差幅度相对较小，可有效支撑阻抗控制等技术实现目标任务。
第二个实验旨在证明所提出的方法对精确任务的能力，本文对齿轮插入和块对准任务进行了实验，这两种任务都需要毫米级的精度，这是基于外部摄像头的视觉方法无法实现的。本文方法使机器人通过阻抗控制实现对准。实验成功地证实了这两项任务的可行性，如图7和图8所示。
图7 采用该方法的齿轮插入任务快照
图8 利用该方法对块对齐任务进行快照
本文介绍了一种利用视触觉传感器图像的关键点映射来提高物体选择和放置任务的精度。这种方法不仅减少了抓取后调整的需要，而且最大限度地减少了对大规模训练的依赖，从而提高了部署效率。实验证明了可以从视触觉图像中准确提取配对关键点，并可通过阻抗控制等技术实现毫米级的精确操作。