【论文|复现】YOLOFuse：面向多模态目标检测的双流融合框架

目录

■技术特性

■LLVIP基准测试结果

■数据输入规范

■快速部署指南

①环境初始化

②模型训练

③推理验证

④代码

■数据集结构

■扩展

▲常见模态组合与应用场景

▲融合方式

YOLOFuse是基于 Ultralytics YOLO 框架构建的增强型目标检测系统，专为多模态感知任务设计。本框架创新性地引入双流处理架构，支持RGB与红外（IR）图像的协同分析与特征融合，显著提升复杂环境（低照度、烟雾遮挡、极端天气等）下的检测鲁棒性。适用于安防监控、灾害救援、工业巡检等关键场景。

github代码:https://github.com/WangQvQ/YOLOFuse

■技术特性

异构数据融合：实现RGB与IR图像（可扩展至RGB-D等模态）的端到端联合处理

兼容YOLOv8 API：保留原生接口规范，确保用户迁移成本最小化

可扩展融合模块：提供多层次融合策略，支持：

✅ 数据级融合（Data-level Fusion）

✅ 决策级融合（Decision-level Fusion）

✅ 早期特征融合（Early-level Feature Fusion）

✅ 中期特征融合（Mid-level Feature Fusion）

✅ 极简融合（Easy-level Feature Fusion）

✅ DEYOLO（arxiv）

■LLVIP基准测试结果

■数据输入规范

系统通过文件名自动关联异构数据源，需确保文件命名一致性.

数据集目录/

├── images/        # RGB图像

│   └── 120270.jpg

└── imagesIR/      # 红外图像（同级目录）

└── 120270.jpg  # 同名IR文件

标注文件仅需基于RGB图像生成，系统自动复用至IR模态.

■快速部署指南

①环境初始化

git clone https://github.com/WangQvQ/YOLOFuse.git

cd YOLOFuse

pip install -e .  # 可编辑模式安装

②模型训练

融合配置文件：ultralytics/cfg/models/fuse/

python train_dual.py  # 启动双流训练

③推理验证

python infer_dual.py  # 执行融合推理

预训练权重下载

链接：https://pan.quark.cn/s/ec13c6e17b8d 提取码：HETx

④代码

• infer_dual.py

from ultralytics import YOLO

if __name__ == "__main__":
    model = YOLO("runs/train/RGB-IR/weights/best.pt")

    model.predict(
        source="ultralytics/assets/LLVIP/images",
        save=True,  # 保存预测结果
        imgsz=640,  # 输入图像的大小，可以是整数或w，h
        conf=0.25,  # 用于检测的目标置信度阈值（默认为0.25，用于预测，0.001用于验证）
        iou=0.45,  # 非极大值抑制 (NMS) 的交并比 (IoU) 阈值
        show=False,  # 如果可能的话，显示结果
        project="runs/predict",  # 项目名称（可选）
        name="exp",  # 实验名称，结果保存在'project/name'目录下（可选）
        save_txt=False,  # 保存结果为 .txt 文件
        save_conf=True,  # 保存结果和置信度分数
        save_crop=False,  # 保存裁剪后的图像和结果
        show_labels=True,  # 在图中显示目标标签
        show_conf=True,  # 在图中显示目标置信度分数
        vid_stride=1,  # 视频帧率步长
        line_width=3,  # 边界框线条粗细（像素）
        visualize=False,  # 可视化模型特征
        augment=False,  # 对预测源应用图像增强
        agnostic_nms=False,  # 类别无关的NMS
        retina_masks=False,  # 使用高分辨率的分割掩码
    )

• train_dual.py

from ultralytics import YOLO

if __name__ == "__main__":
    model = YOLO("ultralytics/cfg/models/fuse/easy-fuse.yaml")
    model.train(
        data="ultralytics/cfg/datasets/LLVIP.yaml",
        ch=6, # 多模态时设置为 6 ，单模态时设置为 3
        imgsz=640,
        epochs=100,
        batch=64,
        close_mosaic=0,
        workers=16,
        device="0",
        optimizer="SGD",
        patience=0,
        amp=False,
        cache=True, # disk 硬盘，速度稍快精度可复现；ram/True 内存，速度快但精度不可复现
        project="runs/train",
        name="easy-fuse",
        resume=False,
        fraction=1, # 只用全部数据的 ？% 进行训练 (0.1-1)
    )

• val_dual.py

from ultralytics import YOLO

model = YOLO("runs/train/easy-fuse/weights/best.pt")
model.val(
    data="ultralytics/cfg/datasets/LLVIP.yaml",
    ch=6,  # 多模态时设置为 6 ，单模态时设置为 3
)

■数据集结构

采用标准YOLO格式，目录结构示例如下：

datasets/
├── images/
│   ├── train/    # RGB训练集
│   └── val/      # RGB验证集
├── imagesIR/     # IR图像集（与images目录同级）
│   ├── train/
│   └── val/
└── labels/       # 统一标注文件
    ├── train/
    └── val/

■扩展

▲常见模态组合与应用场景

• 可见光图像：擅长捕捉颜色和细节，但在夜间、低光或复杂天气（如雾霾）环境下性能显著下降。
• 红外热成像：不受光照影响，能感知温度差异，适用于夜间监控、安防等场景，但缺乏颜色信息。
• 激光雷达（LiDAR）：提供精准的三维位置和深度信息，解决遮挡和距离感知问题，广泛应用于自动驾驶和机器人领域。
• 毫米波雷达：在恶劣天气（如暴雨、大雾）中穿透性强，可与相机融合提升检测可靠性。

常见模态组合：

• RGB+红外热成像（IR）：适用于夜间监控、安防等场景。例如，监控系统白天用RGB摄像头捕捉彩色图像，夜间通过红外热像仪检测人体热辐射，融合后检测精度较单模态有很大提升。
• RGB+深度（LiDAR）：在自动驾驶和机器人领域应用广泛。摄像头识别物体类别，激光雷达提供三维位置和深度信息，解决遮挡和距离感知问题。
• 其他组合：如毫米波雷达+相机（恶劣天气检测）。

▲融合方式

• 数据级融合：直接拼接原始数据（如像素级叠加），保留全部细节，需严格空间对齐，适用于硬件配准良好的场景，为下图中的（a）前期融合。
• 特征级融合：提取各模态特征后整合（如级联、注意力机制），计算效率与精度平衡，是主流方法。早期融合（b）、中-后期融合（c）、后期融合（d）均属于此范畴。
• 决策级融合：独立检测后合并结果（如加权平均、投票），实时性强且容错性高，适合快速集成现有模型。

至此，本文的内容就结束了。