CV和NLP领域常见模型列表

图像分类（Image Classification）

目标检测（Object Detection）

实例分割（Instance Segmentation）

语义分割（Semantic Segmentation）

视频理解（Video Understanding）

多模态视觉（Vision + Language）

自动驾驶/3D 检测（3D Detection / Perception）

视觉基础模型（视觉大模型，VLM）

文本分类 / 情感分析（Text Classification / Sentiment Analysis）

文本生成（Text Generation）

阅读理解 / 问答（Reading Comprehension / QA）

语言建模 / 通用 LLM

文本摘要（Summarization）

信息抽取（NER / RE / Event Extraction）

机器翻译（Machine Translation）

推理任务（自然语言推理 NLI / 多跳问答 / 多步推理）

多语言 NLP（Multilingual NLP）

视觉定位概览

过去几年，视觉定位领域从基于 DETR 的模块化检测-定位框架发展到大规模多模态预训练，再到结合大型语言模型的多粒度生成式方法。早期代表作 MDETR（2021）首次将检测与定位端到端统一​；随后 GLIP（2021）通过语言——图像对齐预训练在 COCO 上取得 60.8 AP 的 SOTA 成绩​；GLIPv2（2022）进一步拓展到实例分割与多任务跨模态理解​。2023 年，Grounding DINO 在零样本检测与定位上刷新记录​；2024 年底的 OneRef 与 HiVG 引入了生成式和层次化多模态策略​；最新的Ferret（ICLR 2024）将定位能力嵌入到多模态 LLM，实现任意形状的开放词汇定位​；甚至 3D 视觉定位领域也涌现出 SeeGround（2024 12）等零样本框架。

从基于 DETR 的端到端方法（如 MDETR）➔区域–短语对齐预训练（如 GLIP/GLIPv2）➔零样本&开放词汇定位（GroundingDINO 及其 Pro 版本）➔生成式&统一框架（OneRef、Generative VLM）➔多模态大模型（Ferret、Kosmos-2）的融合应⽤。

1. 基于 DETR 的端到端定位模型

• MDETR (2021)：首个将目标检测与自然语言定位统一在 DETR 框架下，通过多模态编码器-解码器端到端训练，实现对 RefCOCO 系列基准的领先表现。
• LightMDETR (2024)：轻量化版本，P@1 在 RefCOCO（85.92%）与 RefCOCOg（80.97%）上略超原始 MDETR，验证了“低成本”端到端方法的可行性​
• Position-guided Text Prompt：在预训练阶段通过“分块+填空”机制强化图文位置对齐，有效提升下游定位精度。
• RefFormer(NIPS 2024)：通过“查询适配（Referential Query）”模块，将 CLIP 作为背靠骨干，生成初始查询以减轻多模态解码难度，在五个视觉定位基准上超越此前 SOTA。

2. 区域—短语对齐预训练

• GLIP (CVPR 2022)：Grounded Language-Image Pre-training 模型，统一目标检测与短语定位预训练，实现 60.8 AP on COCO val，并展现强zero-shot、few-shot 能力。
• GLIPv2 (2022)：在 GLIP 基础上，增加实例分割与多任务理解，统一 Localization 与 Vision–Language Pre-training，使单一模型同时达到检测、分割与定位的 SOTA 水平。
• CLIP-VG (TMM 2023)：利用 CLIP 生成伪语言标签并自适应课程学习，在 RefCOCO/+/g 上的全/弱监督与无监督场景均刷新了当时记录。

3. 零样本与开放词汇定位

• GroundingDINO (ECCV 2024)：将 DINO 检测器与 grounded pre-training 结合，实现开放词汇检测与定位的零样本 SOTA，在 COCO、LVIS 及 ODinW 等基准上表现优异。
• GroundingDINO 1.6 Pro (2025 Q1)：对 1.5 版本进一步优化，尤其是在 LVIS “rare” 类的零样本迁移上取得更大提升​。
• Florence-2-large-ft：在 Papers With Code Leaderboard 上，Florence-2-large-ft 在 RefCOCO+、RefCOCO、RefCOCOg 多个拆分上均居榜首。

4. 生成式统一与层次化多模态策略

• OneRef (NeurIPS 2024)：通过生成式定位机制，实现端到端从文本到检测框的“一步到位” Referring Expression Comprehension，通过 Mask Referring Modeling（MRefM）在 RefCOCOg/Flickr30K 上刷新记录。
• Learning Visual Grounding from Generative VLM (Jul 2024)：利用大规模生成式 VLM 自动构建 1M+ 对应表达的 Grounding 数据集，零样本迁移到 RefCOCO 系列便大幅超越人标方
• HiVG (ACM MM 2024)：采用层次化多模态细粒度特征融合，进一步提升复杂表达式下的定位准确率。

5. 大型多模态语言模型融合

• Ferret (ICLR 2024)：将混合离散坐标与连续特征的区域表示融合到 MLLM 中，支持任意形状、开放词汇的精细化视觉定位。
• Kosmos-2 (2023)：通过 Markdown 链接式表达[text span](bounding boxes)，基于大规模 GrIT 语义-视觉对齐数据集训练，将定位能力内嵌到通用多模态 LLM，实现多任务跨模态理解与定位。
• BLIP-2 (2023)：利用冻结的图像与语言模型，通过轻量级查询器桥接两者，实现低成本预训练并在包括定位在内的多项视觉-语言任务上刷新 SOTA。

6. 3D 场景定位

• SeeGround (2024 12)：零样本 3D 视觉定位框架，将 2D 预训练 VLM 扩展至 3D 场景，通过多视角渲染与空间描述融合，超越弱监督和部分监督 SOTA。

视觉定位的 SOTA 模型已覆盖从端到端 DETR、区域–短语预训练、零样本开放词汇、生成式一体化，到多模态大模型等全栈技术路线。选型应根据下游需求（精度 vs. 效率、零/少样本、生成能力、LLM 集成）进行权衡。