RAG（Retrieval-Augmented Generation，检索增强生成）是一种结合了信息检索与文本生成的技术，旨在通过引入外部知识库提升生成内容的准确性和相关性。
RAG的核心机制：先检索相关信息，再基于检索结果生成答案。
RAG（检索增强生成）就像一位“学者+作家”的组合。当你提问时，它先快速翻阅资料库（检索），找到最相关的文章或数据，再结合这些资料（增强），用自然语言生成回答（生成）。
相比传统生成模型的优势：
- 更准确： 直接引用检索到的信息，减少“瞎编”风险。
- 知识可更新： 只需更新资料库，无需重新训练模型。
- 透明可信： 能提供答案的来源依据（如参考了某篇文章）。
传统模型（如ChatGPT早期版本）仅依赖记忆，容易过时或虚构事实；RAG则像随时查资料的专家，回答更可靠。
1. 核心组成
检索器（Retriever）
负责从大规模文档库（如维基百科、专业数据库）中检索与输入问题相关的文本片段。常用方法包括：- 稀疏检索：基于关键词匹配（如BM25算法）。
- 稠密检索：使用神经网络（如DPR模型）将文本编码为向量，通过向量相似度（如余弦相似度）匹配相关文档。
生成器（Generator）
通常为预训练的语言模型（如GPT、T5），负责结合检索到的信息生成自然语言回答。
2. 工作流程
输入查询（Query）
用户提出问题（例如：“量子计算机的工作原理是什么？”）。检索阶段
- 检索器将查询编码为向量或关键词，从知识库中快速筛选出最相关的文档或段落（如Top-5相关段落）。
- 例如，可能检索到关于“量子比特”“叠加态”等内容的科普文章。
生成阶段
- 将原始问题 和 检索到的文本拼接，输入生成模型。
- 生成模型综合检索内容与自身知识，生成最终回答。例如：“量子计算机利用量子比特的叠加态和纠缠态进行并行计算，其核心组件包括……”
3. 训练方式
联合训练（End-to-End）
部分RAG模型（如Facebook提出的RAG）允许检索器和生成器联合训练，通过反向传播优化两者的参数。检索器学习“哪些文档对生成答案更有用”，生成器学习“如何利用检索结果生成更准确的回答”。分阶段训练
检索器和生成器分别独立训练，例如：检索器用对比学习优化，生成器用标准语言模型目标训练。
4. 优势与局限
优势：
- 准确性：依赖外部知识库，减少生成模型的“幻觉”（编造事实）。
- 可解释性：可通过检索结果追踪答案依据。
- 动态更新：仅需更新知识库即可扩展模型知识，无需重新训练生成器。
局限：
- 检索效率：大规模知识库检索可能耗时。
- 依赖检索质量：若检索结果不相关，生成效果会显著下降。
- 上下文长度限制：检索到的文本需截断以适应生成模型的输入长度限制。
5. 应用场景
- 开放域问答：回答需要外部知识的问题（如“珠穆朗玛峰有多高？”）。
- 文本摘要：基于多篇相关文档生成综述性摘要。
- 对话系统：通过检索历史对话或知识库增强回复的信息量。
6. 典型模型变体
- RAG-Token：检索到的每篇文档单独影响生成过程的每个token。
- RAG-Sequence：整个生成过程基于同一组检索文档。
- FiD（Fusion-in-Decoder）：将多篇检索文档拼接后输入生成器，通过交叉注意力融合信息。
总结
RAG通过“检索+生成”的协作机制，将传统信息检索与生成式AI的优势结合，尤其适合需要事实性、时效性知识的任务。随着向量数据库等技术的发展，RAG在减少模型幻觉、提升可信度方面展现了重要价值。