https://arxiv.org/pdf/2503.19213
https://www.doubao.com/chat/12038636966213122
A Survey of Large Language Model Agents for Question Answering
文章目录
速览
这篇文档主要是对基于大型语言模型（LLM）的问答代理进行了全面介绍。
首先，它解释了什么是基于LLM的问答代理。简单说，就是把大型语言模型当作“大脑”，让它能像自主代理一样感知环境、自主行动来完成问答任务。相比传统的问答系统和单纯的LLM问答系统，这种代理能和外部环境互动，所以问答效果更好。
接着，文档梳理了这种问答代理的工作流程，主要包括几个关键阶段。规划阶段，就是让LLM决定该采取什么步骤来回答问题，有基于提示和基于微调两种方式；问题理解阶段，通过识别关键信息、扩展或改写问题，帮助机器更好地理解用户的查询；信息检索阶段，从大量信息中找到相关的内容，还会进行排序、压缩和筛选；答案生成阶段，综合信息生成回答，还能借助计算器等外部工具，或者通过提示优化来提升效果；还有后续交互阶段，能和用户多轮对话，解决错误或者进行连续问答。
然后，文档提到了用于训练和评估这些代理的数据集，分为闭域和开域两种，闭域是在特定文档里找答案，开域则范围更广。
最后，文档指出了目前基于LLM的问答代理存在的一些问题，比如评估标准难制定、容易产生幻觉（生成错误信息却很自信）、推理能力有待提高、不能自主选择和创造工具，以及在文档索引方面还有挑战等，同时也探讨了未来的研究方向。
论文翻译
面向问答的大型语言模型代理综述
慕容悦
计算机科学系
乔治梅森大学
费尔法克斯，弗吉尼亚州 - 22030
myue@gmu.edu
摘要
本文综述了基于大型语言模型（LLM）的问答（QA）代理的发展。传统代理面临着显著的局限性，包括对数据的大量需求以及难以泛化到新环境等。基于LLM的代理通过利用LLM作为其核心推理引擎来应对这些挑战。与传统的问答流程和简单的LLM问答系统相比，这些代理通过与外部环境进行交互，取得了更优异的问答结果。我们系统地回顾了在问答任务背景下LLM代理的设计，围绕规划、问题理解、信息检索和答案生成等关键阶段展开讨论。此外，本文还指出了当前存在的挑战，并探讨了提升LLM代理问答系统性能的未来研究方向。
关键词——问答、大型语言模型、自然语言处理
一、引言
自主代理的概念在人工智能研究中早已得到认可。这些代理能够感知其环境并自主地对环境采取行动，以追求预定目标[1]。大型语言模型（LLM）的快速发展引发了人们对基于LLM的代理的浓厚兴趣[2,3]。LLM是由数十亿参数组成的神经网络。通过在海量文本数据上进行训练，LLM获得了对语法、语义、上下文和世界知识的深刻理解。这使它们能够将各种自然语言处理（NLP）任务转化为端到端的文本生成问题，从而在多个领域实现了显著的性能提升。
对于基于LLM的代理，我们可以将感知传感器视为“眼睛”，将文本形式的代表性行动视为“手”。在这种情况下，LLM充当着构建复杂代理的“大脑”，解决了先前代理存在的局限性。训练先前的代理需要大量的样本数据，并且在专家奖励设计方面成本高昂。相比之下，LLM代理拥有广泛的世界知识，并表现出强大的泛化能力，能够适应新的任务或环境。此外，由于LLM具备广泛的语言理解能力和全面的世界知识，它们展现出强大的推理技能，即使在没有特定环境训练的情况下，也能处理复杂的查询。而且，它们接受自然语言输入，具有灵活性、可解释性和用户友好性等特点。
问答（QA）一直是NLP领域的研究重点，也是基于LLM的代理广泛应用的场景。问答旨在根据给定的上下文或知识为问题提供正确答案，以满足人类的信息需求[4]。值得注意的是，许多NLP任务都可以构建成问答形式，例如，翻译任务可以表述为“你能提供以下句子的翻译吗”。在本综述中，我们特别关注用户有明确信息需求的任务。虽然LLM可以直接回答问题，但它们存在一定的局限性。首先，LLM可能会产生幻觉，生成不准确或错误的答案，特别是在需要细微、特定领域知识的情况下。这在法律、金融或医疗决策等复杂领域中尤为成问题[5,6]。其次，LLM的推理不与外部环境进行交互，例如用于检索最新信息的数据库或用于获取更准确答案的工具（如计算器、API）。此外，它们无法在环境中自主验证其输出的正确性。
基于LLM的代理被广泛应用于问答领域以解决这些问题。在问答任务中，基于LLM的代理与独立的LLM之间的关键区别在于多个模块的启发式设计。这些模块指导LLM执行特定的操作，如规划，并使LLM能够与外部环境进行交互，包括数据库、工具、其他训练过的模型和人类。
本文对用于问答任务的LLM代理设计进行了全面综述。我们首先提供理解本综述所需的基础知识。然后，我们总结了当前关于用于问答的LLM代理的研究，根据问答过程的各个阶段，将综述内容分为规划、问题理解、信息检索、答案生成和后续交互。对于每个阶段，我们讨论引入该阶段的动机，并探讨LLM代理是如何设计以提升每个阶段的性能的。此外，我们还指出了该领域存在的各种挑战，并讨论了潜在的未来研究方向。
本综述所涵盖的研究主要来自NLP领域的顶级会议和期刊。主要场所包括计算语言学协会年会（ACL）、自然语言处理经验方法会议（EMNLP）、计算语言学协会北美分会（NAACL）、国际学习表征会议（ICLR）以及神经信息处理系统会议（NeurIPS）等。