[论文阅读] 人工智能 | 搜索增强LLMs的用户偏好与性能分析-EW帮帮网

【论文解读】Search Arena：搜索增强LLMs的用户偏好与性能分析

作者: Mihran Miroyan, Tsung-Han Wu, Logan King等  
标题: Search Arena: Analyzing Search-Augmented LLMs  
来源: arXiv preprint arXiv:2506.05334v1, 2025

想象你在问AI“2025年最新的隐私法规有哪些”，传统的大型语言模型（LLMs）只能依赖训练时的静态数据，可能给出2023年的信息，而搜索增强LLMs（如联网的ChatGPT）则能实时检索网页，给出最新政策。但这类“会搜索的AI”面临两大难题：

缺乏真实场景的评估数据：现有数据集（如SimpleQA）多是单轮、英文、事实类问题（如“巴黎人口多少”），但现实中用户会问“分析新能源汽车政策对股市的影响”这类需要多轮推理、跨领域综合的问题。
用户偏好不明确：当AI回答时引用10个来源，其中3个相关、7个无关，用户会觉得更可信吗？不同来源（如维基百科vs.科技博客）对信任度的影响如何？

类比：传统LLMs像“闭卷考试的学生”，搜索增强LLMs像“开卷考试的学生”，但我们缺少“多样化的考试题”（数据集）和“评分标准”（用户偏好分析）。

数据规模：收集24,069次多轮对话，覆盖136个国家、70种语言（英语58.3%、俄语11.8%、中文7.0%），包含12,652次用户偏好投票。
场景多样性：用户意图分为9类，如事实查询（19.3%）、信息综合（18.6%）、分析建议（10.9%）等，而非单一事实检查。例如：
- 事实查询：“Switch 2的价格是多少？”
- 分析建议：“推荐适合初学者的平价跑鞋”。

引用数量的陷阱：用户更偏好引用多的回答，即使部分引用与内容无关（相关系数β=0.273）。例如，回答“曼彻斯特联最新转会新闻”时，引用5个体育新闻网站的回答比引用3个维基百科的更受欢迎，尽管维基内容可能更权威但过时。
来源类型的偏见：社区平台（如Reddit、Substack）和科技博客（如Stack Overflow）比维基百科更受青睐（β=0.061 vs. β=-0.071），可能因前者内容更实时、贴近用户需求。

实验设计：
- 将非搜索LLMs（如传统GPT-4）放入“搜索密集场景”（如实时数据查询），发现其表现显著低于搜索增强模型（p=0.009）。
- 将搜索增强模型放入“非搜索场景”（如创意写作），其表现与传统LLMs相当，甚至在事实类问题中更优（p=0.012）。
结论：搜索增强不会拖累非搜索任务，反而能提升事实类表现；但纯依赖模型内部知识，在搜索密集场景中会“露怯”。

用户意图分类：用GPT-4.1标注9类意图，人工验证一致性（Cohen’s kappa=0.812），例如“如何用uBlock Origin屏蔽域名但允许子分支”属于“指导”类。
偏好建模：使用Bradley-Terry模型分析影响投票的因素，如回答长度（β=0.334，用户偏好更长回答）、搜索上下文窗口大小（窗口大的模型胜率高63.9% vs. 57.6%）。
引用归因分析：用LLM解析20,000+网页内容，发现用户对“支持性引用”和“无关引用”的偏好无显著差异（β=0.29 vs. β=0.27），暴露“重数量轻质量”的问题。

Search Arena通过大规模真实对话，揭开了搜索增强LLMs的用户偏好“黑箱”：用户既依赖引用的“数量安全感”，又隐含对实时性和社区内容的偏好。这提示研究者：

论文为评估“会搜索的AI”提供了新基准，但正如作者所言：“用户对引用的盲目信任，仍是可信AI路上的一颗暗雷。”