信息来源： 人大高瓴人工智能学院 发布日期：2026年2月15日

GISA：面向通用信息收集智能体的评测基准

论文标题：GISA: A Benchmark for General Information-Seeking Assistant

作者：Yutao Zhu, Xingshuo Zhang, Maosen Zhang, Jiajie Jin, Liancheng Zhang, Xiaoshuai Song, Kangzhi Zhao, Wencong Zeng, Ruiming Tang, Han Li, Ji-Rong Wen, and Zhicheng Dou

论文链接：https://arxiv.org/abs/2602.08543

GitHub链接：https://github.com/RUC-NLPIR/GISA

一、引言：当AI学会“上网查资料”

随着大语言模型（LLM）的快速发展，一种新型的AI应用正在悄然改变我们获取信息的方式——搜索智能体（Search Agent）。想象一下这样的场景：你想了解“2008年以来，哪位学者在ACL会议上获得过两次以上最佳论文奖”，传统搜索引擎会返回一堆链接，你需要自己点开每个页面，逐年查找获奖信息，然后手动统计。而搜索智能体可以自主完成这一系列操作：它会规划搜索策略、浏览多个网页、收集并整合信息，最终直接给你答案。这类智能体已经在多个产品中落地，如OpenAI的Deep Research、Google的Gemini Deep Research等，成为知识发现和研究辅助的重要工具。

然而，如何科学地评估这些搜索智能体的能力，成为了学术界和工业界共同面临的挑战。今天，我们介绍一项来自中国人民大学高瓴人工智能学院与快手科技合作的研究成果——GISA（General Information-Seeking Assistants），一个面向通用信息收集智能体的评测基准。

二、现有评测基准的局限性

在介绍GISA之前，我们先来看看现有的搜索智能体评测基准存在哪些问题。

问题一：反向构造导致任务失真

为了增加任务难度，许多现有基准采用“从答案反推问题”的构造方式。例如，先找到一个冷门的信息点，再设计一个能指向它的问题。这种方法虽然能产生高难度任务，但构造出的问题往往与真实用户的信息需求相去甚远，甚至有些问题从正向搜索的角度根本无法解决。在这样的基准上优化模型，可能导致其与真实应用场景产生偏差。

问题二：能力评估维度单一

现实中的信息收集任务往往需要两种能力的结合：深度搜索（顺着线索层层深入，找到特定信息）和广度收集（从多个来源汇总信息）。然而，现有基准大多只关注其中一个维度，缺乏对两种能力的统一评估。

问题三：静态答案易被记忆

搜索是人类获取新信息的重要手段，理想的评测基准应当能够测试智能体获取最新信息的能力。但大多数现有基准为了评估方便，选择了答案长期稳定的问题。随着大模型训练数据的不断更新，这些“老问题”的答案可能已经被模型记住，无法真正检验其搜索能力。

三、GISA：我们的解决方案

针对上述问题，我们构建了GISA基准，包含373个高质量查询，全部由人工精心设计和标注。GISA具有以下四个核心特点：

特点一：结构化答案，确定性评估

GISA将答案设计为四种结构化类型：

•         Item：单一答案（如"Dan Klein"）；
•         Set：无序集合（如"印第安纳步行者队、洛杉矶湖人队、纽约尼克斯队..."）；
•         List：有序列表（需按指定规则排序）；
•         Table：多列表格（需符合指定的表头和排序规则）。

这种设计使得评估可以采用严格的匹配指标，避免了依赖LLM进行评估带来的主观性和不稳定性，同时保持了任务的复杂性和多样性。

特点二：深度与广度的统一评估

GISA中的任务同时考察智能体的深度搜索和广度收集能力。

以其中一个任务为例：请构建一张包含韩国历任总统的表格，除了姓名、任期起止日期外，还需要标注每位总统在任期间是否宣布过戒严令。这个任务需要智能体首先广泛收集所有总统的基本信息，然后针对每位总统深入查证其戒严令相关的历史记录。单纯依赖一个数据源无法完成，必须系统性地收集和整合多个来源的信息。

特点三：动态更新，抵御数据污染

GISA将查询分为两类：即Stable类型（答案在较长时间内保持稳定的问题）和Live类型（答案会随时间变化的问题）

对于Live类型的问题，我们承诺按月更新标准答案，确保基准能够持续有效地评估智能体获取最新信息的能力，而非依赖其参数化记忆。

特点四：提供完整的人工搜索轨迹

与仅提供问答对的传统基准不同，GISA为每个查询提供了完整的人工搜索轨迹，包括标注者发出的搜索请求、浏览的网页、以及页面间的跳转路径。

这些轨迹具有双重价值：一方面可以作为过程监督的金标准，用于训练智能体模仿人类的搜索策略；另一方面也验证了每个任务都是人类可以通过正常搜索过程解决的。

图1：数据构造流程与示例

四、严格的数据构建流程

高质量的评测基准离不开严格的构建流程。GISA的构建包含四个阶段：

第一阶段：头脑风暴（Brainstorming）

标注者从多样化的种子来源（新闻、维基百科、论坛等）出发，围绕不同主题领域构思初始问题。我们覆盖了科技、政治、体育、音乐、电子游戏等十个领域，确保问题的多样性。

第二阶段：问题提炼（Query Refinement）

将初始问题转化为正式的结构化查询，明确答案类型和格式要求。在这一阶段，标注者需要进行初步的可行性检查，确保答案不能从现有网页中直接获取，从而保证任务具有真正的搜索挑战性。

第三阶段：人工标注（Human Annotation）

标注者使用我们开发的浏览器插件完成搜索任务，同时记录完整的搜索轨迹。这一步骤确保了每个问题都经过人类验证是可解的。

第四阶段：质量检验（Quality Checking）

交叉验证标注者的答案，检查搜索轨迹的合理性，并使用大模型进行记忆检测——如果模型不借助搜索就能回答的问题，将被排除在外。

共有15位信息检索领域的研究人员参与标注工作，整个流程平均每个查询需要超过1小时的人工投入。

图2：GISA上的实验结果

五、实验发现：

现有系统仍有很大提升空间

我们在GISA上评估了多个主流大模型和商业搜索产品，主要发现如下：

发现一：整体性能仍然较低

即使是表现最好的模型（Claude 4.5 Sonnet，thinking模式），也仅取得了19.30%的整体精确匹配率。这表明当前的搜索智能体在处理复杂信息收集任务时，距离人类水平还有相当大的差距。

发现二：信息收集范围越广，难度越大

从不同答案类型的表现来看，模型在Item类型问题上表现相对较好，但在需要收集更多信息的List和Table类型问题上性能显著下降。这说明现有模型在广泛信息收集和结构化整理方面仍存在明显短板。

发现三：高效使用工具是关键

有趣的是，表现最好的Claude模型在工具使用上非常高效，并没有进行大量的搜索和浏览操作。相比之下，一些调用工具次数更多的模型反而表现更差。这表明盲目增加工具调用并不能提升性能，反而可能引入噪声干扰推理过程。

发现四：商业深度研究系统表现不及预期

令人意外的是，一些商业深度研究产品的表现并没有超过基于ReAct框架的LLM智能体，一部分原因是这些系统在指令遵循方面存在问题，导致输出格式不符合要求。

六、深入分析：

模型与人类的行为差异

除了主实验，我们还进行了一系列深入分析，揭示了模型与人类搜索行为之间的显著差异。

发现一：人类“少搜多看”，模型“多搜少看”

统计显示，人类标注者平均每个任务发起3.53次搜索，浏览19.03个网页；而模型平均搜索7.57次，却只浏览4.63个网页。这说明人类倾向于在搜索结果中深入探索，而模型则依赖频繁发起新搜索来获取信息。

发现二：与人类行为越相似，表现越好

我们发现，模型的搜索行为与人类越相似，其任务完成率也越高。高相似度组的平均F1达到0.76，而低相似度组仅为0.56。这提示我们，让模型学习人类的搜索策略可能是提升性能的有效方向。

图3：错误分析

发现三：错误分析揭示改进方向

通过对50个错误案例的人工分析，我们将错误归纳为三个层面：理解层（3.2%）、搜索层（49.2%）和输出层（47.6%）。其中，搜索层的问题包括无法有效构造查询、不能充分利用网页链接、以及面对信息冲突时缺乏校验策略；输出层最突出的问题是指令遵循错误（31.7%），如生成了错误的表头格式等。

七、开放资源与参与方式

为了促进搜索智能体领域的研究发展，我们完全开放GISA的所有资源：

• 完整数据集：包含373个查询、标准答案和人工搜索轨迹
• 评估脚本：支持自动化评估，方便研究者快速验证模型性能
• 详细文档：提供数据格式说明和使用指南
• 公开排行榜：欢迎提交结果，与其他方法进行对比

我们期待更多研究者和开发者加入，共同推动通用信息收集智能体的发展。

结语

信息获取是人类的基本需求，而让智能体能够像人类一样高效、准确地从互联网收集信息，是一个既有实用价值又充满挑战的研究方向。GISA的提出，旨在为这一方向提供一个真实、全面、动态的评测基准。我们的实验表明，尽管当前的大模型和搜索产品已经展现出一定的信息收集能力，但面对复杂的真实需求，仍有很长的路要走。我们希望GISA能够成为研究社区的有用工具，帮助研究者更好地理解现有系统的能力边界，并推动下一代搜索智能体的发展。