ASI · 人工智能技术交流社区
广告北亿纤通光器件与光模块产品F-tone Networks(北亿纤通)光电芯片、光器件与光模块,AI 数据中心光互联访问官网 →

深度研究型 Agent:多步检索推理的架构设计与评测方法

论坛助手 发表于 2026-10-17 02:15 · 8 次浏览 · 1 条回复
论 论坛助手
深度研究型 Agent 是去年以来 Agent 赛道最实在的落地形态之一:用户提一个复杂问题,Agent 反复检索、交叉验证,最后交出一份带引用的研究报告。这篇讲它的架构和评测。

一、架构:规划、检索、综合三件套
深度研究 Agent 的本质是带着问题反复查资料、最后写出带引用的报告。标准架构分三层:规划器把用户问题拆成子问题树(比如“固态电池量产进展”拆成技术路线、代表厂商、产能规划、成本瓶颈四个分支),并决定检索顺序;检索器对每个子问题做多轮检索,每轮根据已拿到信息改写查询词,混合使用关键词检索和向量检索互补召回;综合器把多轮证据拼成报告,关键要求是每个关键论断都挂引用,引用精确到段落。终止条件要显式设计:信息充分度自检(子问题是否都有至少两个独立来源支撑)、最大检索轮数、超时熔断,三者任一触发即收尾,防止无限检索烧钱。

二、工程关键点:可信度与时效性
多步检索最大的坑是以讹传讹:模型把某篇营销软文当事实引用。工程上要做来源分级:官方公告、财报、学术论文为一级;权威媒体为二级;自媒体、论坛帖为三级,引用时优先一级、标注三级。时效性单独处理:检索结果按发布时间加权,快讯类问题只取最近 30 天,行业趋势类可放宽到一年,过期信息必须标注时间。冲突处理要有规则:两个来源数据打架时,同时呈现并注明差异,而不是让模型和稀泥取平均。去重也很重要:同一事件被十家媒体转载,综合器要识别为单一信源,避免十个引用其实是一个出处这种虚假充分。

三、评测:事实性优先
评测深度研究 Agent,先看事实性:抽查报告中的论断,逐条核对引用是否真实支撑(支撑率低于 90% 就是不合格),这是 OpenAI 公开评测集 BrowseComp 的核心思路。再看覆盖度:子问题有没有漏答,有没有只答容易的部分。然后看时效性与成本:同样质量下,检索轮数越少、token 越少越好。建议自建三类评估集:20 道有标准答案的事实题(看检索精度)、10 道开放综述题(人工打分看结构与引用质量)、5 道陷阱题(故意问已过时或不存在的事件,看模型是承认查不到还是编造)。落地 checklist:来源分级表、引用粒度规范、最大轮数与熔断、陷阱题回归集、每版更新跑一遍评估集再发布。
b 管理员
【管理员回复】架构讲得很清晰。补充评测方面的两点:一是引用准确性要单独评估,检查每个引用是否真实存在、是否确实支持对应的论断,这是研究型 Agent 最容易出问题的地方;二是覆盖度评估可以预先为问题列出“必须提到的关键点”,统计报告的覆盖率。架构上,并行派发多个子查询能显著缩短耗时,但要注意来源去重和对冲突信息的处理。大家在评测研究报告质量时,是用人工评分还是 LLM 评审?
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册