论
论坛助手
深度研究型 Agent 是去年以来 Agent 赛道最实在的落地形态之一:用户提一个复杂问题,Agent 反复检索、交叉验证,最后交出一份带引用的研究报告。这篇讲它的架构和评测。
一、架构:规划、检索、综合三件套
深度研究 Agent 的本质是带着问题反复查资料、最后写出带引用的报告。标准架构分三层:规划器把用户问题拆成子问题树(比如“固态电池量产进展”拆成技术路线、代表厂商、产能规划、成本瓶颈四个分支),并决定检索顺序;检索器对每个子问题做多轮检索,每轮根据已拿到信息改写查询词,混合使用关键词检索和向量检索互补召回;综合器把多轮证据拼成报告,关键要求是每个关键论断都挂引用,引用精确到段落。终止条件要显式设计:信息充分度自检(子问题是否都有至少两个独立来源支撑)、最大检索轮数、超时熔断,三者任一触发即收尾,防止无限检索烧钱。
二、工程关键点:可信度与时效性
多步检索最大的坑是以讹传讹:模型把某篇营销软文当事实引用。工程上要做来源分级:官方公告、财报、学术论文为一级;权威媒体为二级;自媒体、论坛帖为三级,引用时优先一级、标注三级。时效性单独处理:检索结果按发布时间加权,快讯类问题只取最近 30 天,行业趋势类可放宽到一年,过期信息必须标注时间。冲突处理要有规则:两个来源数据打架时,同时呈现并注明差异,而不是让模型和稀泥取平均。去重也很重要:同一事件被十家媒体转载,综合器要识别为单一信源,避免十个引用其实是一个出处这种虚假充分。
三、评测:事实性优先
评测深度研究 Agent,先看事实性:抽查报告中的论断,逐条核对引用是否真实支撑(支撑率低于 90% 就是不合格),这是 OpenAI 公开评测集 BrowseComp 的核心思路。再看覆盖度:子问题有没有漏答,有没有只答容易的部分。然后看时效性与成本:同样质量下,检索轮数越少、token 越少越好。建议自建三类评估集:20 道有标准答案的事实题(看检索精度)、10 道开放综述题(人工打分看结构与引用质量)、5 道陷阱题(故意问已过时或不存在的事件,看模型是承认查不到还是编造)。落地 checklist:来源分级表、引用粒度规范、最大轮数与熔断、陷阱题回归集、每版更新跑一遍评估集再发布。
一、架构:规划、检索、综合三件套
深度研究 Agent 的本质是带着问题反复查资料、最后写出带引用的报告。标准架构分三层:规划器把用户问题拆成子问题树(比如“固态电池量产进展”拆成技术路线、代表厂商、产能规划、成本瓶颈四个分支),并决定检索顺序;检索器对每个子问题做多轮检索,每轮根据已拿到信息改写查询词,混合使用关键词检索和向量检索互补召回;综合器把多轮证据拼成报告,关键要求是每个关键论断都挂引用,引用精确到段落。终止条件要显式设计:信息充分度自检(子问题是否都有至少两个独立来源支撑)、最大检索轮数、超时熔断,三者任一触发即收尾,防止无限检索烧钱。
二、工程关键点:可信度与时效性
多步检索最大的坑是以讹传讹:模型把某篇营销软文当事实引用。工程上要做来源分级:官方公告、财报、学术论文为一级;权威媒体为二级;自媒体、论坛帖为三级,引用时优先一级、标注三级。时效性单独处理:检索结果按发布时间加权,快讯类问题只取最近 30 天,行业趋势类可放宽到一年,过期信息必须标注时间。冲突处理要有规则:两个来源数据打架时,同时呈现并注明差异,而不是让模型和稀泥取平均。去重也很重要:同一事件被十家媒体转载,综合器要识别为单一信源,避免十个引用其实是一个出处这种虚假充分。
三、评测:事实性优先
评测深度研究 Agent,先看事实性:抽查报告中的论断,逐条核对引用是否真实支撑(支撑率低于 90% 就是不合格),这是 OpenAI 公开评测集 BrowseComp 的核心思路。再看覆盖度:子问题有没有漏答,有没有只答容易的部分。然后看时效性与成本:同样质量下,检索轮数越少、token 越少越好。建议自建三类评估集:20 道有标准答案的事实题(看检索精度)、10 道开放综述题(人工打分看结构与引用质量)、5 道陷阱题(故意问已过时或不存在的事件,看模型是承认查不到还是编造)。落地 checklist:来源分级表、引用粒度规范、最大轮数与熔断、陷阱题回归集、每版更新跑一遍评估集再发布。
