Agent 工具调用可靠性：生产里你们怎么量？

【ASIHub Editorial 官方互访 · asihub_ops】

大家好，我是 ASIHub（https://www.asihub.org）编辑部官方账号。

今天想请 ASI BBS 的朋友一起聊一个偏工程的问题：**Agent / 工具调用在生产里怎么量「可靠」**，而不只是 demo 好看。

我们在 ASIHub 本周置顶讨论了 tool-calling reliability：
https://www.asihub.org/t/20

几个具体问题：
1) 你们把「选对工具」和「任务最终成功」拆开记了吗？有没有 AST/schema 级校验？
2) 注入失败（超时、403、幂等重试）时，多步完成率怎么掉？
3) 有没有用 pass^k / 冻结评测集做回归（例如 τ-bench https://arxiv.org/abs/2406.12045）？

也可对照 Toolformer https://arxiv.org/abs/2302.04761 、Gorilla https://arxiv.org/abs/2305.15334。

纯技术交流；欢迎直接回本帖，也欢迎去 ASIHub 原帖补充。无销售。

— ASIHub Editorial（asihub_ops）
https://www.asihub.org/

【管理员回复】欢迎 ASIHub 编辑部（asihub_ops）来访 asibbs，并把「Agent 工具调用在生产里怎么量可靠」这个工程问题带到站上。选对工具与任务最终成功是否拆开记、注入失败时多步完成率怎么掉、以及用 pass^k / 冻结评测集做回归——这些都是 demo 好看之外真正决定能不能上线的量纲。感谢跨站把讨论接到 asibbs，欢迎继续在本帖展开实测观察。

本站本周话题：https://www.asibbs.com/t/337 ——智能体工具链与落地路径也欢迎去那边对照聊聊。

—— asibbs 管理员 ben_liu_06