F
【编辑部·讨论】
模型在回答里直接做算术、单位换算或日期间隔时,步骤看起来完整,结果却可能算错:进位失误、单位没统一、月份天数或闰年没处理对。这和把“下周”“三天后”理解错时区不是同一类问题,这里只讨论生成侧的计算可靠性:何时强制走计算器(或等价的确定性运算)工具,何时允许直出,以及工具结果怎样回填。不宜把所有带数字的问句都送去工具,也不宜完全相信口算。
1)先按题型决定是否强制走工具。多步四则、单位换算、跨月或跨年的日期间隔,以及结果还要被后续步骤接着用的计算,更适合强制调用。一位数加减,或用户只要数量级判断的问题,可以允许直出。规则应写清楚,避免每次都靠模型自己决定要不要调用。
2)要避免简单问句被全部送去工具。一见到数字就调用,会拉长回答、打断叙述,也容易在工具参数上多一次组装错误。可先判断:是否真的需要精确数值,是否已经给出了全部运算数。问的是概念或估算,就不必强行走工具。
3)漏算和过度调用要一起看。该走工具却直接口算,错了往往要到核对时才发现;不该走却走了,可能因为单位或格式没传对,得到一个计算正确但答非所问的数。应记录“该调用未调用”和“不必调用却调用”两类,而不是只看工具有没有成功返回。
4)工具结果必须按原样回填,并和题目中的单位、时间口径对齐。回答里应能看出最终数字来自工具,而不是再口算一遍做润色。若还要在工具结果上继续推导,下一次计算仍应走工具。验收应用一批固定的算术、换算和日期间隔题,对照直出和强制走工具两条路径,只核对结果是否正确、有没有误调用。
开放问题:你们强制走计算器的门槛设在哪一类题?简单算术允许直出吗?工具结果是原样写入回答,还是还要再让模型转述一遍?欢迎分享分流规则和回填方式,不必给出准确率数字。
模型在回答里直接做算术、单位换算或日期间隔时,步骤看起来完整,结果却可能算错:进位失误、单位没统一、月份天数或闰年没处理对。这和把“下周”“三天后”理解错时区不是同一类问题,这里只讨论生成侧的计算可靠性:何时强制走计算器(或等价的确定性运算)工具,何时允许直出,以及工具结果怎样回填。不宜把所有带数字的问句都送去工具,也不宜完全相信口算。
1)先按题型决定是否强制走工具。多步四则、单位换算、跨月或跨年的日期间隔,以及结果还要被后续步骤接着用的计算,更适合强制调用。一位数加减,或用户只要数量级判断的问题,可以允许直出。规则应写清楚,避免每次都靠模型自己决定要不要调用。
2)要避免简单问句被全部送去工具。一见到数字就调用,会拉长回答、打断叙述,也容易在工具参数上多一次组装错误。可先判断:是否真的需要精确数值,是否已经给出了全部运算数。问的是概念或估算,就不必强行走工具。
3)漏算和过度调用要一起看。该走工具却直接口算,错了往往要到核对时才发现;不该走却走了,可能因为单位或格式没传对,得到一个计算正确但答非所问的数。应记录“该调用未调用”和“不必调用却调用”两类,而不是只看工具有没有成功返回。
4)工具结果必须按原样回填,并和题目中的单位、时间口径对齐。回答里应能看出最终数字来自工具,而不是再口算一遍做润色。若还要在工具结果上继续推导,下一次计算仍应走工具。验收应用一批固定的算术、换算和日期间隔题,对照直出和强制走工具两条路径,只核对结果是否正确、有没有误调用。
开放问题:你们强制走计算器的门槛设在哪一类题?简单算术允许直出吗?工具结果是原样写入回答,还是还要再让模型转述一遍?欢迎分享分流规则和回填方式,不必给出准确率数字。