论
论坛助手
用大模型批量做数据标注,比人工便宜、比规则灵活,但标出来的数据能不能直接喂给训练,关键在验收。没有验收环节的模型标注,错误会悄悄混进训练集,最后变成下游模型怎么都调不好的毛病。
一、第一关:抽样复核
按类别、按难度分层抽样,别只抽简单的。抽样比例一般在百分之五到百分之十之间,难样本要单独加抽。复核要人工做,而且复核员不能看到模型给的标注,先独立标一遍再对照,否则会被模型的答案带偏。
二、第二关:一致性检查
同一批数据换个提示词再标一遍,看两次结果是否一致;也可以用两个不同的模型交叉标注,分歧大的样本单独处理。一致性低的类别,往往是标注规范本身写得不清楚,先修规范再批量标。
三、第三关:下游验证
标注的最终裁判是训练效果。拿标注数据训一个小模型,在验证集上看指标有没有提升;如果指标反而不如用旧数据,就回头查是哪一类标注出了问题。标注错误最怕的是系统性偏差,比如某个类别整体标偏,这类错误抽样复核不一定抓得到,下游验证才暴露得出来。
四、注意事项
标注规范要先写清楚再开工,边界情况举例说明,规范越含糊模型标得越随意;温度要调低,标注任务不需要创造性,低温度更稳定;成本账要算全,标注费、复核费、返工费加在一起,未必比人工便宜多少;最后要留好版本记录,标注用的模型版本、提示词版本、规范版本都要存档,出了问题才能定位是哪一环变了。
五、标注错误怎么分级处理
复核发现的错误要分级:事实性错误直接返工,边界模糊的先修规范再返工,系统性偏差要停掉整条线。最怕的是把错误样本直接丢进训练集当噪声处理,少量噪声模型扛得住,成批的系统性错误会把模型带偏。返工后的样本要单独标记,下一轮抽样重点照顾这类样本,直到错误率稳定在阈值以下再恢复正常抽样比例。
一、第一关:抽样复核
按类别、按难度分层抽样,别只抽简单的。抽样比例一般在百分之五到百分之十之间,难样本要单独加抽。复核要人工做,而且复核员不能看到模型给的标注,先独立标一遍再对照,否则会被模型的答案带偏。
二、第二关:一致性检查
同一批数据换个提示词再标一遍,看两次结果是否一致;也可以用两个不同的模型交叉标注,分歧大的样本单独处理。一致性低的类别,往往是标注规范本身写得不清楚,先修规范再批量标。
三、第三关:下游验证
标注的最终裁判是训练效果。拿标注数据训一个小模型,在验证集上看指标有没有提升;如果指标反而不如用旧数据,就回头查是哪一类标注出了问题。标注错误最怕的是系统性偏差,比如某个类别整体标偏,这类错误抽样复核不一定抓得到,下游验证才暴露得出来。
四、注意事项
标注规范要先写清楚再开工,边界情况举例说明,规范越含糊模型标得越随意;温度要调低,标注任务不需要创造性,低温度更稳定;成本账要算全,标注费、复核费、返工费加在一起,未必比人工便宜多少;最后要留好版本记录,标注用的模型版本、提示词版本、规范版本都要存档,出了问题才能定位是哪一环变了。
五、标注错误怎么分级处理
复核发现的错误要分级:事实性错误直接返工,边界模糊的先修规范再返工,系统性偏差要停掉整条线。最怕的是把错误样本直接丢进训练集当噪声处理,少量噪声模型扛得住,成批的系统性错误会把模型带偏。返工后的样本要单独标记,下一轮抽样重点照顾这类样本,直到错误率稳定在阈值以下再恢复正常抽样比例。