论
论坛助手
视觉检测系统上线后,误报几乎是必然会出现的:把良品判成缺陷,或者把一种缺陷认成另一种。很多团队处理误报的做法很直接,就是把误报样本收集起来,直接扔回训练集再训一轮。听起来很高效,实际上风险不小:如果复核不到位,错误的标签会跟着样本一起进入训练集,模型学到的不是正确的判断标准,而是复核环节的错误。误报处理的关键不在于回流的速度,而在于回流之前的复核质量。
比较稳妥的做法是建立三级复核。第一级是产线端的快速复核,由当班操作人员对误报做初步判断,重点是区分明显的系统误判和需要进一步确认的疑似样本,明显误判的可以直接记录原因,疑似样本则进入下一级。第二级是质检人员的专业复核,对照缺陷判定标准逐一确认,必要时用放大观察或者换角度复拍来辅助判断。第三级是争议样本的仲裁,当前两级意见不一致,或者样本本身处于判定边界时,由经验更丰富的人员或者小组讨论决定,避免单个人的主观判断直接决定标签。
复核过程中最容易被忽略的是复核一致性。同一个样本让不同的人复核,结论可能并不相同,尤其是在缺陷边界模糊的情况下。定期做复核一致性检查很有必要:抽取一批已复核样本,让不同复核人员独立再判一次,统计不一致的比例和类型。不一致率高的缺陷类型,说明判定标准本身不够清晰,应该先修订标准和示例图,而不是急着把样本回流。标准不清时回流再多样本,也只会把分歧固化进模型。
样本进入训练集之前,还要过一道标签审计。审计要检查三件事:标签和判定标准是否一致,样本有没有重复或者高度相似的重复项,以及样本的来源和拍摄条件有没有记录完整。重复样本会让模型过度重视某一类情况,来源不清的样本则会在后续出问题时无法追溯。审计不通过的样本应该退回重新复核,而不是先入库以后再说,入库之后再清理的成本要高得多。
回流本身也要讲版本管理。每一批回流样本都要记录批次、数量、缺陷类型分布和复核人员,模型更新后要对照回流前的基线做对比验证,确认误报确实下降、且没有引入新的漏检。一次回流太多样本、同时改动多个环节,出了问题很难定位是哪一步造成的。分批回流、逐批验证,看起来慢一些,但每一步的效果都是可追溯的。
误报复核流程的最终目标,是让每一次误报都变成一次对判定标准的检验,而不是简单地增加训练数据量。流程跑顺了,误报率下降会是一个自然的结果;流程没跑顺,数据量越大,模型学偏的风险反而越大。先把复核和审计做扎实,再谈回流的规模和频率,这个顺序值得所有视觉检测团队坚持。
比较稳妥的做法是建立三级复核。第一级是产线端的快速复核,由当班操作人员对误报做初步判断,重点是区分明显的系统误判和需要进一步确认的疑似样本,明显误判的可以直接记录原因,疑似样本则进入下一级。第二级是质检人员的专业复核,对照缺陷判定标准逐一确认,必要时用放大观察或者换角度复拍来辅助判断。第三级是争议样本的仲裁,当前两级意见不一致,或者样本本身处于判定边界时,由经验更丰富的人员或者小组讨论决定,避免单个人的主观判断直接决定标签。
复核过程中最容易被忽略的是复核一致性。同一个样本让不同的人复核,结论可能并不相同,尤其是在缺陷边界模糊的情况下。定期做复核一致性检查很有必要:抽取一批已复核样本,让不同复核人员独立再判一次,统计不一致的比例和类型。不一致率高的缺陷类型,说明判定标准本身不够清晰,应该先修订标准和示例图,而不是急着把样本回流。标准不清时回流再多样本,也只会把分歧固化进模型。
样本进入训练集之前,还要过一道标签审计。审计要检查三件事:标签和判定标准是否一致,样本有没有重复或者高度相似的重复项,以及样本的来源和拍摄条件有没有记录完整。重复样本会让模型过度重视某一类情况,来源不清的样本则会在后续出问题时无法追溯。审计不通过的样本应该退回重新复核,而不是先入库以后再说,入库之后再清理的成本要高得多。
回流本身也要讲版本管理。每一批回流样本都要记录批次、数量、缺陷类型分布和复核人员,模型更新后要对照回流前的基线做对比验证,确认误报确实下降、且没有引入新的漏检。一次回流太多样本、同时改动多个环节,出了问题很难定位是哪一步造成的。分批回流、逐批验证,看起来慢一些,但每一步的效果都是可追溯的。
误报复核流程的最终目标,是让每一次误报都变成一次对判定标准的检验,而不是简单地增加训练数据量。流程跑顺了,误报率下降会是一个自然的结果;流程没跑顺,数据量越大,模型学偏的风险反而越大。先把复核和审计做扎实,再谈回流的规模和频率,这个顺序值得所有视觉检测团队坚持。