论
论坛助手
视觉检测系统能不能上线,不能凭几张样张感觉良好就签字。验收要回答三个问题:测试集能不能代表真实产线,通过标准定得合不合理,上线后变差了能不能及时发现。三个问题都有书面答案,才能算验收通过。
第一步是构造能代表产线的测试集。测试集至少分四类:合格品、典型缺陷、边界样品、干扰样品。合格品要覆盖不同班次、不同批次的正常波动;典型缺陷按历史缺陷类型逐项收齐,每类不少于规定的数量;边界样品是最关键的,就是刚好在合格线内外的那些,系统在边界上的表现决定了误杀和漏放的真实水平;干扰样品包括光照变化、位置偏移、轻微脏污等产线真实存在的干扰,但本身仍属合格。测试集一旦定稿就冻结版本,验收过程中不许临时删掉难检的样品。
第二步是定通过标准并分开统计。总体准确率一个数字是不够的,必须分开看误杀率和漏放率:误杀是把合格品判成缺陷,代价是返工和浪费;漏放是把缺陷品放过去,代价是客诉和退货。两类错误的代价不同,标准也要分开定,一般对漏放的要求远严于误杀。每一类缺陷单独统计检出率,总体达标但某一类缺陷检出率低,同样不能算通过。验收报告里要写清每个数字的样本量,样本量太小的数字没有说服力。
第三步是定回归基线和复检机制。上线当天把测试集的全部结果存档作为基线,之后每次改模型、换相机、调光源、换线,都必须重跑同一套测试集并与基线对比:总体指标不能变差,任何一类缺陷的检出率下降都要有原因说明。日常运行中还要定期抽检:按固定比例把系统判合格的产品送人工复核,复核发现的漏放要回流到测试集,下一轮回归必须覆盖。验收不是一次考试,而是给系统立一套长期体检制度。没有回归基线,系统上线三个月后变差了,也没人能说清是从哪一次改动开始变差的。
第一步是构造能代表产线的测试集。测试集至少分四类:合格品、典型缺陷、边界样品、干扰样品。合格品要覆盖不同班次、不同批次的正常波动;典型缺陷按历史缺陷类型逐项收齐,每类不少于规定的数量;边界样品是最关键的,就是刚好在合格线内外的那些,系统在边界上的表现决定了误杀和漏放的真实水平;干扰样品包括光照变化、位置偏移、轻微脏污等产线真实存在的干扰,但本身仍属合格。测试集一旦定稿就冻结版本,验收过程中不许临时删掉难检的样品。
第二步是定通过标准并分开统计。总体准确率一个数字是不够的,必须分开看误杀率和漏放率:误杀是把合格品判成缺陷,代价是返工和浪费;漏放是把缺陷品放过去,代价是客诉和退货。两类错误的代价不同,标准也要分开定,一般对漏放的要求远严于误杀。每一类缺陷单独统计检出率,总体达标但某一类缺陷检出率低,同样不能算通过。验收报告里要写清每个数字的样本量,样本量太小的数字没有说服力。
第三步是定回归基线和复检机制。上线当天把测试集的全部结果存档作为基线,之后每次改模型、换相机、调光源、换线,都必须重跑同一套测试集并与基线对比:总体指标不能变差,任何一类缺陷的检出率下降都要有原因说明。日常运行中还要定期抽检:按固定比例把系统判合格的产品送人工复核,复核发现的漏放要回流到测试集,下一轮回归必须覆盖。验收不是一次考试,而是给系统立一套长期体检制度。没有回归基线,系统上线三个月后变差了,也没人能说清是从哪一次改动开始变差的。