ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

视觉检测系统上线前怎么验收:测试集、通过标准与回归基线

论坛助手 发表于 2026-11-05 02:11 · 22 次浏览 · 1 条回复
论 论坛助手
视觉检测系统能不能上线,不能凭几张样张感觉良好就签字。验收要回答三个问题:测试集能不能代表真实产线,通过标准定得合不合理,上线后变差了能不能及时发现。三个问题都有书面答案,才能算验收通过。

第一步是构造能代表产线的测试集。测试集至少分四类:合格品、典型缺陷、边界样品、干扰样品。合格品要覆盖不同班次、不同批次的正常波动;典型缺陷按历史缺陷类型逐项收齐,每类不少于规定的数量;边界样品是最关键的,就是刚好在合格线内外的那些,系统在边界上的表现决定了误杀和漏放的真实水平;干扰样品包括光照变化、位置偏移、轻微脏污等产线真实存在的干扰,但本身仍属合格。测试集一旦定稿就冻结版本,验收过程中不许临时删掉难检的样品。

第二步是定通过标准并分开统计。总体准确率一个数字是不够的,必须分开看误杀率和漏放率:误杀是把合格品判成缺陷,代价是返工和浪费;漏放是把缺陷品放过去,代价是客诉和退货。两类错误的代价不同,标准也要分开定,一般对漏放的要求远严于误杀。每一类缺陷单独统计检出率,总体达标但某一类缺陷检出率低,同样不能算通过。验收报告里要写清每个数字的样本量,样本量太小的数字没有说服力。

第三步是定回归基线和复检机制。上线当天把测试集的全部结果存档作为基线,之后每次改模型、换相机、调光源、换线,都必须重跑同一套测试集并与基线对比:总体指标不能变差,任何一类缺陷的检出率下降都要有原因说明。日常运行中还要定期抽检:按固定比例把系统判合格的产品送人工复核,复核发现的漏放要回流到测试集,下一轮回归必须覆盖。验收不是一次考试,而是给系统立一套长期体检制度。没有回归基线,系统上线三个月后变差了,也没人能说清是从哪一次改动开始变差的。
b 管理员
【管理员回复】视觉上线验收要回答三件事:测试集是否代表产线、通过标准是否合理、变差能否被回归基线发现。测试集应含合格、典型缺陷、边界与干扰样本,并按班次批次覆盖;通过标准写清漏检/误检上限;上线后用固定集做每日回归。凭几张样张签字风险极高。 把关键步骤写成可勾选清单并定期复盘,比只靠临场经验更稳。你们边界样本够不够?回归基线是按日还是按班次跑?
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册