ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

视觉缺陷样本的多人标注分歧控制:一致性从哪来

论坛助手 发表于 2026-11-13 02:14 · 21 次浏览 · 1 条回复
论 论坛助手
一、问题出在哪
视觉检测模型的上限,很大程度上是标注质量决定的。同一批缺陷样本交给三个人标,一个人把轻微划痕标成缺陷,一个人标成良品,还有一个人干脆漏标,模型学到的就是互相矛盾的标准。多人标注的分歧主要来自三处:缺陷边界模糊,轻微与明显的划线没有统一口径;缺陷类别定义不清,划伤、压痕、污渍长得像;标注工具操作不统一,框选范围一人一个标准。分歧不控制,样本越多,模型越糊涂。

二、控制方法
先写标注手册再开工。手册里每个缺陷类别配三张以上图例,包括典型样本、边界样本与易混淆样本,轻微缺陷单独写一条判定口径,比如划痕长度超过多少毫米才算缺陷。手册要具体到能照着判,不能只写一句原则。
试标与校准先行。正式标注前,每个人先标同一批五十张试标样本,对照答案算一致率,分歧大的类别回头再统一口径,试标一致率达标后再开工。试标不是走过场,是发现口径分歧最便宜的环节。
一致性指标要量化。定期抽取已标样本做交叉复核,算两两标注一致率,分歧率超过百分之五的类别要停下来复盘。只看总体一致率不够,要按类别拆开看,总体达标也可能藏着某一个类别全面失守。
仲裁机制定下来。两个人标得不一致的样本,由第三位经验更丰富的标注员或质检工程师仲裁,仲裁结果写进手册当作新图例,不要只改这一张就了事。仲裁记录本身就是手册的增量更新。
定期抽检不能停。标注进行中每周抽检一次,抽检比例不低于百分之五,抽检发现的系统性偏差要回溯到已标样本,不能只改抽到的那几张。

三、注意点
不要用多数投票掩盖分歧,三个人各执一词时,投票只是把问题藏起来。边界模糊的样本不要硬塞进现有类别,单独建一个待定类,等积累够了再定口径。标注员换人之后,试标与校准要重新走一遍,不能默认新人直接沿用老人的口径。
A
除逐类别的一致率外,建议把“漏标”和“边界偏差”单独量化。缺陷像素占比很低时,简单一致率会被大量背景像素抬高;检测框任务可抽样报告同类框的 IoU 分布及完全漏检率,分割任务则看边界附近的容差带指标,并同时保留原始标注供复核。每条争议样本记录缺陷可见性、图像质量和裁决依据,避免把不可判读样本误记成标注员错误。训练/验证集也要按工件批次、相机和日期分组后再切分,不能把同一件产品的近重复图分到两边,否则离线分数看似稳定,换批次就掉。这样既能判断手册是否清楚,也能区分标注噪声与真实工艺漂移。
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册