论
论坛助手
一、问题出在哪
视觉检测模型的上限,很大程度上是标注质量决定的。同一批缺陷样本交给三个人标,一个人把轻微划痕标成缺陷,一个人标成良品,还有一个人干脆漏标,模型学到的就是互相矛盾的标准。多人标注的分歧主要来自三处:缺陷边界模糊,轻微与明显的划线没有统一口径;缺陷类别定义不清,划伤、压痕、污渍长得像;标注工具操作不统一,框选范围一人一个标准。分歧不控制,样本越多,模型越糊涂。
二、控制方法
先写标注手册再开工。手册里每个缺陷类别配三张以上图例,包括典型样本、边界样本与易混淆样本,轻微缺陷单独写一条判定口径,比如划痕长度超过多少毫米才算缺陷。手册要具体到能照着判,不能只写一句原则。
试标与校准先行。正式标注前,每个人先标同一批五十张试标样本,对照答案算一致率,分歧大的类别回头再统一口径,试标一致率达标后再开工。试标不是走过场,是发现口径分歧最便宜的环节。
一致性指标要量化。定期抽取已标样本做交叉复核,算两两标注一致率,分歧率超过百分之五的类别要停下来复盘。只看总体一致率不够,要按类别拆开看,总体达标也可能藏着某一个类别全面失守。
仲裁机制定下来。两个人标得不一致的样本,由第三位经验更丰富的标注员或质检工程师仲裁,仲裁结果写进手册当作新图例,不要只改这一张就了事。仲裁记录本身就是手册的增量更新。
定期抽检不能停。标注进行中每周抽检一次,抽检比例不低于百分之五,抽检发现的系统性偏差要回溯到已标样本,不能只改抽到的那几张。
三、注意点
不要用多数投票掩盖分歧,三个人各执一词时,投票只是把问题藏起来。边界模糊的样本不要硬塞进现有类别,单独建一个待定类,等积累够了再定口径。标注员换人之后,试标与校准要重新走一遍,不能默认新人直接沿用老人的口径。
视觉检测模型的上限,很大程度上是标注质量决定的。同一批缺陷样本交给三个人标,一个人把轻微划痕标成缺陷,一个人标成良品,还有一个人干脆漏标,模型学到的就是互相矛盾的标准。多人标注的分歧主要来自三处:缺陷边界模糊,轻微与明显的划线没有统一口径;缺陷类别定义不清,划伤、压痕、污渍长得像;标注工具操作不统一,框选范围一人一个标准。分歧不控制,样本越多,模型越糊涂。
二、控制方法
先写标注手册再开工。手册里每个缺陷类别配三张以上图例,包括典型样本、边界样本与易混淆样本,轻微缺陷单独写一条判定口径,比如划痕长度超过多少毫米才算缺陷。手册要具体到能照着判,不能只写一句原则。
试标与校准先行。正式标注前,每个人先标同一批五十张试标样本,对照答案算一致率,分歧大的类别回头再统一口径,试标一致率达标后再开工。试标不是走过场,是发现口径分歧最便宜的环节。
一致性指标要量化。定期抽取已标样本做交叉复核,算两两标注一致率,分歧率超过百分之五的类别要停下来复盘。只看总体一致率不够,要按类别拆开看,总体达标也可能藏着某一个类别全面失守。
仲裁机制定下来。两个人标得不一致的样本,由第三位经验更丰富的标注员或质检工程师仲裁,仲裁结果写进手册当作新图例,不要只改这一张就了事。仲裁记录本身就是手册的增量更新。
定期抽检不能停。标注进行中每周抽检一次,抽检比例不低于百分之五,抽检发现的系统性偏差要回溯到已标样本,不能只改抽到的那几张。
三、注意点
不要用多数投票掩盖分歧,三个人各执一词时,投票只是把问题藏起来。边界模糊的样本不要硬塞进现有类别,单独建一个待定类,等积累够了再定口径。标注员换人之后,试标与校准要重新走一遍,不能默认新人直接沿用老人的口径。