这个项目做了一年,三万张标注图,两次产线停线改造。客户最初的诉求很直接:换个更强的模型。但复盘下来,模型在整个提升中贡献不到三成,真正把准确率从 92% 拉到 98.6% 的,是相机光源和标注规范这两件”不像 AI”的事。
为什么”换个更强的模型”不是答案?
因为当时的问题不在模型容量,而在输入质量。我们先把 92% 那一版的错判案例全部调出来看,发现超过六成的错误集中在两类缺陷上:极浅的划痕和与工艺纹理高度相似的压痕。这两类缺陷在原始图像里的对比度只有 0.31,人眼都要凑近看,模型判错是必然的。
换句话说,模型已经在尽力分辨,只是输入里根本没有足够的信息。这时换更大的模型,只会让它更有信心地判错。
第一笔投入:光源改造带来了 4 个点
我们没有动模型,先重做了成像。原来用的是同轴光,适合平整表面的均匀照明,但对浅划痕这种深度只有几微米的缺陷,反射差异被压平了。改成低角度环形光后,划痕产生的阴影被放大,缺陷对比度从 0.31 提升到 0.58。
同一批测试图,同一个模型,准确率直接涨了 4 个点。这笔改造的花费远低于重新训练一个更大的模型,而且不需要标注新数据。
第二笔投入:把判定标准写成手册,又拿到 2.6 个点
剩下的误差来自人的不一致。”轻微划痕”和”工艺纹理”在肉眼上极其接近,五个标注员有五种判法,模型学到的是五种标准的平均,结果谁都不像。
解决办法是把判定标准写成图文对照手册:每一类缺陷配三张典型图、两张边界图,明确写清在什么光照角度下、达到什么长度和深度才判为缺陷。三个标注员按手册重新标注了争议样本,一致率从 68% 提升到 94%,模型随之提升 2.6 个点。
整个项目的账怎么算?
| 投入项 | 内容 | 对准确率的贡献 |
|---|---|---|
| 光源与相机改造 | 同轴光换低角度环形光,重做支架 | +4.0 个点 |
| 标注规范手册 | 三万张图重新校标,制定边界判定标准 | +2.6 个点 |
| 模型迭代 | 更换主干网络,增加困难样本挖掘 | +0.8 个点 |
| 产线适配 | 两次停线改造,调整工位与节拍 | 保障稳定性,不直接提升指标 |
可以看到,最大的两块收益都来自”非模型”环节。这不是说模型不重要,而是说在工业质检里,成像质量决定了模型能力的上限。
哪些钱可以省下来?
- 不必一开始就买最贵的相机:先确认缺陷的物理特征(是颜色差异、高度差异还是反射差异),再按特征选光源,比按参数选相机有效得多。
- 不必标注全部历史数据:先标 2000 张做基线,找出错判集中区,再针对性地补标,成本能降一半以上。
- 不必追求 99.9%:和客户一起确认漏判与误判的代价差异,再定阈值。多数产线上,误判(把好品判成坏品)的代价远高于漏判,阈值应据此调整。
两次停线改造是怎么安排的?
第一次停线 6 小时,用于安装新光源与相机支架,期间用人工全检兜底;第二次停线 4 小时,用于接入产线 PLC 信号与剔除机构。两次都安排在计划检修窗口内,没有额外损失产能。经验是:把改造窗口和既有检修计划绑定,比单独申请停线容易通过得多。
98.6% 之后还有提升空间吗?
有,但性价比急剧下降。剩下 1.4% 主要是极小概率的复合缺陷,需要更高分辨率成像和更多边界样本,投入可能翻倍而收益只有零点几个点。更划算的方向是把这个能力复制到其他产线——同一套成像方案和标注手册,在相似工艺的产线上通常能直接达到 96% 以上。
发表回复