自动化视觉检测系统的实用化

在制造业、零售业等众多行业中，视觉产品检测至关重要。发运损坏商品会侵蚀客户信任，并产生退款或更换的额外成本。如今，自动化检测过程以提高吞吐量、降低成本和加速反馈循环的需求日益增长。

异常检测是预测产品是否偏离常态以指示潜在缺陷的过程；而异常定位则是更复杂的任务，需使用像素级异常分数来突出异常区域。尽管计算机视觉取得进展，但异常定位方法的研究与实际生产环境部署之间仍存在差距。现有模型多专注于产品特定缺陷，对处理不同产品的制造商用途有限。

在发表于《制造系统杂志》的论文中，提出了首个面向实际应用的异常定位基准框架——包含新标注的产品无关数据集和建议的评估方案。通过重新标注现有数据集中的异常样本，捕获更高级别的人类可理解描述，创建了可用于以通用、产品无关方式评估模型的新数据集。

同时确定了最优建模方法，开发了高效的训练和推理方案，并对各种技术进行了消融研究，以估计分割图像异常与非异常区域的最佳像素强度阈值。来自不同行业的用户可利用该基准框架在生产流水线中部署自动化视觉检测。

基准框架

使用监督学习训练异常定位模型存在主要缺陷：与无缺陷产品图像相比，缺陷产品图像稀缺；且标注缺陷产品图像成本高昂。因此，该基准框架在训练阶段不需要任何异常图像。相反，模型从无缺陷样本中学习典型图像特征的分布。

在验证阶段，仅需少量异常图像即可确定正常与异常像素之间的边界应落在异常分数分布的哪个位置。在推理时，训练后的模型生成异常分数图以突出每个输入图像中的异常，随后使用最优像素强度阈值计算分割图，屏蔽非异常像素。

该基准框架包含三个主要构建模块：产品无关数据集、模型集合和评估方法集合。根据生成异常分数图的方式，将建模方法分为四大类：重建、归因图、块相似性和标准化流。框架包含每类的最先进代表方法。

对于实际应用，异常定位应遵循双重评估程序：验证指标不需要阈值，但推理指标需要。强调阈值的高效确定，以解决以往研究的空白。不同指标在不同实际用例中各具优势：该基准提供推理（阈值依赖）指标的详细分析，比较四种建模方法与五种不同阈值估计技术。

产品无关数据集

为创建产品无关数据集，根据更高级别、更通用的类别对两个现有数据集（MVTec和BTAD）中的异常图像重新分类。这两个数据集的异常图像均包含像素级精确的异常分割图，突出缺陷并屏蔽无缺陷区域。

首先根据是否存在背景对产品图像分类。带背景的图像以产品（如瓶子或榛子）为前景置于背景中；无背景的图像中产品特写（如地毯编织或木材纹理）占据图像所有像素。

结构缺陷：扭曲或缺失的物体部件，或产品结构的严重损坏。例如：孔洞、弯曲、缺失部件等。
表面缺陷：主要限于产品表面较小区域的缺陷，需要相对较少修复。例如：划痕、凹陷、铁锈等。
污染缺陷：指示存在外来材料的缺陷。例如：胶水滑移、灰尘、污垢等。
复合缺陷：结合上述任何类型的缺陷，在真实分割图中具有多个连接组件。例如：污染背景中的孔洞。

标注由标注团队使用定制用户界面完成。标注人员通过比较异常图像与无缺陷产品图像，参考相应的真实分割图进行适当的缺陷分类。这些产品无关标签已在论文补充材料中提供，研究人员可使用这些标签进行新实验并开发产品无关基准。

新产品基准测试

该基准框架为建模方法选择、阈值估计方法和评估过程提供了宝贵见解和指导。针对引入新产品的制造商，建议使用基于块相似性的块分布模型（PaDiM）作为高效起点，并通过交并比（IoU）曲线估计阈值。若表面缺陷更可能出现，基于标准化流的条件标准化流（CFLOW）模型可能比PaDiM更合适。在强调验证指标局限性的同时，指出IoU是估计分割性能更可靠的推理指标。

以MVTec数据集中的瓶子产品为例说明流程。数据集包含209张正常和63张异常瓶子图像。第一步是根据产品无关分类标注异常图像，得到41张结构缺陷、21张污染缺陷和1张复合缺陷图像。给定此缺陷比例，PaDiM应为合适的建模方法，最优阈值由IoU曲线确定。后续步骤包括在正常图像上训练PaDiM、使用验证集估计阈值、为测试集图像生成分割图，以及视觉确认缺陷区域以进行领域理解。

发布该基准希望其他研究人员能在此基础上扩展，以帮助弥合异常定位研究中的显著进展与实际应用挑战之间的差距。