【专家综述】AI在工业检测中的应用与发展

摘要

本文阐述了人工智能技术在机器视觉领域的应用与发展过程，讲解了其如何影响和改变视觉检测系统的开发方式和工作流程，介绍了其在机器视觉丰富场景下的主要应用及取得的成就，对其在工业检测场景的落地过程中遇到的问题进行了总结，最后，结合人工智能的发展和工业检测场景下的特点，展望了未来AI在工业缺陷检测中亟需解决的一些技术挑战与探索方向。

作者：大恒图像资深应用工程师   李东平
关键词：人工智能；工业AI；视觉系统；
缺陷检测；无监督学习

在过去几年中，人工智能技术的蓬勃发展影响和改造了很多行业，也对机器视觉行业产生了重大影响。人工智能技术在图像识别、特征提取和分类、缺陷检测等方面具有巨大优势，为工业缺陷检测提供了新的解决方案。有了人工智能的加持，机器视觉在对智能制造的自动化水平提升过程中能够发挥更多的作用。

人工智能技术首先改变了视觉检测系统的开发方式。传统的视觉开发方式，是以有经验的算法工程师为主，针对每个具体场景，分析工件图像，根据主要特征和经验来确定算法思路，调用专用的图像处理库，完成主要的图像检测算法。基于深度学习的开发方式则完全不同，把以有经验的人为中心的开发方式，变成了流程化的操作步骤。前者以人为主，针对每一个场景需要有针对性的分析和设计，对人的要求较高；后者是统一的流程化操作，不同的应用场景，操作流程和步骤都是一样的，这就大大降低了对人员的要求，降低了视觉开发的门槛，提高了视觉系统的开发效率，使其能够覆盖更多的场景和应用。

基于人工智能的视觉系统开发流程

主要包括以下步骤：

01 采集图像

好的成像质量，是视觉检测系统成功的前提，这条传统算法的要求，在今天的人工智能时代仍然适用。如何利用相机、光源及合理的打光方式，采集到高成像质量的图像，使被检测对象对人眼清晰可见，这仍是我们首先要重视和保证的，这是机器视觉部件的核心目标，也是光学系统的基础，这些经验知识，今天仍然重要。

02 标注

标注是人工智能新增的要求，传统算法没有它。目前的人工智能在工业场景上的应用，主要还是基于迁移学习，预训练模型需要针对碎片化、细分的工业应用场景做适配，那么就要求用户告诉AI你要检测的目标是什么，这是通过标注来完成的。你的标注，就是AI的学习目标。因此，标注质量会严重的影响AI学习和检测的效果。标注的越准确，在学习充分的情况下，才有可能得到类似的检测结果。好的标注数据集，是AI视觉检测系统成功的前提。

03 训练

训练是深度卷积网络对标注数据集进行学习，自主提取样本图像中的多种维度特征信息，综合得到图像的内在规律和多层次表示，以获取分析预测能力，然后对验证集数据做出预测，根据预测偏差反馈修正卷积网络的参数和特征权重，以使预测结果不断逼近标注信息（这也是为什么标注质量严重影响检测质量的原因），从而实现检测任务。精度和误差是训练过程中的两个重要指标，视觉检测系统中的两个关键指标：误检率和漏检率，和它们息息相关。

训练停止后，可得到模型在验证集上的验证结果，如误检率和漏检率等。若指标尚未达到检测指标要求，则需分析可能影响检测精度的因素，比如：数据标注质量（是否标全、标对、标准确），样本数量是否足够、是否均衡，训练集与测试集数据分布是否一致，训练迭代次数，深度学习训练超参设置以及模型选择等，可在修正这些因素之后，更新训练以得到更好的结果；若指标符合检测需求，则可进入下一环节。

训练结束后，也可进一步在测试集上测试模型的表现，便于快速评估技术可行性。这也是基于人工智能检测算法的优势之一，对于常见的检测任务，通过标准化的流程，可以在短时间内（几小时~几天）完成技术可行性评估。

04 部署

把训练好的模型部署到现场进行在线检测，目前基于AI的检测速度已经和传统算法检测速度相当，如果同时处理多个相机的数据或多幅图像，利用GPU的并行计算和网络模型的批量推理，检测速度可能更快。

上线之后，随着检测的进行，会得到各类别大量的图像。在线检测过程中若出现误检、漏检情况，或者出现新的类别的曲线，可利用积攒的数据集对现有模型进行更新训练，提高检测精度。视觉系统长期运行后，随着震动、灰尘、光源老化等因素会导致成像质量发生降低，进而影响检测精度，利用积攒的大量的数据集对现有模型进行更新训练，甚至会提高检测系统的精度，让视觉检测系统越用越准，这也是基于人工智能的视觉检测系统超越传统视觉检测系统的一个特点。

人工智能对视觉系统开发的影响，不仅体现在流程上，更重要的是功能和性能。人工智能强大的学习能力和综合归纳能力，大大拓展和丰富了机器视觉的应用场景。

目前，人工智能在机器视觉的主要应用有：

01 分类

图像分类是深度学习的典型应用，是人工智能重新崛起的代表应用，在某些方面，甚至超过了人类的水平。比如，由于农产品个体间存在天然的差异，使得农产品的检测、分级、采摘等应用的自动化水平一直不高。人工智能强大的分类能力，使视觉不仅能用于工业产品的合格性检查和分级应用中，也已经成功应用于农产品的质检、分级应用中。

02 目标检测

目标检测是机器视觉的成熟应用，在人工智能爆火之前，基于模板匹配的定位技术已经广泛应用，人工智能基于大数据的学习能力和强大的参数调节能力，使其更能兼容各种变化因素，如：纹理、材质、颜色、形状、位置、方向、视角、光照、亮暗、位姿、变形、涂污、遮挡、缩放、浓淡、模糊、噪声、扭曲等，拓展了目标检测应用的范围。

03 分割

实际应用中，往往需要得到缺陷的位置、面积、长宽等参数，以做后续处理。传统的缺陷分割算法多基于灰度、对比度、轮廓，提取这些特征需要长时间的参数调节且鲁棒性不高，直接的后果就是现场调试周期过长，人工智能可通过更新训练模型减少现场调试周期。

04 字符检测与识别

与目标检测类似，字符检测与识别也是久已有之。但深度学习使中文字符检测与识别、手写体等非标准字体识别的准确度提升了不止一个台阶。目前，基于深度学习的字符检测与识别精度已完全超过传统算法，成为此类应用的首选。

05 无监督学习

深度学习，首先需要有大量的缺陷样本进行学习。而在工业制造领域，随着生产工艺和自动化生产水平的提升（这里面也有机器视觉的重要贡献），产品的良率不断提升，99.%甚至99.9%，在短时间内获取到足够的缺陷样本往往比较困难，尤其当存在多种缺陷类别时。这就给人工智能的落地造成了困难。基于此，提出了无监督学习。与人工检测类似，人可以通过观察合格产品后，就可以检测缺陷产品。无监督学习只学习合格产品图像（这很容易获得），提取合格产品图像的内在规律和多层次特征表示；检测时，提取检测图像的特征，与合格产品的特征进行比对，不一致的地方就是异常，由此完成检测。无监督学习，既降低了对缺陷样本的要求，又省去了标注工作量，与此同时，工业制品的一致性又非常高，是工业AI的新兴方向之一。

时至今日，人工智能在工业领域已经不是“行不行、能不能落地”的问题，而是已经在多个场景下落地实用，并取得成功。如今面临的问题是，针对工业场景中的应用特点，如何对已有的人工智能算法进行改进和发展，使其更好的为工业缺陷检测服务。经过这几年的应用和实践，人工智能和深度学习技术在工业缺陷检测中仍然存在一些技术挑战，需要通过不断地研究和探索来解决。

主要包括以下几个方面：

01 数据采集和标注困难

工业缺陷检测数据的采集和标注需要大量的人力和时间，而且数据质量对模型的性能影响很大。有些缺陷面积小、数量多、种类杂，全部标全工作量大，不标或漏标则会影响学习效果。因此，如何有效地采集和标注工业缺陷检测数据是一个非常关键的问题。

02 训练样本的不平衡问题

有的工业制品表面形态多变，缺陷种类繁多，不同种类缺陷的数量差别很大，导致训练样本的不平衡，这会影响模型的分类精度和鲁棒性。除了通过设置不同类别权重和数据增广等手段外，通过AIGC人工智能来自动生成缺陷样本以辅助训练也是一个重要的研究方向。

03 计算量

近年来，随着相机硬件的快速发展，相机的分辨率大幅提升，千万像素以上的相机应用非常普遍，与此同时精密制造水平的提升也对产品品质检测提出了更高的要求，因此工业应用场景普通存在“图像分辨率大、缺陷比较小”的情况，高分辨率图像带来的运算量几何倍数的增加会导致计算复杂度非常高，对网络学习以及训练和推理使用的显卡性能都提出了挑战，进而造成了训练效率的降低和成本的增加。因此，如何优化算法和提高计算效率也是一个重要的研究方向。

04 漏检率与误检率问题

这两个指标是视觉检测系统的核心指标，对应着人工智能算法的召回率和准确率，而后者在网络学习过程中是等价存在的，但实际应用场景对二者的要求却不尽相同。由于图像数据的复杂性和噪声的存在，工业缺陷检测中仍然存在一定的漏检和误检问题。而质检环节对漏检率要求是第一位的，不能让缺陷产品流通到下一环节，造成进一步的损失；在保证漏检率达标的条件下，再降低误检率，甚至可能允许存在一定量的误检率。实际场景的特殊要求，势必要求人工智能算法在学习指标上有所区分，做出调整。

05 未知类别问题

人工智能仅能学习、识别训练样本中存在的类别，而在实际检测过程中，可能会出现新的类别，如新出现的缺陷，或者混入新的产品或异常情况，对于突发情况，人工智能算法只能从原有类别中找出它认为最“相近”的一个类别作为答案，但这种“相近”和人眼所观测的“相似”可能大相径庭。因此，如果让人工智能算法“知之为知之，不知为不知“，仅输出靠谱的结果，以保证系统的可靠性，也是一个需要研究的问题。

06 理解模型的限制

人工智能模型目前仍是黑盒，模型学到的知识并不为人所知，模型做出判断的依据我们也不仅所知，而这又直接影响检测系统的安全性、可靠性和稳定性。如何提高人工智能算法的可解释性，分析图像中对结果影响比较大的区域，鉴定其对不同特征的相关程度，增加模型的可视化和透明化，进而理解模型的限制，从而实现更准确、更稳定、更可靠的工业缺陷检测成为目前研究者的探索方向。

07 边缘计算

在实际场景中使用人工智能算法进行缺陷检测还需要考虑算法依赖的计算资源、设备成本等问题。这对于工业企业而言，也需要考虑成本收益比等实际问题。工业场景的高生产节拍、低延迟、高响应的特点决定了最适合使用边缘计算。如何提高边缘计算的速度，降低成本是主要核心诉求。检测速度要求越高，计算量越大，硬件要求越高，成本越高。这需要具体情况具体分析，如果首要指标是检测速度，那么应使用高性能显卡进行并行加速，可同时推理多张图片来提速；如首先考虑成本，那么可使用CPU进行计算，目前人工智能推理已可在CPU上推理并实现加速，同时也可利用多线程进行加速；另外，智能相机也是一个不错的推理终端选择。

08 数据安全与知识产权

数据隐私和信息安全问题也是目前工业领域需要面对的挑战，在数据获取和使用过程中，需要保证数据的安全性和保密性，并且在使用过程中也要遵守相关的数据隐私保护法规。如何保护用户现场的数据，如何保护训练出的模型，保护各方在人工智能方面的投入，处理好开源和商业使用以及知识产权之间的关系，避免产品走向国际舞台时可能面临的纠纷，也值得参与各方认真研究。

09 工业大模型

人工智能在最近又有爆发式的突破，大模型的威力已暂露头角，在很多领域展现出令人惊艳的表现。碎片化、细分的工业应用场景未来会不会被大模型占领，能不能基于大量的工业场景数据训练一个统一的工业大模型，是一个激动人心的研究方向。

人工智能技术在工业缺陷检测领域的应用前景广阔，它已经改变了机器视觉，未来还将发挥更大的作用。期待人工智能技术在工业缺陷检测中的自主学习和优化能力得到进一步的提高，通过不断地学习和适应，可以对缺陷进行更加准确的识别和判断，并根据实时数据和反馈不断优化和调整算法，在实践中不断提高缺陷检测的准确率和效率，实现更加准确、高效、智能的机器视觉和工业缺陷检测模式，使人工智能技术在工业缺陷检测中得到更为广泛的应用，使得工业产品的质量得到进一步的提升和保障，从而提高工业生产的效率和成本效益，助力工业制造行业更好地服务社会和经济的发展。

（机器视觉产业联盟www.china-vision.org）

声明：本网站所收集的部分公开资料来源于互联网，转载的目的在于传递更多信息及用于网络分享，并不代表本站赞同其观点和对其真实性负责，也不构成任何其他建议。本站部分作品是由网友自主投稿和发布、编辑整理上传，对此类作品本站仅提供交流平台，不为其版权负责。如果您发现网站上所用视频、图片、文字如涉及作品版权问题，请第一时间告知，我们将根据您提供的证明材料确认版权并按国家标准支付稿酬或立即删除内容，以保证您的权益！联系电话：010-58612588 或 Email:editor@mmsonline.com.cn。