一文了解“机器视觉”

视觉是人类观察世界和认知世界的重要手段。通过视觉，我们可以获取外界事物的大小、明暗、颜色、动静等信息，还可以在不需要进行身体接触的情况下，直接与周围环境进行智能交互。据统计，人类获取外部信息的83%都来源于眼睛，位于五官之首，由此可见视觉的重要性。这也不难理解随着信息技术的发展，人们会不遗余力地将人类视觉能力赋予计算机、机器人或各种智能设备。随着智能制造的发展和“工业4.0”时代的到来，机器视觉作为实现工业自动化和智能化的关键核心技术，正成为人工智能发展快的一个分支。

1. 什么是机器视觉？

美国制造工程师协会（SME）机器视觉分会和美国机器人工业协会（RIA）自动化视觉分会关于机器视觉定义如下：机器视觉（Machine Vision，MV），是通过光学装置和非接触式的传感器，自动地接收和处理一幅真实物体的图像，以获得所需信息或用于控制机器运动的装置。通俗地讲，机器视觉就是为机器安装上一双“慧眼”，让机器具有像人一样的视觉功能，从而实现引导、检测、测量和识别等功能。

在工业领域，机器视觉系统被广泛用于自动检验、工件加工、装配自动化以及生产过程控制和监视图像识别。对产品质量的高要求，促进了机器视觉在汽车、电子、半导体、食品和包装等行业的快速发展。事实上，机器视觉已经“飞跃”工厂，现身于农业机器人、AVG物流小车、新兴服务机器人、无人驾驶汽车等各种自主移动机器人，活跃在农场、物流、仓储、交通、医院等多种环境中。本文将重点讲解工业及自动化领域的机器视觉知识

2. 机器视觉的优点

虽然人类视觉擅长于对复杂、非结构化的场景进行定性解释，但机器视觉凭借速度、精度和可重复性等优势（见表1），非常适合对结构化场景进行定量测量。举例来说，在生产线上，机器视觉系统每分钟能够对数百个甚至数千个元件进行检测。配备适当分辨率的相机和光学元件后，机器视觉系统能够轻松检测小到人眼无法看到的物品细节特征。另外，由于消除了检验系统与被检验元件之间的直接接触，机器视觉还能够防止元件损坏，也避免了机械部件磨损的维护时间和成本投入。通过减少制造过程中的人工参与，机器视觉不仅带来了更高的安全性和更大的操作优势，还能够防止洁净室受到人为污染

3. 机器视觉系统的基本构成

机器视觉系统包括硬件和软件两大部分，软件的核心为图像处理算法，硬件的核心为工业相机。典型的机器视觉系统可以分为三个部分：图像采集、图像分析和控制输出，如图2所示。

（1）图像采集

光源用于照明待检测的物体，并突显其特征，便于让工业相机能够更好的捕捉图像。光源是影响机器视觉系统成像质量的重要因素，好的光源和照明效果对机器视觉判断影响很大。当前，机器视觉的光源已经突破人眼的可见光范围，其光谱范围跨越太赫兹、红外光（IR）、可见光、紫外光（UV）乃至X射线波段，可实现更精细和更广泛的检测范围，以及特殊成像需求。

在机器视觉系统中，工业相机被喻为机器视觉系统的“眼睛”，承担着图像信息采集的重要任务。图像传感器是工业相机的核心元器件，主要有CCD和CMOS两种类型，其工作原理是将相机镜头接收到的光学信号转化成数字信号。选择合适的工业相机是机器视觉系统设计的重要环节，不仅直接决定采集图像的质量和速度，同时也与整个系统的运行模式相关。

（2）图像处理

图像处理系统接收到工业相机传送过来的数字图像信息之后，通过各种算法（软件）进行图像特征提取、特征分析和数据标定，进行判断。

（3）控制输出

主要包含I/O接口、运动控制、界面显示结果等。当图像处理系统完成图像分析（除非仅用于监控），就需要将判断的结果和外部控制单元进行通信以完成对生产过程或机器运动的控制。

4. 机器视觉在工业领域内的主要应用

机器视觉在工业领域中的应用主要归为四大类别，包括：定位和引导（Guidance）、检测（Inspection）、测量（Gauging）和识别（Identification），通常简称为GIGI。

（1）定位和引导

定位是机器视觉的基本应用。在任何机器视觉应用中，无论是简单的装配检测，还是复杂的3D机器人箱子拾取应用，通常步都是采用图案匹配技术定位相机视场内的目标物品或特征。目标物品的定位往往决定机器视觉应用的成败。

引导就是使用机器视觉来报告元件的位置和方向。需要引导的原因有许多：首先，机器视觉系统可以定位元件的位置和方向，将元件与规定的公差进行比较，以及确保元件处于正确的角度，以验证元件装配是否正确。其次，引导可用于在二维（2D）或三维（3D）空间内将元件的位置和方向报告给机器或机器控制器，让机器能够定位元件或机器，以便将元件对位，如图3所示。

（2）检测

检测是机器视觉在工业领域中主要的应用之一。在检测应用中，机器视觉系统通过检测产品是否存在缺陷、污染物、功能性瑕疵和其他不合规之处，来确认产品是否满足品质要求。机器视觉还能够检测产品的完整性，比如在食品和医药行业，机器视觉用于确保产品与包装的匹配性，以及检查包装瓶上的安全密封垫、封盖和安全环是否存在，如图4所示。

（3）测量

在测量应用中，机器视觉系统通过计算被测物上两个或以上的点或者几何位置之间的距离来进行测量，然后确定这些测量结果是否符合规格。如果不符合，视觉系统将向机器控制器发送一个未通过信号，进而触发生产线上的不合格产品剔除装置，将该物品从生产线上剔除。在实践中，当元件移动经过相机视场时，固定式相机将会采集该元件的图像，然后，机器视觉系统将使用软件来计算图像中不同点之间的距离，如图5所示。机器视觉的特点就是可以实现非接触式测量，避免了许多传统的接触式测量带来的二次损伤

（4）识别

在元件识别应用中，机器视觉系统通过读取条码（一维）、DataMatrix码（二维）、直接部件标识（DPM）及元件标签和包装上印刷的字符来识别元件，光学字符识别（OCR）系统能够读取字母数字字符，而光学字符验证（OCV）系统则能够确认字符串的存在性，如图6所示。另外，机器视觉系统还可以通过定位独特的图案来识别元件，或者基于颜色、形状或尺寸来识别元件。

5. 机器视觉的发展趋势

（1）视觉系统将从基于PC的板级式向更小型的智能相机发展

随着半导体行业的发展，工业相机的图像传感器将逐渐从CCD到CMOS的转变，这将极大地简化了工业相机设计，使其更容易小型化和集成化。机器视觉系统将从复杂庞大的基于PC的板级式系统向嵌入更多功能、更小型的智能相机系统发展。

（2）视觉技术从2D向3D发展

传统的工业相机获取的目标物品为二维图像，缺少空间深度信息。随着现在对度和自动化的要求越来越高，3D成像与传感技术的出现，不仅有效解决了复杂物体的模式识别和3D测量难题，同时还能实现更加复杂的人机交互功能，受到越来越广泛的应用。

目前，工业领域主流的3D视觉技术方案主要有三种：飞行时间（ToF）法、结构光法、双目立体视觉法。这些3D视觉技术也给工业相机的硬件方面带来变革，相应的核心传感器和半导体芯片技术发展迅速，例如ToF图像传感器、垂直腔面发射激光器（VCSEL）、雪崩光电二极管（APD）/单光子雪崩二极管（SPAD）、MEMS微镜等。

（3）深度学习与机器视觉软硬结合

过去十年图形处理单元（GPU）足够强大的计算能力以及丰富的数据积累使得深度学习得以迅速发展，结合深度学习进行机器视觉检测也成为新的发展趋势。相比使用基于规则方法的传统图像处理软件，深度学习能够让机器视觉适应更多的变化从而提高复杂环境下的程度。同时，深度学习也能够大幅减少开发机器视觉程序和进行可行性测试所需要的时间。2017年4月康耐视收购了基于深度学习的工业图像分析软件公司ViDi Systems，去年年底已经将款深度学习工业图像分析软件ViDi Suite已经投入商业运营，这给集成厂商也带来巨大的机遇。

（4）融合更多波段的探测技术

传统机器视觉的光源以可见光和近红外波段为主，主要实现上文提到的GIGI功能。为了实现更多检测功能，比如温度、化学成分、内部损伤等，就需要结合更多波段的探测技术，比如：远红外热成像、高光谱成像以及X射线工业探伤等。对于许多工业应用，例如汽车或电子工业的零部件生产，温度数据是至关重要的。虽然传统机器视觉可以看到制造问题，但它不能检测温度异常。因此，远红外热成像与传统机器视觉相结合是一个很有前景的发展方向。

6. 机器视觉的市场前景

当前，工业领域仍是机器视觉的主要市场，在半导体及电子制造、汽车制造、机械制造、食品与包装、制药等行业的自动化生产过程中，机器视觉被广泛应用于自动检验、过程控制和机器人引导等。随着“工业4.0”的深入发展和工业自动化的普及，机器视觉在工业制造领域的市场规模将稳定增长。此外，在非工业领域，得益于自动驾驶、智能安防和智慧交通等领域的需求激增，机器视觉将获得爆发式增长。Yole预计全球机器视觉相机市场将从2017年的20亿美元增长到2023年的40亿美元，复合年增长率（CAGR）为12%。

传统高端制造业的聚集地——北美一直是机器视觉的市场，随着全球制造中心向中国转移，中国机器视觉市场正在继北美、欧洲和日本之后，成为国际机器视觉厂商的重要目标市场。虽然相比发达，我国机器视觉起步较晚，不过当前中国制造正从“制造大国”向“制造强国”转型升级，我国的制造生产逐渐从劳动密集型向技术密集型转移，对机器视觉技术的需求十分强烈，可以预见中国的机器视觉未来市场潜力巨大。随着智能制造产业发展和政策的大力扶持，我国机器视觉行业发展将迎来黄金时代。

曾经，人类用双眼记录了波澜壮阔的历史。现在，人类正努力把这个能力赋予机器，让它在看懂这个多彩的世界的同时，能够帮助人类更高效和智能地完成工作和享受生活。期待在机器和人类的携手共舞，世界不仅丰富多彩，更有大智慧！