通孔器件机器视觉检测算法

时间：2022-10-05 21:01:58 大专毕业论文我要投稿

相关推荐

通孔器件机器视觉检测算法

　　通孔器件机器视觉检测算法【1】

　　摘要：分析了机器视觉检测算法的发展概况，采用标准机器视觉开发包，研究了通孔器件的机器视觉检测算法。

　　结果表明，针对通孔器件的不同特点，分成线束类和非线束类，分别采用NI视觉开发模块中的颜色定位算法和彩色模板匹配算法，使用不同的综合判据是可行的。

　　关键词：通孔器件;机器视觉;检测算法;颜色定位算法;彩色模板匹配算法

　　机器视觉在电子行业得到广泛应用，但主要集中于印刷电路、表面贴装，而通孔器件的通用质量检测设备则是空白或依赖定制。

　　在电子产品组装工艺中，除了表面贴装器件，还有大量的机插和手工装配的通孔元器件，如：接插件、连接线、大尺寸电解电容、变压器等。

　　这些器件大多有方向、极性、位置等要求，但同时又是在线测试、功能测试的盲点，只能通过人工目视检查。

　　由于操作员工技能、疲劳程度等因素影响，很容易造成漏检，存在很大的质量风险。

　　外观漏检成为某公司客户退返板第二大原因，达到35.1%，占外部故障成本的14.3%。

　　因此，进行通孔器件检测算法研究，研发基于机器视觉的通孔器件通用检测平台非常必要。

　　该算法应能检测接插件、连接线、电解电容、变压器、滤波器、二极管等机插和手工装配的通孔器件，可检验缺件、错件、极性反、线序错、位置偏移等不良。

　　1 机器视觉检测算法发展概况

　　机器视觉已成为生产过程关键技术之一，在传感器将图像数据传送到计算机后，对这些图像数据的处理是机器视觉过程的真正关键[1]。

　　目标识别、位置探测、完整性检测、形状和尺寸检测、表面检测等是几种常用在必须有机器视觉系统参与的任务中的算法。

　　印刷电路板(Printed Circuit Board，PCB，下称PCB)图像的检测算法，大致可分为三大类：有参考比较算法、无参考校验法以及混合型算法。

　　有参考比较算法分为图像对比法和模型对比法;无参考校验法又称为设计规则校验法;混合型算法则综合上述两种算法，扬长避短。

　　目前自动光学检测(Automatic Optical Inspection，AOI，以下简称AOI)系统图像处理基本上采用参考算法，国外进口品牌大多使用图像匹配、法则判别等多种组合手段[2]。

　　PCB检测的参考算法主要采用形状匹配，可以选择的特征提取技术包括像素运算、模板匹配、霍夫变换等[3]。

　　模板匹配可以用来实现完整性检测和物体识别。

　　基本的模板匹配算法包括基于灰度值的模板匹配、使用图形金字塔进行匹配、基于灰度值的亚像素精度匹配、带旋转与缩放的模板匹配。

　　多年来，机器视觉应用中都选用这些基本模板匹配算法。

　　然而，越来越多的应用要求在存在遮挡、混乱和非线性光照变化的情况下找到目标物体，基于灰度值的模板匹配算法不能够处理这些类型的干扰。

　　因此需要使用边缘匹配算法等可靠的模板匹配算法[1]。

　　实现一个稳定可靠的模板匹配的基本算法已经相当复杂，而使这些匹配算法更稳定快速的过程则更加复杂。

　　一般机器视觉用户都依赖标准软件包来提供这些功能，而不会试图自己实现[1]。

　　下面将介绍美国国家仪器(National Instruments，NI，以下简称NI)视觉开发模块，以及基于NI视觉开发模块进行的通孔器件检测算法研究。

　　2 美国国家仪器视觉开发模块的应用

　　2.1 美国国家仪器视觉开发模块

　　NI视觉开发模块包含数以百计的视觉函数，NI LabVIEW、NI LabWindows/CVI、C/C++、或Visual Basic可以使用这些函数创建功能强大的视觉检测、定位、验证和测量应用程序。

　　所有NI视觉开发模块函数都使用以十分之一像素和十分之一度的亚像素级精确度来对位置、距离、和测量值进行插值[4]。

　　通常在选择视觉系统时，精确度、易用性、执行速度是三个需要考虑的重要因素。

　　NI视觉软件是高度优化的，它通过各种可能的途径提升性能，使得其可以与世界上最快的视觉软件包媲美。

　　事实上，与领先的视觉软件供应商相比，NI视觉软件在许多项目上都更为快速[4]。

　　2.2 通孔器件检测算法和综合判据

　　由于通孔元器件材料、形状、尺寸变化大，插装位置不如表面贴片器件规整，存在遮挡、混乱和非线性光照变化等情况，难以采用统一的算法和判据。

　　根据通孔器件的特点将其分为线束类和非线束类，分别采用NI视觉开发模块中的颜色定位算法和彩色模板匹配算法[5][6][7]。

　　2.2.1 线束和彩色定位算法

　　线束的特点是形状多变，位置随机，制程中的不良是不同颜色的线束错位。

　　外观检验主要检查线束的插装位置是否正确或是否装配有线束。

　　采用颜色定位算法[6]，如图1所示。

　　图1 颜色定位算法

　　综合判据：匹配分数大于等于900为合格，否则为不良。

　　算例[5]：

　　(1)正确装配的线束，与线束形状无关，匹配分数均大于900。

　　(2)错插、漏插的情况下，匹配分数小于900，本例中均小于800。

　　结论[5]：颜色定位算法适合线束类的检测。

　　2.2.2 非线束和彩色模板匹配算法

　　非线束的特点是形状固定，制程中的不良主要是极性反、错件、缺件，这也是外观检验的主要检查内容。

　　采用彩色模板匹配算法[6](详见图2)，该算法包括彩色模板学习和匹配两个算法[7]。

　　图2 彩色模板匹配算法

　　其中彩色模板学习算法包括两个模块：学习彩色模板设置模块和学习模块。

　　使用学习彩色模板设置模块设置两个参数：线束类学习模式应设置为平移信息，非线束类学习模式设置为平移与旋转信息;线束类特性模式应设置为颜色，非线束类特性模式设置为颜色与形状。

　　彩色模板学习模块只需输入图像和学习彩色模板设置数据，即可输出模板图像。

　　彩色模板匹配算法也包含两个模块：匹配彩色模板设置模块和匹配模块[6]。

　　匹配彩色模板设置模块中，需要设置两个关键参数：线束类匹配模式设置为无平移，非线束类匹配模式设置为无旋转;线束类匹配特性模式设置为颜色，非线束类匹配特性模式设置为颜色与形状。

　　彩色模板匹配模块，输入图像及其待检测区域、模板、匹配彩色模板设置数据、最小匹配分数、要求匹配数，即输出匹配结果Matches和匹配数。

　　综合判据：匹配分数大于等于700且旋转角度小于±45°为合格，否则为不良。

　　算例[5]：

　　(1)正确装配的元器件，匹配分数大于等于700且旋转角度小于±45°。

　　(2)错插、漏插的情况下，插座类绝大多数匹配分数和旋转角度均为0。

　　(3)反插情况下，曝光良好的图像可从旋转角度判断，本例中旋转角度在180°左右。

　　结论[5]：彩色模板匹配算法适合非线束类的检测。

　　3 结束语

　　(1)针对通孔器件的不同特点，分成线束类和非线束类，分别采用NI视觉开发模块中的颜色定位算法和彩色模板匹配算法，使用不同的综合判据是可行的。

　　(2)采用标准视觉开发包可以研发稳定可靠的通孔器件机器视觉应用通用平台。

　　参考文献：

　　[1]Carsten Steger，Markus Ulrich，Christian Wiedemann.杨少荣，吴迪靖，段德山，译.机器视觉算法与应用[M].北京：清华大学出版社，2008.

　　[2]中国仪器超市.AOI在中国的现状和发展[J/OL].新浪博客，2009.http：//blog.sina.com.cn/s/blog_506b89460100c5zl.html～type=v5_one&label=rela_nextarticle

　　[3]Mark S.Nixon，Alberto S.Aguado.李实英，杨高波，译.特征提取与图像处理(第二版)[M].北京：电子工业出版社，2011.

　　[4]National Instruments.选择视觉软件需要考虑的10个方面[OL].http：//www.ivan7.com/4_LabView-8-6.html，2008.

　　[5]黄文明，徐锦法.基于机器视觉的通孔元器件检验[J]，中国科技博览，中国包装总公司，2013(13).

　　[6]NI，NI Vision Concept Manual，2005.

　　[7]NI，NI Vision Online Help，2000-2008.

　　SMD晶体器件检测中机器视觉的应用【2】

　　摘要：检测SMD晶体器件是其出厂前的一道重要工序，因为SMD电极在测试时具有方向性，所以，应该对其实施方向识别。

　　但是传统光纤传感器不能实施可靠、稳定的判别。

　　而采用机器视觉进行判别，能够有效提高检测效率并降低检测成本。

　　文中主要探讨了SMD晶体器件检测中机器视觉的应用方法。

　　关键词：机器视觉;SMD晶体器件;电极测试;应用分料

　　0 引言

　　在生产流程中，SMD晶体器件检测是一道重要工序，由该工序对晶体器件电性能进行检测后才可包装出厂。

　　因为SMD晶体器件检测工序的特殊性，所以，其检测率对出厂产品的质量有着直接性影响。

　　通常批量生产中必须保证产品误测率在2 ppm以下，也就是说，所出厂的一百万个产品中，避免出现两个以上的不合格品。

　　为使产品出厂品质得以提高，不仅要使用高精度分析仪，而且SMD晶体器件检测还要确保方向一致，尤其是检测SMD晶体振荡器，还要检测其预定方向。

　　此前，企业在生产SMD晶体器件时仅仅可以采用人工检测与识别，因为SMD晶体器件产量持续攀升，外形尺寸的逐渐缩小，严格要求所出厂产品的质量。

　　此外，工作人员长期在紧张的工作状态下，导致其产生严重的视觉疲劳，出现错测与漏测的现象也就在所难免。

　　所以，在研制自动测试SMD器件电性能参数的同时，还要对识别SMD晶体器件方向的现代化机器视觉系统进行专门研制。

　　1 SMD晶体器件的检测系统构成

　　因为是在SMD器件检测中应用该机器视觉系统的，所以本文简要介绍了检测系统整体构成。

　　SMD晶体器件检测的总体框图如图1所示。

　　通常会有振动送料机构以队列形式对待测SMD晶体器件进行输送，并采用机器视觉系统对前端器件进行判别，如果器件实际和预定方向一致，则动作机构就要直接转移此器件至电性能检测工位。

　　如果预定方向和实际方向相反，那么纠正机构则要旋转器件180°，再送至电性能检测工位。

　　2 机器视觉系统在SMD晶体器件检测中的硬件构成

　　这种机器视觉系统的硬件构成图如图2所示。

　　从图2中可以看出，系统由光源、工业相机、图像采集卡、镜头四大部分共同构成了机器视觉的硬件系统。

　　2.1 机器视觉系统镜头参数计算

　　第一，应该计算该系统中的相机和镜头参数，所检测晶体器件最大值应该达到5.0×7.0 mm，最小达到2.5×2.0 mm的外形尺寸，具体见图3所示。

　　因为机械搬运机构在镜头与被测晶体间，所以要求被测晶体与镜头间距保持在100 mm以上。

　　目前较为常用的传感器为1/2的尺寸，因此，这种项目也可选用该类型的工业相机进行检测。

　　2.2 计算相机参数

　　根据SMD晶体焊盘尺寸最小值大约为0.6×0.7 mm，所以确定检测精度一定要在0.1以下，对成本因素进行综合分析，该系统所选相机为30万像素的工业相机，其检测精度为0.01，符合使用要求。

　　2.3 光源选择

　　因为黑白CCD具有比较高的红光敏感度，所以，应该选择红色LED光源。

　　同时根据被测器件外形尺寸，应该选取外径最大值?为50 mm，20°的倾斜角环形光源，这样就能够满足具体测试需求。

　　3 检测策略

　　因为这种机器视觉功能需求是：正反面识别SMD器件，方向识别SMD晶体器件焊盘面，所以，应该对所出现的各种情况进行正确判断，仅仅是检测缺角焊盘是不够的，还必须检测其它焊盘，以提高检测准确性。

　　机器视觉检测系统中，可设置多图形模板，用于检测SMD晶体器件中的焊盘，本研究中，我们对三个图形模板进行设置，也就是说，一个判别工位底面的模板和两个焊盘模板，判别所有图形模板的门限阀值和判别区域。

　　如果所检测的模板1、模板2与图形的相似度对门限阀值大，那么可将目标焊盘检测出来，而且SMD晶体有正确的方向，见图3。

　　如果所检测的图形和模板1、模板2的门限阀值相对比较小，那么方向相反，这种情况下就应该对其作180°的旋转，如图4所示。

　　若未检测到目标物体， SMD晶体器件的外壳则向上，应该将外壳取走，并将其置于振动料斗，进行二次送料，图5所示是判别外壳面结果示意图。

　　如果模板3和所检测图形相似度比门限阀值大，那么图像判别工位则缺少器件，图6所示为判别无器件结果图。

　　4 软件设计

　　这种视觉判别软件被称为SMD晶体器件测试系统的重要组成部分，和其它组成部分共同检测SMD晶体器件。

　　主要由两种程序模块共同组成这种视觉判别软件，具体包括自动判别模块与视觉参数设置模块。

　　对不同SMD晶体器件相关参数与判别模块进行设置是视觉参数设置模块关键作用，主要包括：判别区域设定、模板图形设定及门限值设置。

　　对所有参数进行设置完成后，用户对“测试”按键进行点击，一次检测启动，检验所有参数设置正确与否进行检验。

　　自动判别模块包括：预处理、图像采集、参数读入及像素灰度运算、提取等，具体流程图如图7所示。

　　5 结语

　　在SMD晶体器件检测系统中应用机器视觉技术，实现了光纤传感器所无法实现的重要作用，提高了产品的检测精度，也使所生产产品的质量得到提升。

　　此外，通过对机器视觉硬件和检测软件平台进行自主创建，与集成式相机检测期间相比，可以降低检测成本，提高在市场中SMD晶体器件检测竞争力，在未来的器件检测自动化设备领域，机器视觉技术势必会有更为广阔的开发及应用前景。

　　参考文献

　　[1]房超.机器视觉及其在工业检测中的应用[J].自动化博览，2007 (4)：152-153.

　　[2]朱正德，杨虹，方琳，等.机器视觉：质量监控的第三只眼[J].现代零部件，2010(10)：147-148.

　　[3]封帆，施保华.基于智能机器视觉的针剂生产线安瓶检测识别系统[J].自动化博览，2007(1)：56-57.

　　[4]孙家广.计算机图形学[M].北京：清华大学出版社，2002.

　　机器视觉在半导体器件塑封缺陷检测中的应用【3】

　　摘要：应用机器视觉技术实现半导体器件塑封表面缺陷的自动检测。

　　结合图像特点，根据差影图像匹配技术的基本原理提出了双模板的匹配方法，从一组训练图像中得到均值图像和标准差图像，以两幅图像的差值图像与和值图像分别作为上下限模板图像。

　　引入环境光因子，即目标图像像素均值与模板图像像素均值的比例关系。

　　由此设定的缺陷阈值可以有效地避免噪声干扰和环境光变化的影响。

　　匹配之前使用Canny算子检测边缘点拟合直线的方法获取器件矩形并计算其中心点和旋转角度可以方便有效地确定器件位姿，保证匹配前的对准。

　　最后应用Blob方法将提取缺陷特征。

　　实验结果表明该方法在半导体器件塑封表面缺陷检测方面有较好的效果。

　　关键词：缺陷检测;Blob;Canny;模板匹配;差影

　　半导体电子元器件被广泛应用于各类电子产品和通信系统中，它的外观质量主要取决于封装这一工艺技术。

　　良好的封装可以保护芯片或晶体管少受外界环境的影响，因此封装后的元器件可以得到更加可靠的电气性能，当然也更加方便后续的PCB板上的焊接和贴装[1]。

　　对半导体器件的视觉检测主要包括管脚检测和管体检测。

　　随着计算机技术和图像处理技术的结合和发展，机器视觉被广泛应用于半导体行业的各阶段在线检测中。

　　利用机器视觉[2]进行检测不仅可以排除主观因素的干扰，降低劳动强度，提高生产效率，还可以对缺陷进行定量描述，具有人工肉眼检测无法比拟的优越性。

　　1 检测系统概要

　　在线半导体表面缺陷检测系统[3]主要由PC机、图像处理软件、图像采集设备、光源照明部分以及IO控制装置和机械装置组成。

　　其中图像采集由CCD、镜头、图像采集卡和光源共同完成，高质量的图像信息是系统正确判断和决策的原始依据，是整个系统成功与否的关键所在。

　　图1 缺陷检测系统结构

　　系统采用定位槽对器件进行准确定位，定位槽的底部有一个通气孔，下面连接一个真空吸气装置，机器手将管子放入凹槽，在吸气装置的作用下管子沿着凹槽四周的导向斜面滑入槽底部。

　　确保了获取到的图像中三极管拥有正确的位姿。

　　2 基于边缘的位姿检测

　　硬件系统采用了定位模具保证管子的位姿，但管子在凹槽内仍不可避免的存在轻微的倾斜和旋转，采用边缘点检测拟合边缘线的方法寻找管子矩形，根据矩形的中心位置和旋转角度来对准参考图像与目标图像。

　　实现图像的边缘点检测就是用离散化梯度逼近函数计算每一个像素位置的梯度值和梯度方向，满足阈值要求和方向要求的灰度跃变位置即为边缘点。

　　现实情况的边缘都是斜坡性边缘，这就使得边缘检测的首要工作是滤波。

　　对比Sobel算子，Log算子，Canny算子各自的优缺点[4]后本文采用Canny算子寻找边缘点。

　　边缘点检测之前，划定检测的感兴趣区域，这里使用的感兴趣区域是一条方向线段，规定边缘点的检测方向是从线段的起点到终点。

　　本文的图像处理需要用到的边缘点检测目的主要是在限定区域检测满足梯度阈值及方向的点，方向即从亮到暗或从暗到亮。

　　判断方向时需要兼顾检测方向的影响。

　　检测方向不同，x向、y向的一阶偏导对于判断明暗变化的影响比重也不同，因此给出如下的判断表达式：

　　3 缺陷检测

　　3.1 基于差影的双模板匹配法

　　用于缺陷检测的模板匹配技术常用的有两种：差影法和灰度相关法。

　　差影法的基本原理是将待检测图像与模板图像做像素差，对得到的差值图像进行判断是否存在缺陷及缺陷大小和位置;灰度相关法则是计算待检测图像与模板图像对应像素间的相似度，根据相似度的大小确定缺陷所在。

　　两种方法相比较，由于灰度相关法算法时间复杂度明显高于差影法，对于在线检测对实时性的要求，显然不可取，本文所述缺陷检测思想仍然沿用差影法的基本原理。

　　在以下的论述中规定[gr，c]代表理想图像，即无缺陷的图像，也称为参考图像。

　　[fr，c]代表待检测图像。

　　[r，?c]代表像素坐标。

　　为检测出待测图像与理想图像的偏差，仅需要将两幅图像的对应像素相减即可。

　　通常并不关心缺陷是偏亮区域还是偏暗区域，因此通过预先设置阈值[gabs]使用以下的等式便可找到缺陷。

　　此方法对图像对准有非常高的精度要求。

　　如果物体发生略微的偏移。

　　那么在待测图像与模板图像的边缘便会很容易产生超过[gabs]的灰度值差异，误检缺陷在所难免。

　　另外受到周围环境光线变化的影响，该方法也不能给予任何应对策略。

　　然而在实际的生产应用中，这些因素都是无法避免的，针对以上存在的问题，本文做了以下的工作。

　　改进的匹配方法使用偏差模型[5]学习双模板[6][g1r，c]和[g2r，c]，其中[g1r，c]作为下限模板，[g2r，c]作为上限模板。

　　下限模板由参考图像与容许偏差的差值确定，上限模板则由参考图像与容许偏差的和值确定。

　　容许偏差可以从一组训练图像中计算得到。

　　一般使用标准偏差来计算需要的容许偏差。

　　另外，为了增强抗干扰和抑制噪声的能力，参考图像也不再简单的使用某一幅理想图像简单获取，也应该从一组训练图像中计算像素均值得到。

　　n幅图像的平均值和标准差计算如下：

　　这里还需引入可调倍数常量[p]，[q]和可调绝对常量[a]，[b]。

　　一般情况由一个小的可调倍数乘以标准差即得到所需的容许偏差，用户只需合理设置[p]，[q]值调节容许偏差。

　　然而当标准偏差大大小于被测图像偏差时，这样的方法就显得很不好，因此引入绝对常量，当某处容许偏差小于绝对常量时，使用绝对常量值替代容许偏差值。

　　考虑到环境光线变化的影响，引入环境光因子[θ]，在对模板与待测图像做减法比较之前，计算待测图像像素均值[m0]和模板图像均值[m1]，[m0]和[m1]的比例关系即代表[θ]，令模板图像的每一个像素乘以环境光因子[θ]，可有效抑制环境光带来的不稳定图像质量造成的缺陷误检，以下给出了图像分割公式：　　3.2 缺陷提取

　　图像的几何特征在图像处理中起着十分重要的作用。

　　利用区域特征的大小、位置、方向等来确定物体的位置并识别它们。

　　特征值量度的合理选取可以有效地减小误检率。

　　本文采用Blob算法提取已经分割的缺陷特征。

　　Blob算法用于从背景中分离目标，测量目标的形态参数，包括面积、周长、宽度、高度、细长度、数量等。

　　与基于逐点像素处理的算法相比，该算法处理速度快，被广泛应用于工业在线检测系统中。

　　尽管上述处理方法已经在抑制噪声方面做了很多工作，但分割后的图像仍可能存在伪缺陷，因此通过设置特征阈值来抑制缺陷误检，如宽度阈值、高度阈值、面积阈值、周长阈值，当检测的Blob对象分别满足各方面的阈值要求时，则认为是缺陷，否则被判定为噪声点。

　　4 缺陷检测系统实现

　　硬件环境如下，相机：SONY XC-HR50;镜头：50mm;曝光时间：5ms

　　软件环境如下：基于OpenCV的VC++编程实现

　　检测目标：SOD323半导体器件的塑封表面缺陷检测

　　硬件系统采用了定位模具保证了待测元件有较精确的定位，每幅图像中，器件的位置只有细微的偏差。