基于多光谱融合的电子元器件表面缺陷检测方法和装置-尊龙凯时官方app下载

文档序号:36405411发布日期:2023-12-16 11:34阅读:15来源:国知局
基于多光谱融合的电子元器件表面缺陷检测方法和装置

1.本技术涉及器件检测技术领域,尤其涉及一种基于多光谱融合的电子元器件表面缺陷检测方法

装置和设备



背景技术:

2.随着电子行业的发展,
ic
器件的封装和封装质量已经成为一个至关重要的问题

其中,
ic
器件塑封是最常见的封装方式之一,但在生产过程中,
ic
器件塑封表面可能出现各种各样的缺陷,缺陷包括划痕

崩边

凹坑

异物等,缺陷本身常常表现出低对比度

多尺度等复杂特性

这些缺陷可能会导致安装该
ic
器件的电路失效,降低电子设备的可靠性和寿命

3.视觉检测技术已经广泛应用于表面缺陷检测领域,目前大部分的方法仅关注于单一的
rgb
图像

灰度图像或其他成像形式的输入

然而,如图
10
所示,
ic
器件塑封表面缺陷的检测环境常常受到光照不稳定的影响,缺陷本身表现出的复杂特性,导致单一模态数据的质量受到限制,难以提供准确的缺陷特征信息
。ic
器件的温度测试环境对使用红外成像来感知表面缺陷提供了前提条件,因此为了综合不同成像条件的感知能力,进一步考虑融合可见光图像
(0.43
µ
m-0.74
µ
m)
高分辨率的特性和红外(3µmꢀ‑5µm)图像对温度敏感的特性来增强缺陷特征,增强缺陷检测算法对环境光照变化的鲁棒性,提高缺陷检测的准确率,降低缺陷的漏检率,以应对更复杂的实际检测场景



技术实现要素:

4.本技术实施例提供了一种基于多光谱融合的电子元器件表面缺陷检测方法

装置和设备,用于解决
ic
器件表面缺陷实际检测环境光照条件不稳定和缺陷本身复杂特性,导致单一模态数据的质量受到限制,致使检测结果不准确的技术问题

5.为了实现上述目的,本技术实施例提供如下技术方案:一方面,提供了一种基于多光谱融合的电子元器件表面缺陷检测方法,包括以下步骤:获取
yolov8s
缺陷检测模型以及在实际检测环境下电子元器件的可见光图像和红外图像;以所述红外图像作为参考图像,所述可见光图像作为待配准图像进行特征点匹配,得到配准参数;以及根据所述配准参数将所述可见光图像进行图像变换,得到已配准的可见光图像;将所述红外图像和已配准的可见光图像进行融合处理,得到融合图像;采用所述
yolov8s
缺陷检测模型对所述融合图像进行缺陷检测,得到电子元器件的缺陷检测结果

6.优选地,以所述红外图像作为参考图像,所述可见光图像作为待配准图像进行特征点匹配,得到配准参数包括:
对所述参考图像和所述待配准图像均进行灰度化和双边滤波预处理,得到处理参考图像和处理待配准图像;采用
lp
金字塔构建器对所述处理参考图像和所述处理待配准图像处理,得到对应的参考图像金字塔尺度空间和待配准图像金字塔尺度空间;采用
ofast
算法对所述参考图像金字塔尺度空间和所述待配准图像金字塔尺度空间分别在各层级图像上进行特征提取,得到对应的第一多尺度特征点集和第二多尺度特征点集;采用
rbrief
算法对所述第一多尺度特征点集和所述第二多尺度特征点集分别采用符重组策略进行特征描述,得到对应第一特征描述符集和第二特征描述符集;根据所述第一特征描述符集和所述第二特征描述符集的特征点数据采用汉明距离计算,得到所述第一特征描述符集中任意一个特征点数据与所述第二特征描述符集中所有特征点数据之间的距离集合;从所述距离集合中筛选出数值最小对应的特征点作为特征点对;根据所有的特征点对构建第一矩阵和第二矩阵,根据所述第一矩阵和所述第二矩阵计算,得到配准参数

7.优选地,该基于多光谱融合的电子元器件表面缺陷检测方法包括:采用
ofast
算法对所述参考图像金字塔尺度空间或所述待配准图像金字塔尺度空间分别在各层级图像上进行特征提取得到特征点,得到特征点的内容包括:在所述参考图像金字塔尺度空间或所述待配准图像金字塔尺度空间的各层级图像上选取任意一个像素点作为圆心,以半径r的圆周边上选取至少
16
个像素点并获取对应像素点的灰度值;若圆周边上至少有8个连续像素点的灰度值大于或小于圆心像素点的灰度值,则与圆心对应的像素点作为特征点

8.优选地,将所述红外图像和已配准的可见光图像进行融合处理,得到融合图像包括:对所述红外图像和已配准的可见光图像均采用
nsst
变换的
nsst
分解函数进行分解,得到对应的红外低频子带图像

红外高频子带图像

可见光低频子带图像和可见光高频子带图像;采用视觉显著图加权融合规则对所述红外低频子带图像和所述可见光低频子带图像进行融合处理,得到融合低频子带图像;采用自适应
pcnn
决策融合规则对所述红外高频子带图像和所述可见光高频子带图像进行融合处理,得到融合高频子带图像;采用
nsst
逆变换重构所述融合低频子带图像和所述融合高频子带图像,得到融合图像

9.优选地,所述视觉显著图加权融合规则的内容包括:获取与所述红外图像和已配准可见光图像对应的第一图像参数和第二图像参数,所述第一图像参数和所述第二图像参数均包括特定灰度值

灰度级

像素点个数和像素点的灰度值;根据所述第一图像参数和所述第二图像参数计算,得到与所述红外图像和已配准
可见光图像对应的第一像素显著值和第二像素显著值;根据所述第一像素显著值和所述第二像素显著值计算,得到低频子带的融合权重;根据所述融合权重

所述红外低频子带图像和所述可见光低频子带图像计算,得到融合低频子带图像

10.优选地,所述自适应
pcnn
决策融合规则的内容包括:获取构建的自适应脉冲耦合神经网络模型

所述红外高频子带图像

所述可见光高频子带图像和设置点火次数初始值;根据所述点火次数初始值采用所述自适应脉冲耦合神经网络模型对所述红外高频子带图像和所述可见光高频子带图像进行迭代计算,得到与所述红外高频子带图像和所述可见光高频子带图像对应的第一点火次数和第二点火次数;根据所述红外高频子带图像

所述可见光高频子带图像

所述第一点火次数和所述第二点火次数计算,得到融合高频子带图像

11.再一方面,提供了一种基于多光谱融合的电子元器件表面缺陷检测装置,包括底座以及安装在所述底座上的检测治具和支架,所述检测治具用于盛放待检测的电子元器件,所述支架上安装有用于获取待检测电子元器件的第一摄像设备和第二摄像设备,所述第一摄像设备和所述第二摄像设备均与控制单元连接,所述控制单元用于根据上述所述的基于多光谱融合的电子元器件表面缺陷检测方法对待检测的电子元器件进行缺陷检测

12.再一方面,提供了一种基于多光谱融合的电子元器件表面缺陷检测装置,包括数据获取模块

配准处理模块

融合处理模块和缺陷检测模块;所述数据获取模块,用于获取
yolov8s
缺陷检测模型以及在实际检测环境下电子元器件的可见光图像和红外图像;所述配准处理模块,用于以所述红外图像作为参考图像,所述可见光图像作为待配准图像进行特征点匹配,得到配准参数;以及根据所述配准参数将所述可见光图像进行图像变换,得到已配准的可见光图像;所述融合处理模块,用于将所述红外图像和已配准的可见光图像进行融合处理,得到融合图像;所述缺陷检测模块,用于采用所述
yolov8s
缺陷检测模型对所述融合图像进行缺陷检测,得到电子元器件的缺陷检测结果

13.优选地,所述融合处理模块包括图像分解子模块

低频融合子模块

高频融合子模块和逆变重构子模块;所述图像分解子模块,用于对所述红外图像和已配准的可见光图像均采用
nsst
变换的
nsst
分解函数进行分解,得到对应的红外低频子带图像

红外高频子带图像

可见光低频子带图像和可见光高频子带图像;所述低频融合子模块,用于采用视觉显著图加权融合规则对所述红外低频子带图像和所述可见光低频子带图像进行融合处理,得到融合低频子带图像;所述高频融合子模块,用于采用自适应
pcnn
决策融合规则对所述红外高频子带图像和所述可见光高频子带图像进行融合处理,得到融合高频子带图像;所述逆变重构子模块,用于采用
nsst
逆变换重构所述融合低频子带图像和所述融
合高频子带图像,得到融合图像

14.再一方面,提供了一种终端设备,包括处理器以及存储器;所述存储器,用于存储程序代码,并将所述程序代码传输给所述处理器;所述处理器,用于根据所述程序代码中的指令执行上述所述的基于多光谱融合的电子元器件表面缺陷检测方法

15.该基于多光谱融合的电子元器件表面缺陷检测方法

装置和设备,该方法包括获取
yolov8s
缺陷检测模型以及在实际检测环境下电子元器件的可见光图像和红外图像;以红外图像作为参考图像,可见光图像作为待配准图像进行特征点匹配,得到配准参数;以及根据配准参数将可见光图像进行图像变换,得到已配准的可见光图像;将红外图像和已配准的可见光图像进行融合处理,得到融合图像;采用
yolov8s
缺陷检测模型对融合图像进行缺陷检测,得到电子元器件的缺陷检测结果

从以上技术方案可以看出,本技术实施例具有以下优点:该基于多光谱融合的电子元器件表面缺陷检测方法能够在光照条件不稳定的实际检测环境中,识别电子元器件表面低对比度

多尺度的复杂缺陷,通过融合可见光图像和红外图像互补信息,适应复杂恶劣的检测环境,进一步增强电子元器件表面复杂的缺陷特征,更精准表征缺陷特征,增强检测算法对光照干扰的鲁棒性,提高缺陷检测的准确率,降低缺陷的漏检率,解决了
ic
器件表面缺陷实际检测环境光照条件不稳定和缺陷本身复杂特性,导致单一模态数据的质量受到限制,致使检测结果不准确的技术问题

附图说明
16.为了更清楚地说明本技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图

17.图1为本技术实施例所述的基于多光谱融合的电子元器件表面缺陷检测方法的步骤流程图;图2为本技术实施例所述的基于多光谱融合的电子元器件表面缺陷检测方法的流程框架图;图3为本技术实施例所述的基于多光谱融合的电子元器件表面缺陷检测方法中
yolov8s
缺陷检测模型的流程示意图;图4为本技术实施例所述的基于多光谱融合的电子元器件表面缺陷检测方法中配准参数计算的步骤流程图;图5为本技术实施例所述的基于多光谱融合的电子元器件表面缺陷检测方法中特征点提取的示意图;图6为本技术实施例所述的基于多光谱融合的电子元器件表面缺陷检测方法中融合处理的原理框架示意图;图7为本技术实施例所述的基于多光谱融合的电子元器件表面缺陷检测方法中自适应脉冲耦合神经网络模型的神经元结构图;图8为本技术实施例所述的基于多光谱融合的电子元器件表面缺陷检测装置的结构示意图;
图9为本技术实施例所述的基于多光谱融合的电子元器件表面缺陷检测装置的框架流程图;图
10
为现有采集
ic
器件的图像

具体实施方式
18.为使得本技术的发明目的

特征

优点能够更加的明显和易懂,下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚

完整地描述,显然,下面所描述的实施例仅仅是本技术一部分实施例,而非全部的实施例

基于本技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本技术保护的范围

19.在本技术实施例的描述中,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量

由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征

在本技术实施例的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定

20.在本技术实施例中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系

对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本技术实施例中的具体含义

21.本技术实施例提供了一种基于多光谱融合的电子元器件表面缺陷检测方法

装置和设备,解决了
ic
器件表面缺陷实际检测环境光照条件不稳定和缺陷本身复杂特性,导致单一模态数据的质量受到限制,致使检测结果不准确的技术问题

在本实施例中,该基于多光谱融合的电子元器件表面缺陷检测方法

装置和设备可以以
ic
器件作为电子元器件进行案例说明

22.实施例一:图1为本技术实施例所述的基于多光谱融合的电子元器件表面缺陷检测方法的步骤流程图,图2为本技术实施例所述的基于多光谱融合的电子元器件表面缺陷检测方法的流程框架图,图3为本技术实施例所述的基于多光谱融合的电子元器件表面缺陷检测方法中
yolov8s
缺陷检测模型的流程示意图

23.如图1和图2所示,本技术实施例提供了一种基于多光谱融合的电子元器件表面缺陷检测方法,包括以下步骤:
s1.
获取
yolov8s
缺陷检测模型以及在实际检测环境下电子元器件的可见光图像和红外图像

24.需要说明的是,在步骤
s1
中获取已构建的
yolov8s
缺陷检测模型以及待缺陷检测在实际检测环境下电子元器件的可见光图像和红外图像

25.在本技术实施例中,
yolov8s
缺陷检测模型包括输入端

主干特征提取网络
、neck
模块和输出端四个部分
。yolov8s
缺陷检测模型的结构如图3所示,在输入端采用有
mosaic
数据增强

自适应锚框计算和自适应灰度填充

主干特征提取网络采用
conv、c2f
模块和
sppf
结构,其中,
c2f
模块是其关键部分,借鉴了
yolov7

elan
结构,增加了更多的分支跨层
连接,增强了梯度流,提升了
yolov8s
缺陷检测模型的特征表达能力
。neck
模块采用
pan
结构,有效融合了不同缩放尺度的对象特征

输出端解耦了分类和检测过程,采用
taskalignedassigner
方法选择正样本并使用特定损失函数优化分类和回归

26.s2.
以红外图像作为参考图像,可见光图像作为待配准图像进行特征点匹配,得到配准参数;以及根据配准参数将可见光图像进行图像变换,得到已配准的可见光图像

27.需要说明的是,在步骤
s2
中是根据步骤
s1
获得的可见光图像和红外图像计算得到配准参数,之后根据配准参数对可见光图像进行图像变换,得到已配准的可见光图像

28.s3.
将红外图像和已配准的可见光图像进行融合处理,得到融合图像

29.需要说明的是,在步骤
s3
中是将步骤
s2
得到的已配准的可见光图像与步骤
s1
获得的红外图像进行融合处理得到融合图像,为后续实现对待检测的电子元器件的缺陷检测提供处理的图像

30.s4.
采用
yolov8s
缺陷检测模型对融合图像进行缺陷检测,得到电子元器件的缺陷检测结果

31.需要说明的是,在步骤
s4
中是采用步骤
s3
得到的融合图像输入步骤
s1
获得的
yolov8s
缺陷检测模型中进行缺陷检测,得到电子元器件缺陷的缺陷检测结果

在本实施例中,如图2所示,该基于多光谱融合的电子元器件表面缺陷检测方法首先在实际检测环境下,使用黑白工业相机和红外相机采集待检测电子元器件的红外图像和可见光图像,以红外图像为参考图像和可见光图像为待配准图像求得配准参数;将求得的配准参数作用于待配准的可见光图像进行图像变换,得到已配准的可见光图像

将红外图像和已配准的可见光图像进行融合处理得到高质量的融合图像

最后利用训练好的
yolov8s
缺陷检测模型对融合图像进行表面缺陷检测,得到电子元器件(如
ic
器件)的表面缺陷的缺陷检测结果

该基于多光谱融合的电子元器件表面缺陷检测方法能够在光照条件不稳定的实际检测环境中,识别电子元器件表面低对比度

多尺度的复杂缺陷,融合可见光图像和红外图像,适应复杂恶劣的检测环境,进一步增强电子元器件表面复杂的缺陷特征,更精准表征缺陷特征,增强检测算法对光照干扰的鲁棒性,提高缺陷检测的准确率,降低缺陷的漏检率

32.本技术提供的一种基于多光谱融合的电子元器件表面缺陷检测方法,该方法包括获取
yolov8s
缺陷检测模型以及在实际检测环境下电子元器件的可见光图像和红外图像;以红外图像作为参考图像,可见光图像作为待配准图像进行特征点匹配,得到配准参数;以及根据配准参数将可见光图像进行图像变换,得到已配准的可见光图像;将红外图像和已配准的可见光图像进行融合处理,得到融合图像;采用
yolov8s
缺陷检测模型对融合图像进行缺陷检测,得到电子元器件的缺陷检测结果

该基于多光谱融合的电子元器件表面缺陷检测方法能够在光照条件不稳定的实际检测环境中,识别电子元器件表面低对比度

多尺度的复杂缺陷,通过融合可见光图像和红外图像互补信息,适应复杂恶劣的检测环境,进一步增强电子元器件表面复杂的缺陷特征,更精准表征缺陷特征,增强检测算法对光照干扰的鲁棒性,提高缺陷检测的准确率,降低缺陷的漏检率,解决了
ic
器件表面缺陷实际检测环境光照条件不稳定和缺陷本身复杂特性,导致单一模态数据的质量受到限制,致使检测结果不准确的技术问题

33.图4为本技术实施例所述的基于多光谱融合的电子元器件表面缺陷检测方法中配准参数计算的步骤流程图

34.如图4所示,在本技术的一个实施例中,以红外图像作为参考图像,可见光图像作为待配准图像进行特征点匹配,得到配准参数包括:
s21.
对参考图像和待配准图像均进行灰度化和双边滤波预处理,得到处理参考图像和处理待配准图像;
s22.
采用
lp
金字塔构建器对处理参考图像和处理待配准图像处理,得到对应的参考图像金字塔尺度空间和待配准图像金字塔尺度空间;
s23.
采用
ofast
算法对参考图像金字塔尺度空间和待配准图像金字塔尺度空间分别在各层级图像上进行特征提取,得到对应的第一多尺度特征点集和第二多尺度特征点集;
s24.
采用
rbrief
算法对第一多尺度特征点集和第二多尺度特征点集分别采用符重组策略进行特征描述,得到对应第一特征描述符集和第二特征描述符集;
s25.
根据第一特征描述符集和第二特征描述符集的特征点数据采用汉明距离计算,得到第一特征描述符集中任意一个特征点数据与第二特征描述符集中所有特征点数据之间的距离集合;从距离集合中筛选出数值最小对应的特征点作为特征点对;
s26.
根据所有的特征点对构建第一矩阵和第二矩阵,根据第一矩阵和第二矩阵计算,得到配准参数

35.需要说明的是,在获得图像的配准参数过程中,考虑到电子元器件(如
ic
器件)的表面和管脚区域有明显的矩形角点特征,同时在异源图像配准中因视觉差和成像特性的差异而存在的尺度变换和对比度反转的问题,对图像的特征点进行提取,进而实现红外图像与可见光图像之间配准参数的求取

在本实施例中,首先分别对电子元器件(如
ic
器件)的红外图像和可见光图像进行灰度化和双边滤波预处理,然后构建拉普拉斯金字塔以满足尺度不变性,在金字塔各层级采用
ofast
算法提取多尺度特征点,针对存在的对比度反转问题,采用
rbrief
算法构建特征点的特征描述符集,最后通过汉明距离度量特征点对相似性,后并采用
ransac
算法剔除误匹配的特征点对,得到正确匹配特征点对,根据正确匹配的特征点对求得红外图像与可见光图像之间的配准参数

其中,
ofast
算法
、rbrief
算法和
ransac
算法是本领域比较常熟的算法,此实施例中不详细阐述

36.在本技术实施例的步骤
s21
中,对电子元器件的红外图像和可见光图像进行灰度化和双边滤波预处理得到处理参考图像和处理待配准图像

其中,图像的灰度化和双边滤波预处理是本领域比较成熟的技术,此处不再对图像的灰度化和双边滤波预处理的具体内容进行阐述

37.在本技术实施例的步骤
s22
中,因原始
orb

ofast and rbrief
)算法存在尺度不变性鲁棒性差的问题,因此该基于多光谱融合的电子元器件表面缺陷检测方法引入图像细节信息更丰富的拉普拉斯图像金字塔
lp
构建尺度空间,
lp
金字塔通过计算高斯金字塔的不同层之间差异来实现的,高斯金字塔的表达式为:;式中,g为高斯金字塔图像序列,g为示高斯金字塔的层数,
gg(x

y)
表示高斯金字
塔中的第g层图像,(
x
,y)为图像中像素点的位置

当时为原图像,为高斯核的方差,的大小与图像的平滑程度成正相关,值越大说明图像的平滑程度越高,即图像越模糊,表示图像的高斯尺度

为图像下采样操作
。lp
金字塔构建器的
lp
金字塔每一层是由高斯金字塔的相邻两层之间的差值构成的
。lp
金字塔构建器的表达式为:,式中,
l
为拉普拉斯金字塔图像序列,
l
为拉普拉斯金字塔层数,
l
l
为拉普拉斯金字塔中第
l
层图像

为对高斯金字塔的第层进行插值拓展,使其与第层具有相同的尺寸

38.需要说明的是,处理参考图像采用表示,处理待配准图像采用表示,分别通过
lp
金字塔构建器构建参考图像金字塔尺度空间的序列和待配准图像金字塔尺度空间序列为:

39.图5为本技术实施例所述的基于多光谱融合的电子元器件表面缺陷检测方法中特征点提取的示意图

40.如图5所示,在本技术实施例的步骤
s23
中,采用
ofast
算法对参考图像金字塔尺度空间或待配准图像金字塔尺度空间分别在各层级图像上进行特征提取得到特征点,得到特征点的内容包括:在参考图像金字塔尺度空间或待配准图像金字塔尺度空间的各层级图像上选取任意一个像素点作为圆心,以半径r的圆周边上选取至少
16
个像素点并获取对应像素点的灰度值;若圆周边上至少有8个连续像素点的灰度值大于或小于圆心像素点的灰度值,则与圆心对应的像素点作为特征点

41.需要说明的是,在构建拉普拉斯金字塔的尺度空间后,在拉普拉斯金字塔各层级上使用
ofast
算法提取多尺度点特征
。ofast
算法中特征点的定义是如果一个像素的灰度值远大于或小于一定范围的像素灰度值和一定数量的像素灰度值,则该点可能成为特征点

若圆上有个连续像素,以圆心为圆心,由图像分辨率决定的半径,,判断是否为特征点是通过第一公式判断,第一公式为:
;式中,是圆上一个点的像素值,是点o的像素值,设置合适的阈值,当的个数大于某个特定的固定值时,点o被确定为特征点的候选点

如图5所示,
ofast
算法使用快速高效的外围像素进行判断
。ofast
判断图像中点为特征点的过程如下:一个圆心为o,半径r为3个像素的圆上有
16
个像素

如果有8个连续的像素值大于或者小于,则o点为特征点


ofast
算法从参考图像金字塔尺度空间和待配准图像金字塔尺度空间的各层级图像上提取的多尺度特征点集合分别为第一多尺度特征点集和第二多尺度特征点集

42.在本技术实施例的步骤
s24
中,在计算配准参数过程中,特征描述是特征匹配的基础,二进制描述符的速度比
sift

surf
快数十倍甚至百倍
。brief
是在关键点周围选择一些随机点对,随机点对灰度值比较产生的二进制码串就是描述符

获取二进制位串的过程是比较随机点对的灰度值

随机点对是在以特征点为中心的领域内随机选择符合高斯分布的点对

获取二进制位串的过程是比较随机点对的灰度值的表达式为:;式中,为点的灰度值

对于特征点,其特征描述表示为在以特征点为中心的领域内选取个随机点对的位特征向量,位特征向量的表达式为:
。i
为特征向量的位数,n为特征向量的长度,f为n位二进制特征向量

考虑到描述符的生成速度

分布和准确性,

43.需要说明的是,为解决
brief
算法不具有旋转不变性的问题,采用灰度质心法使得描述符具备旋转不变性,在一个小的图像块中矩的表达式为:;式中,m为图像块中的矩,
a、b
为矩的阶数,i(
x
,y)为图像块

如0阶矩
m00
,1阶矩
m01

m10。
通过矩找到图像块的质心,质心的表达式为:
;连接图像块的几何中心和质心,得到一个方向向量,特征点方向的表达式为:;为了获得位的描述符,需要选择对随机点对,引入一个矩阵,矩阵的表达式为:;通过灰度质心法得到特征点的旋转方向后,求到相应的旋转矩阵,进而构造旋转匹配对矩阵,矩阵的表达式为:;得到旋转不变性的描述符为:,为解决可见光图像与红外图像配准中存在的对比度反转问题,引入描述符重组策略,使,重组可见光图像的特征描述符,则重组后的旋转不变性特征描述符为:,(
xi,
yi)为第i个像素点

则使用
rbrief
算法提取到红外图像的二进制特征描述符集合表示为第一特征描述符集,提取到可见光图像重组后的二进制特征描述符集合表示为第二特征描述符集

44.在本技术的实施例的步骤
s25
和步骤
s26
中,该基于多光谱融合的电子元器件表面缺陷检测方法在计算配准参数过程中,描述符距离表示两个特征点之间的相似程度

使用汉明距离作为相似性度量,两个二进制字符串之间的汉明距离指的是相同位置不同数字的个数

对于与可见光图像对应第一特征描述符集中的任意一个特征点数据与红外图像对应第二特征描述符集所有特征点数据之间计算汉明距离最小的特征点对,认为特征点对的这两个特征点是匹配的

最后通过
ransac
算法过滤掉第一特征描述符集和第二特征描述符集误匹配特征点对,得到正确的匹配点对,并通过所有正确匹配的特征点对构建第一矩阵和第二矩阵

45.需要说明的是,获得的第一特征描述符集的特征点数据为和可见第二特征描述符集的特征点数据为,则第一特征描述符集的特征点数据与第二特征描述符集的特征点数据之间的汉明距离计算公式为

若与处理参考图像对应的第一矩阵记为,与处理待配准图像对应的第二矩阵记为,则根据变换关系可以计算得到配准参数
h。
46.图6为本技术实施例所述的基于多光谱融合的电子元器件表面缺陷检测方法中融合处理的原理框架示意图

47.如图6所示,在本技术的一个实施例中,将红外图像和已配准的可见光图像进行融合处理,得到融合图像包括:对红外图像和已配准的可见光图像均采用
nsst
变换的
nsst
分解函数进行分解,得到对应的红外低频子带图像

红外高频子带图像

可见光低频子带图像和可见光高频子带图像;采用视觉显著图加权融合规则对红外低频子带图像和可见光低频子带图像进行融合处理,得到融合低频子带图像;采用自适应
pcnn
决策融合规则对红外高频子带图像和可见光高频子带图像进行融合处理,得到融合高频子带图像;采用
nsst
逆变换重构融合低频子带图像和融合高频子带图像,得到融合图像

48.需要说明的是,在可见光图像与红外图像配准对齐的基础上,针对传统的多尺度域像素级图像融合算法中,常采用加权取平均融合低频背景层

绝对值取大融合高频细节层的融合方法,这样没有较好地利用图像像素之间的相关信息,融合结果不具有鲁棒性

因此该基于多光谱融合的电子元器件表面缺陷检测方法在
nsst
变换域中进行像素级融合,低频层采用视觉显著图加权融合规则,高频层采用自适应
pcnn
决策融合规则实现对图像的融合处理

在本实施例中,如图6所示,为了充分提取红外图像与可见光图像的细节信息,选用
nsst
变换作为融合处理的图像分解与细节信息提取工具,
nsst
变换是通过把标准的剪切波滤波器从伪极化坐标系统映射到笛卡尔坐标系统,再通过傅里叶变换证明其操作可以通过二维卷积完成,避免了下采样操作,从而具备了平移不变性

为方便表述,定义为
nsst
分解函数,已配准的可见光和红外图像分别通过
nsst
分解函数分解成红外低频子带图像

红外高频子带图像

可见光低频子带图像和可见光高频子带图像
。nsst
分解函数的表达式为,式中,为待分解图像,和分别为待分解图像的低频子带图像和高频子带图像,
t、s
分别为分解尺度与方向,

分别为分解的最大尺度与其对应方向数,
为待分解图像各尺度不同方向的分解子带集合

通过
nsst
分解函数的表达式分解的红外低频子带图像

红外高频子带图像

可见光低频子带图像和可见光高频子带图像分别记为
、、


在本实施例中,在对红外图像和已配准的可见光图像分解低频子带图像和高频子带图像后,因图像的低频部分反映了图像的轮廓信息,包含了红外图像与可见光原图像的能量信息,决定了融合图像的整体轮廓和对比度,采用视觉显著图加权融合规则对红外低频子带图像和可见光低频子带图像(及对图像低频部分)进行融合

因图像的高频部分图像的细节

纹理较为明显,自适应脉冲耦合神经网络(
pa-pcnn
)是一种能够捕捉图像细节信息的反馈神经网络,并能将图像各像素链接在一起

通过自适应
pcnn
决策融合规则对红外高频子带图像和可见光高频子带图像进行高频子带部分的融合,可以增强细节信息的表达能力,从而在融合图像时能够更好地保留图像的细节

49.在本技术的实施例中,通过
nsst
逆变换重构融合低频子带图像和融合高频子带图像得到融合图像f,

式中,为融合低频子带图像,为融合高频子带图像

50.在本技术的实施例中,视觉显著图加权融合规则的内容包括:获取与红外图像和已配准可见光图像对应的第一图像参数和第二图像参数,第一图像参数和第二图像参数均包括特定灰度值

灰度级

像素点个数和像素点的灰度值;根据第一图像参数和第二图像参数计算,得到与红外图像和已配准可见光图像对应的第一像素显著值和第二像素显著值;根据第一像素显著值和第二像素显著值计算,得到低频子带的融合权重;根据融合权重

红外低频子带图像和可见光低频子带图像计算,得到融合低频子带图像

51.需要说明的是,在视觉显著图加权融合规则中,根据第一图像参数和第二图像参数采用显著值公式计算,得到与红外图像和已配准可见光图像对应的第一像素显著值和第二像素显著值

显著值公式为:;式中,q为特定灰度值,mq
为灰度值为的像素点个数,
g'
为灰度级(灰度图像为
256


通过标准化图像整体显著性,使
g'
取值为
。g
p
为某一像素点
p
的灰度值

根据第一像素显著值和第二像素显著值采用融合权重公式计算得到低频子带的融合权重,融合权重公式为:

根据融合权重

红外低频子带图像和可见光低
频子带图像采用融合系数计算公式计算得到融合低频子带图像
gb,融合系数计算公式为:,式中,为红外低频子带图像,为可见光低频子带图像

52.图7为本技术实施例所述的基于多光谱融合的电子元器件表面缺陷检测方法中自适应脉冲耦合神经网络模型的神经元结构图

53.在本技术的实施例中,自适应
pcnn
决策融合规则的内容包括:获取构建的自适应脉冲耦合神经网络模型

红外高频子带图像

可见光高频子带图像和设置点火次数初始值;根据点火次数初始值采用自适应脉冲耦合神经网络模型对红外高频子带图像和可见光高频子带图像进行迭代计算,得到与红外高频子带图像和可见光高频子带图像对应的第一点火次数和第二点火次数;根据红外高频子带图像

可见光高频子带图像

第一点火次数和第二点火次数计算,得到融合高频子带图像

54.需要说明的是,自适应
pcnn
决策融合规则是采用自适应脉冲耦合神经网络决策融合
。pcnn
是一个由若干神经元相互链接组成的单层反馈网络,反馈网络中的每个神经元又由接收单元

调制单元和脉冲发生器三部分组成
。pcnn
反馈网络中的每个神经元与输入图像的像素点相对应,并且在链接域范围内的每个神经元与周围领域的神经元都相互关联

简化的
pcnn
数学模型的表达式为:;式中,为位置上的输入图像,和分别为第次迭代中位置上神经元的反馈输入和链接输入,为链接输入的振幅增益,为链接权重矩阵,为链接域范围;为神经元内部活动项,为神经元的内部活动链接系数;为动态阈值函数输出,为神经元的脉冲输出;为动态阈值函数的幅度系数,和分别为反馈输入和动态阈值的时间衰减系数,n为迭代次数
。pcnn
数学模型性能取决于参数的设置,即,,



为减少手动设置参数的个
数,令为加权链接强度,构建自适应脉冲耦合神经网络模型
pa-pcnn
,自适应脉冲耦合神经网络模型的神经元结构如图7所示,则自适应脉冲耦合神经网络模型的自适应计算过程为:;式中,为图像s的标准差,和分别为输入图像的归一化像素阈值和图像的最大像素值

在自适应脉冲耦合神经网络模型的各个神经元会根据
pcnn
数学模型的表达式和自适应计算过程来判断输入信号的情况,决定是否点火

点火是指受到激发的神经元在的条件下,触发一个脉冲输出

图像纹理信息丰富的高频子带图像和,对自适应脉冲耦合神经网络模型
pa-pcnn
设定点火次数初始值进行迭代计数,根据点火总次数来融合高频子带

定义为处的点火次数,则式中,yxy
(n)为第n次迭代在(
x
,y)处的脉冲输出

点火次数初始值,则红外图像和可见光图像的高频子带图像在处对应的第一点火次数记为和第二点火次数记为,则根据红外高频子带图像

可见光高频子带图像

第一点火次数和第二点火次数采用高频子带融合计算公式计算得到融合高频子带图像,高频子带融合计算公式为:;式中,为融合高频子带图像

55.实施例二:图8为本技术实施例所述的基于多光谱融合的电子元器件表面缺陷检测装置的结构示意图

56.如图8所示,本技术实施例提供了一种基于多光谱融合的电子元器件表面缺陷检测装置,包括底座6以及安装在底座6上的检测治具2和支架5,检测治具2用于盛放待检测的电子元器件,支架5上安装有用于获取待检测电子元器件的第一摄像设备1和第二摄像设备4,第一摄像设备1和第二摄像设备4均与控制单元连接,控制单元用于根据上述的基于多光谱融合的电子元器件表面缺陷检测方法对待检测的电子元器件进行缺陷检测

57.需要说明的是,底座6上设置有可以调节支架5与检测治具2之间距离的导轨

检测治具2通过测试座3固定安装在底座6上

第一摄像设备1可以选为黑白工业相机,第二摄像设备4可以选为红外相机

控制单元可以选为工控机

第一摄像设备1和第二摄像设备4采集的图像传送至控制单元

在本实施例中,该基于多光谱融合的电子元器件表面缺陷检测方法的内容已在实施例一中详细阐述了,在此实施例二中不再对该基于多光谱融合的电子元器件表面缺陷检测方法的内容进行详细阐述

58.实施例三:图9为本技术实施例所述的基于多光谱融合的电子元器件表面缺陷检测装置的框架流程图

59.如图9所示,本技术实施例提供了一种基于多光谱融合的电子元器件表面缺陷检测装置,包括数据获取模块
10、
配准处理模块
20、
融合处理模块
30
和缺陷检测模块
40
;数据获取模块
10
,用于获取
yolov8s
缺陷检测模型以及在实际检测环境下电子元器件的可见光图像和红外图像;配准处理模块
20
,用于以红外图像作为参考图像,可见光图像作为待配准图像进行特征点匹配,得到配准参数;以及根据配准参数将可见光图像进行图像变换,得到已配准的可见光图像;融合处理模块
30
,用于将红外图像和已配准的可见光图像进行融合处理,得到融合图像;缺陷检测模块
40
,用于采用
yolov8s
缺陷检测模型对融合图像进行缺陷检测,得到电子元器件的缺陷检测结果

60.在本技术实施例中,融合处理模块
30
包括图像分解子模块

低频融合子模块

高频融合子模块和逆变重构子模块;图像分解子模块,用于对红外图像和已配准的可见光图像均采用
nsst
变换的
nsst
分解函数进行分解,得到对应的红外低频子带图像

红外高频子带图像

可见光低频子带图像和可见光高频子带图像;低频融合子模块,用于采用视觉显著图加权融合规则对红外低频子带图像和可见光低频子带图像进行融合处理,得到融合低频子带图像;高频融合子模块,用于采用自适应
pcnn
决策融合规则对红外高频子带图像和可见光高频子带图像进行融合处理,得到融合高频子带图像;逆变重构子模块,用于采用
nsst
逆变换重构融合低频子带图像和融合高频子带图像,得到融合图像

61.需要说明的是,实施例三装置中模块对应于实施例一方法中的步骤,该基于多光谱融合的电子元器件表面缺陷检测方法的内容已在实施例一中详细阐述了,在此实施例三中不再对装置中模块的内容进行详细阐述

62.实施例四:本技术实施例提供了一种终端设备,包括处理器以及存储器;存储器,用于存储程序代码,并将程序代码传输给处理器;处理器,用于根据程序代码中的指令执行上述的基于多光谱融合的电子元器件表面缺陷检测方法

63.需要说明的是,处理器用于根据所述程序代码中的指令执行上述的一种基于多光谱融合的电子元器件表面缺陷检测方法实施例中的步骤

或者,处理器执行计算机程序时实现上述各系统
/
装置实施例中各模块
/
单元的功能

64.示例性的,计算机程序可以被分割成一个或多个模块
/
单元,一个或者多个模块
/
单元被存储在存储器中,并由处理器执行,以完成本技术

一个或多个模块
/
单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述计算机程序在终端设备中的执行过程

65.终端设备可以是桌上型计算机

笔记本

掌上电脑及云端服务器等计算设备

终端设备可包括,但不仅限于,处理器

存储器

本领域技术人员可以理解,并不构成对终端设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如终端设备还可以包括输入输出设备

网络接入设备

总线等

66.所称处理器可以是中央处理单元
(centrdl processing unit

cpu)
,还可以是其他通用处理器

数字信号处理器 (digitdl signdl processor

dsp)、
专用集成电路 (dpplicdtion specific integrdted circuit

dsic)、
现成可编程门阵列 (field-progrdmmdble gdte drrdy

fpgd) 或者其他可编程逻辑器件

分立门或者晶体管逻辑器件

分立硬件组件等

通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等

67.存储器可以是终端设备的内部存储单元,例如终端设备的硬盘或内存

存储器也可以是终端设备的外部存储设备,例如终端设备上配备的插接式硬盘,智能存储卡(
smdrt medid cdrd

smc
),安全数字(
secure digitdl

sd
)卡,闪存卡(
fldsh cdrd
)等

进一步地,存储器还可以既包括终端设备的内部存储单元也包括外部存储设备

存储器用于存储计算机程序以及终端设备所需的其他程序和数据

存储器还可以用于暂时的存储已经输出或者将要输出的数据

68.所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述

69.在本技术所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其他的方式实现

例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行

另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其他的形式

70.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上

可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目


71.另外,在本技术各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中

上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现

72.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中

基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤

而前述的存储介质包括:u盘

移动硬盘

只读存储器(
rom

redd-only memory


随机存取存储器(
rdm

rdndom dccess memory


磁碟或者光盘等各种可以存储程序代码的介质

73.以上所述,以上实施例仅用以说明本技术的技术方案,而非对其限制;尽管参照前述实施例对本技术进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围

当前第1页1  
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
网站地图