多光谱图像融合的IC器件表面缺陷检测

针对单可见光或单红外条件下的IC器件表面缺陷对比度不足,缺陷检测精度低的问题,提出多光谱图像融合的IC器件表面缺陷检测方法。针对IC器件可见光与红外图像配准中存在尺度不一致和对比度反转问题,引入拉普拉斯金字塔和特征描述符重组策略改进ORB(Oriented FAST and Rotated BRIEF)图像配准算法。在图像配准的基础上,提出NSST＿VP图像融合方法,以非下采样剪切波变换（Non-Subsample Shearlet Transform, NSST）得到红外图像和已配准可见光图像的低频和高频子带,对低频子带采用视觉显著图（Visual Significance Map, VSM）加权融合规则,高频子带则采用自适应脉冲耦合神经网络（PA-Pulse Coupled Neural Network, PA-PCNN）决策融合规则,进而通过NSST逆变换得到高质量多光谱融合图像。最后,将融合图像输入YOLOv8s模型进行检测。实验结果表明,改进ORB的图像配准平均精度为87.8%,比ORB图像配准精度提高了62%,NSST＿VP图像融合算法在主观视觉效果和客观评价指标上均有所提...     

基于NSST和改进PCA相结合的红外偏振图像融合（英文）

针对当前红外偏振图像融合的主流方法——多尺度几何分析法对图像表示只侧重某一方面的特点和空间域融合方法主成分分析法(PCA)易丢失小目标的缺点的问题,本文提出一种基于非下采样剪切波变换(NSST)和改进PCA相结合的红外偏振图像融合方法。该方法能充分利用NSST对图像细节表示的有效性和PCA能突出主要特征的特点,综合二者的互补性,充分保留不同源图像的目标和细节特征。首先用NSST将源红外光强和偏振图像分解为低频和不同方向的高频分量;其次,低频分量用改进的PCA进行融合,高频分量用局部能量和局部方差联合进行决策融合;最后,用NSST逆变换重构融合图像,得到最终红外偏振融合结果图。实验结果表明,本文方法在细节保留和视觉效果等方面较其它方法均有较高优势。     

基于NSST和改进PCA相结合的红外偏振图像融合

针对当前红外偏振图像融合的主流方法——多尺度几何分析法对图像表示只侧重某一方面的特点和空间域融合方法主成分分析法(PCA)易丢失小目标的缺点的问题,本文提出一种基于非下采样剪切波变换(NSST)和改进PCA相结合的红外偏振图像融合方法.该方法能充分利用NSST对图像细节表示的有效性和PCA能突出主要特征的特点,综合二者的互补性,充分保留不同源图像的目标和细节特征.首先用NSST将源红外光强和偏振图像分解为低频和不同方向的高频分量;其次,低频分量用改进的PCA进行融合,高频分量用局部能量和局部方差联合进行决策融合;最后,用NSST逆变换重构融合图像,得到最终红外偏振融合结果图.实验结果表明,本文方法在细节保留和视觉效果等方面较其它方法均有较高优势.     

利用脉冲耦合神经网络的图像融合

为了获得对同一场景更为准确、全面和可靠的图像描述,提出了一种基于脉冲耦合神经网络(PCNN)的图像融合方法。将多源传感器图像配准后的各个源图像用9/7小波变换的提升算法进行分解,从而得到各个源图像的低频分量和高频分量。对于低频分量,采用像素绝对值选大法进行融合;而高频分量则作为PCNN的输入,在迭代结束后,通过比较PCNN点火次数得到一系列融合子图像;然后,用9/7小波的提升算法将获取的一系列多尺度融合子图像进行反变换得到最终的融合图像。设计了可见光图像与红外图像的融合实验,对融合图像的熵、平均梯度、标准差、空间频率进行了定量比较。当使用标准源图像进行融合时,各值比使用传统小波变换与PCNN相结合的图像融合方法分别高0.0104,0.2459,0.1131和0.2846。     

基于改进的非下采样剪切波变换多聚焦图像融合技术的研究

针对多聚焦图像融合的具体问题,文中提出一种基于改进的非下采样剪切波变换(NSST)的图像融合方法。NSST变换更加有利于保持图像的边缘和轮廓信息,同时保持了图像的平移不变性。在对原图像进行多尺度几何变换后,针对图像融合过程中源图像不同清晰指标,采用改进的绝对值取大的融合规则处理经过多尺度几何变换后的高频系数;采用基于区域加权的拉普拉斯能量和的方式处理低频系数,将得到的高、低频系数经过NSST逆变换最终得到融合图像,实验结果表明,对于多聚焦图像融合,文中提出的算法,不仅在主观视觉方面获得了良好的效果,而且在客观评价标准方面也优于传统的多聚焦融合算法。     

结合分数阶显著性检测及量子烟花算法的NSST域图像融合

针对传统红外与可见光图像融合算法中存在的细节纹理信息不够清晰,边缘信息保留不够充分等问题,提出一种基于分数阶显著性及改进量子烟花算法的非下采样Shearlet变换(NSST)域图像融合方法。首先对红外与可见光图像进行NSST分解,低频分量先进行基于分数阶微分增强的显著性检测;然后按照显著图匹配度的融合规则进行融合,高频子带采用梯度变化和灰度差异加权策略进行融合;接着对量子烟花算法进行改进,并对高低频融合参数进行优化;最后输出最佳的融合图像。通过实验表明:基于分数阶微分增强的显著性检测具有较好的视觉显著效果,改进量子烟花算法的寻优能力强、收敛效率高,所提方法得到的融合图像有效地综合红外与可见光图像中的细节信息,与现有方法相比具有较好的融合效果,且自适应能力强、无需人工干预。     

基于邻域方差加权平均的多聚焦图像融合法

对已有的邻域方差加权平均的小波图像融合方法进行改进,利用离散小波变换对两幅多聚焦图像进行分解,得到了图像的低频和高频分量。根据多聚焦图像的特点,提出使用小波空间频率来选取低频系数,使用邻域方差加权平均方法来提取高频系数,将所得到的低频系数和高频系数重构融合图像。最后使用熵和交叉熵作为评价标准,得出改进方法优于原方法的结论。     

基于补偿机制的NSCT域红外与可见光图像融合

针对传统基于非下采样Contourlet变换和脉冲耦合神经网络的图像融合方法易出现图像失真的缺点,本文提出一种基于小波变换与PCNN补偿的NSCT域内红外与可见光图像融合方法。首先将红外和可见光图像分别进行NSCT分解,得到低频分量和高频分量;然后对低频分量进行二维小波分解,得到1个低频子带和3个方向子带,对其低频子带采用局部能量加权的方法进行融合,其余3个子带采用绝对值取大的方法进行融合;NSCT分解的高频子带融合规则分为对最高层的融合和其他层的融合,最高层采用绝对值取大的方法进行融合,而其余层采用的是基于改进型的PCNN的方法进行融合;最后将得到的低频子带和高频子带进行NSCT重构获得融合图像。合成及真实图像集实验结果表明,本文算法相对于传统的融合方法增加了图像的纹理和细节信息,有效地抑制了图像失真问题,具有较高的融合精度与较快的融合效率。     

非下采样轮廓波变换在故障分类中的应用

基于非下采样轮廓波变换的多尺度分解和多方向分解的特性,提出一种用于时频图像特征提取的方法。首先,将振动信号变换到时频域得到时频图像,并利用Matlab将得到的时频图像转换为灰度图像;其次,对该图像进行非下采样轮廓波变换,得到其高频和低频子带,根据高频子带和低频子带所包含信息不同,研究不同的特征提取方法,笔者提取高频子带的能量和低频子带的均值、标准差作为特征值;最后,利用支持向量机(support vector machine,简称SVM)对齿轮箱的不同程度故障以及滚动轴承故障进行分类测试。实验结果验证了该方法提取时频图像特征量的有效性,为设备的状态识别提供了一种有效的方法。     

基于非负矩阵分解的熔池图像识别方法

为探求视觉传感智能识别焊接缺陷技术，利用电荷耦合器件(CCD)相机采集了熔化极气体保护焊(GMAW)熔池图像，分析了不同工艺条件下熔池动态变化过程及所对应的焊接缺陷，提出利用非负矩阵分解法对熔池图像进行解析，得到熔池图像的特征矩阵。通过最小二乘法计算未知焊接过程测试图像在特征矩阵的投影值，给出了焊接缺陷的自动识别方法。研究结果表明，焊接质量和熔池稳定程度有关联，熔池紊乱表现为熔池轮廓波动、浮渣离散等特点，熔池稳定程度下降伴随着焊接质量的下降，以及焊缝出现缺陷。利用非负矩阵分解法得到的熔池图像特征矩阵，能够对原始图像进行整体性描述(如熔池轮廓)和局部性描述(如浮渣区域、电弧区域等),具有物理可解释性，可用于识别焊接缺陷。     

采用脉冲耦合神经网络的改进显著性区域提取方法

由于仅考虑颜色等视觉对比信息的视觉显著性提取模型不符合人眼生物学过程,本文提出了一种基于混合模型的改进显著性区域提取(ISRE)方法。该混合模型由显著性滤波算法和改进脉冲耦合神经网络(PCNN)算法构成。首先,利用显著性滤波器算法获得原图像的初始显著性图(OSM)和亮度特征图(IFM),用IFM作为PCNN的输入神经元;然后,进一步对PCNN点火脉冲输入进行改进,即对PCNN内部神经元与OSM的二值化显著性图进行点乘,确定最终点火脉冲输入,以获得更加准确的点火范围;最后,通过改进后的PCNN多次迭代,完成显著性二值化区域提取。基于1 000张标准图像数据库进行的实验结果显示:在视觉效果和客观定量数据比对两方面,本算法均优于现有的5种显著性提取方法,平均查准率为0.891,平均召回率为0.808,综合指标F值为0.870。在真实环境实验中,所提算法获得了精确的提取效果,进一步验证了本算法具有较高的准确性和执行效率。     

结合粒子群优化和综合评价的脉冲耦合神经网络图像自动分割

为了解决脉冲耦合神经网络(Pulse Coupled Neural Network,PCNN)在图像分割中多参数设定以及评价准则单一的问题,提出了一种结合粒子群优化算法(Particle Swarm Optimization,PSO)和综合评价准则的PCNN图像自动分割方法。采用单调递增阈值搜索策略的PCNN改进模型,将PSO优化原理与由交叉熵参数,边缘匹配度和噪点控制度共同构成的综合评价相结合,以综合评价作为粒子的适应度函数,自动寻优获取PCNN图像分割模型的目标时间常数,连接系数以及迭代次数n,从而实现全参数自适应的PCNN图像分割。实验结果表明算法在保证PCNN运行效率下对不同类型图像都能进行正确完整的分割并兼顾纹理细节的保留。从实验数据可以看到,本文算法在综合评价和通用综合指标上均优于其他对比算法,综合评价平均优于其他算法10.5%。客观评价结果与视觉主观评价相一致,分割较理想,算法具有较高的鲁棒性。     

A phase congruency‐based green fluorescent protein and phase contrast image fusion method in nonsubsampled shearlet transform domain

Image fusion technique is an effective way to merge the information contained in different imaging modalities by generating a more informative composite image. Fusion of green fluorescent protein (GFP) and phase contrast images is of great significance to the subcellular localization, the functional analysis of protein, and the expression of gene. In this article, a phase congruency (PC)‐based GFP and phase contrast image fusion method in nonsubsampled shearlet transform (NSST) domain is presented. The input images are decomposed by the NSST to acquire the multiscale and multidirection representations. The high‐frequency coefficients are fused with a strategy based on PC and parameter‐adaptive pulse coupled neural network (PA‐PCNN), while the low‐frequency coefficients are integrated through a local energy (LE)‐based rule. Finally, the fused image is generated by conducting the inverse NSST on the merged high‐ and low‐frequency coefficients. Experimental results illustrate that the presented method outperforms several state‐of‐the‐art GFP and phase contrast image fusion algorithms on both qualitative and quantitative assessments.     

基于剪切波变换的可见光与红外图像融合算法

针对不同传感器的图像融合问题,提出一种基于剪切波变换的可见光与红外图像融合算法.首先通过剪切波变换对多源图像进行多尺度多方向分解,获取图像的低频子带与高频子带系数.在融合过程中,针对高、低频子带系数所反映图像尺度特征的差异性,采用相应的区域显著性方法进行量化描述.鉴于两源图的不同物理特性导致同一场景景物灰度分布存在差异的现象,采用区域相似性进行量化区别.综合区域显著性与区域相似性2个参数制定融合规则,实现多尺度分解系数的优化组合,经剪切波反变换重构各融合后的子带系数,获取最终的融合图像.实验结果表明,该算法与相关融合算法相比,在主观视觉效果与客观量化指标性能上均有所改善.     

基于函数型数据时间序列建模的齿轮破损图像识别

当前齿轮破损图像识别未拟合周期性动作捕捉数据,导致齿轮破损图像的识别效率较低,图像边缘轮廓中细节信息丢失,造成识别误差较大、识别效果较差。提出基于函数型数据时间序列建模的齿轮破损图像识别方法,通过小波变换方法提取齿轮破损图像中存在的低频成分,做双直方图均匀化处理,采用高斯高通滤波器提取齿轮破损图像中存在的高频成分,增强齿轮破损图像中存在的细节信息,利用函数型数据分析方法拟合动作捕捉数据,根据获取的数据构建周期时间序列,获得隐马尔可夫模型,通过最大似然估计函数,计算获得测试模型与样本之间的匹配度,实现齿轮破损图像的识别。实验结果表明,所提方法的识别误差较小,识别效果较好,能够有效提高齿轮破损图像的识别效率。     

基于PCNN和粒子群算法的图像自动分割方法研究

脉冲耦合神经网络PCNN(Pulse Coupled Neural Network)在图像处理中得到了广泛的应用,但是其多个参数的设置给实际应用造成了很大的困难.尤其是在图像分割中,不同类型的图像要求不同的分割参数,不同的参数对图像分割结果影响很大.而粒子群算法(PSO)具有对参数自动寻优的优势,因此,本文提出了一种基...     

基于几何纹理与Anscombe变换的蜂窝材料太赫兹图像降噪模型

为解决太赫兹（Terahertz,THz）图像内泊松高斯混合噪声导致芳纶纤维蜂窝材料脱粘缺陷轮廓检测精度低的问题,基于Anscombe变换与小波阈值法构建了THz图像降噪模型。高斯噪声方差为降噪模型的必要参数,但实际THz图像噪声分布未知,且噪声与纹理在高频混叠,给方差准确估计提出了挑战。为此,首先以样件纹理几何形状为先验信息,构造Benzene-ring算子去除THz图像纹理,使其小波域高频分量中仅含有噪声;然后提出改进的Logistic混沌映射提高样本集的多样性,以训练Elman神经网络准确建立高频分量与高斯噪声方差间映射关系;最后依据噪声方差估计值,基于Anscombe变换将泊松高斯混合噪声转化为高斯噪声,并利用小波阈值法与Anscombe逆变换得到了最终THz降噪图像。仿真与试验结果表明,所提出的方法降噪效果最佳并有效提高缺陷轮廓检测精度,相比于高斯滤波、小波阈值以及非局部均值法,平均梯度指标分别提升12%、33%、9%,缺陷面积绝对误差分别降低234 mm²、304 mm²、263 mm²。     

基于奇异值分解的橡胶密封圈表面缺陷检测方法

为解决橡胶密封圈表面缺陷人工检测效率低,缺陷提取困难等问题,提高橡胶密封圈缺陷在线检测速度及准确率,提出一种基于机器视觉的橡胶密封圈表面缺陷检测方法。该方法采用多相机多线程图像采集模式,采集橡胶密封圈的上下表面不同位置的局部图像;对图像自适应中值滤波后进行边缘增强,并使用高斯差分算子提取轮廓粗边缘,利用Zernike 矩获取亚像素边缘位置;针对边缘存在不连续点问题,使用Ceres库多项式拟合,估计断点位置,并更新所有边缘位置;根据边缘位置寻找出整张图像中橡胶密封圈表面图像区域,并将该环形兴趣区域映射到矩形区域中;将获得的图像进行奇异值分解（SVD）,并通过连通域分析,提取出图像中的奇异区域,即存在缺陷的位置。经实验验证,基于奇异值分解的橡胶圈表面缺陷检测方法鲁棒性好、效率高,可以快速准确地寻找出橡胶密封圈表面缺陷信息。     

最小误差准则与脉冲耦合神经网络的裂缝检测

表面裂缝检测能够有效判断混凝土桥梁出现的结构性危险。但裂缝特征的多样性、桥梁表面污点引起的图像噪声以及不均匀照明引起的灰度不均等给裂缝检测带来极大的困难。为能够在复杂背景下检测裂缝,分析裂缝图像特征,由脉冲耦合神经网络(pulse coupled neural networks,PCNN)的运行特征和神经元的状态变化分析简化PCNN模型,将简化PCNN模型用于裂缝图像的分割,根据最小误差准则判断PCNN迭代的终止条件,实现了PCNN的裂缝图像自动分割。由圆形度与扁度结合计算区域特征,去除分割后的各种干扰,实现表面裂缝的有效检测。通过敏感度和特异性计算绘制ROC(receiver operating charac-teristics)曲线,比较不同分割方法的曲线特性以评估算法,对实际裂缝图像的处理结果表明了该方法对裂缝图像检测的有效性。     

Online welding quality monitoring based on feature extraction of arc voltage signal

Arc sensing plays a significant role in the control and monitoring of welding quality for aluminum alloy pulsed gas touch argon welding (GTAW). A method for online quality monitoring was proposed based on the analysis of acquired arc voltage signal, through which two algorithms of feature extraction were developed in time and frequency domain, respectively. In time domain,the wavelet packet transform was carried out to eliminate the pulse interference of the feature parameter curve. In frequency domain, the other new algorithm was proposed based on the voltage power spectrum density (PSD) which was calculated by using the improved Welch algorithm and divided into five frequency bands before the statistic parameters were extracted. The correlation between the feature parameters in different frequency bands and welding defects were carefully analyzed to select a more sensitive one as the monitoring parameters. The proposed algorithms on this paper were verified to be capable of detecting lack of penetration, burn through, and the defect caused by lack of gas.