采用显著性分析与改进边缘方向直方图特征的红外与可见光图像配准

为了实现红外图像与可见光图像的信息融合,弥补单一模态图像的不足,提出了一种基于显著性分析与改进的边缘方向直方图EOH(Edge Orientation Histogram)特征的红外与可见光图像配准算法。该算法首先利用显著性分析技术找到可见光图像中的重要信息,得到显著性图;将其与可见光图像融合,实现可见光图像中重要信息的划分。然后,利用自适应FAST(Features from Accelerated Segment Test)算法,探测可见光与红外图像上的特征点;利用改进的EOH,描述特征点。最后,根据描述计算特征点的相似性,在可见光与红外图像上找出对应的特征点,实现红外与可见光图像的匹配。在3种不同情况下对红外与可见光图像数据进行了配准实验。结果表明:在红外图像与可见光图像采集条件相似情况下,特征点正确匹配率为96.55%,而在图像采集条件差异较大的情况下,特征点正确匹配率可达74.21%。该算法可实现红外与可见光图像的精确快速匹配,即使红外图像与可见光图像采集的角度与位置均存在较大差异的情况下,仍可以满足红外与可见光图像匹配对精度和稳定性的要求。     

多尺度密集连接注意力的红外与可见光图像融合

针对现有红外与可见光图像融合时,融合结果存在细节信息丢失、特征提取不足等问题,提出了一种多尺度密集连接注意力的红外与可见光图像融合深度学习网络模型。首先,设计多尺度卷积提取红外与可见光图像中不同尺度信息,增大感受野特征提取范围,克服了单一尺度特征提取不足的问题。然后,通过密集连接网络增强特征提取,并在编码子网络末端采用提出的可变形卷积注意力机制,密切联系全局上下文信息,增强对红外与可见光图像中重要特征信息的聚焦能力。最后,由全卷积层构成解码网络,重构生成融合图像。本文选取了六种图像融合客观评价指标,红外与可见光图像公开数据集融合实验结果表明：与其他8种方法相比,本文算法对比实验指标均有所提高,其中结构相似性（SSIM）、空间频率（SF）指标分别平均提高了0.26倍、0.45倍。所提方法的融合结果保留了更清晰的边缘及目标信息,具有更好的对比度和清晰度,在客观评价方面均优于对比方法。     

基于边缘检测小波变换的红外与可见光图像融合方法

简要地论述了图像融合中主要的三种像素级融合算法,即简单方法、基于塔形分解以及基于小波分解的融合方法,在现有的红外与可见光图像融合方法之上,提出了以边缘检测为基础的一种小波变换图像融合方法,并对融合效果进行了评价。实验结果表明,经该方法对红外与可见光图像的融合可以提供更多、更有效的信息,提高了图像的分辨效果和人眼对场景目标的发现和识别概率,融合效果较为理想。     

改进的响尾蛇双模式细胞模型的图像融合

由于基于经典Waxman融合模型得到的伪彩色融合图像目标不够清晰,本文提出了一种改进的感受野融合模型。对红外图像和可见光图像分别进行了ON对抗增强和OFF对抗增强;将红外ON对抗增强图像馈入中心-环绕感受野模型的中心兴奋区域,可见光OFF对抗增强图像馈入环绕抑制区,得到融合图像的B分量;将红外OFF对抗增强图像馈入中心-环绕感受野模型的环绕抑制区域,可见光ON对抗增强图像馈入中心兴奋区,得到融合图像的G分量;将可见光ON对抗增强图像直接作为融合图像的R分量;然后,输出RGB伪彩色融合图像。最后,用Waxman方法和本文提出的方法分别对两组源图像进行融合,并用信息熵和平均梯度对融合结果进行了评价。结果表明,采用提出的模型,第一组融合图像的信息熵和平均梯度比Waxman融合模型分别高出0.314 6和0.004 1,第二组融合图像的信息熵和平均梯度比Waxman融合模型分别高出0.255 1和0.002 7。得到的数据显示本文提出的融合模型的融合效果优于经典Waxman模型。     

基于小波变换和核主成分分析的人脸识别算法

人脸识别是当前模式识别和图像处理领域的研究热点。属于生物鉴别技术的一部分。一个完整的人脸识别系统主要由以下几个基本环节构成：图像预处理、人脸检测与定位、特征提取分类识别。本文主要针对图像的特征提取分类识别环节进行分析和试验：首先应用哈尔小波变换初步提取人脸图像的特征;再对小波系数运用核主成分分析进行最终的人脸特征提取。     

四波段共光轴成像实验平台及其图像融合

为获取以及充分利用场景的多波段信息,同时为多波段图像算法研究奠定基础,基于非制冷红外焦平面阵列,研制了共光轴分束的可见光+近红外、短波红外、中波红外和长波红外四波段光电成像实验平台.给出了基于四波段光电成像实验平台的图像处理案例,使用现场可编程门阵列完成各路图像的预处理与多波段图像融合.预处理过程主要包括可见光机芯盲元...     

基于多波段深度神经网络的舰船目标识别

考虑多波段图像的融合识别可以扩展识别系统的应用范围,本文探索并设计了一种基于卷积神经网络的融合识别方法。该方法以AlexNet网络模型为基础,同时对可见光、中波红外和长波红外三波段图像进行特征提取;然后,利用互信息的方法对串联的三波段特征向量进行特征选择,依据重要性排序的方式选定固定长度的特征向量;最后,依据特征提取层级的不同,分别以早期融合、中期融合和后期融合3种融合方式来验证算法的有效性。采用自建的三波段舰船图像数据库进行了模型的训练和测试,共包含6类目标,5 000余张图像。实验结果显示,采用的3种融合识别方法中,中间层融合的识别准确率最高,达到84.5%,比早期融合和后期融合分别高5%和7%左右。另外,在本文的应用场景下,无论何种融合方式,其融合识别的准确率均明显高于其他单波段识别的准确率。     

基于Hu不变矩的红外图像电力设备识别

针对电力系统红外故障检测中对电力设备的人工识别效率低、实时性差等问题,提出了根据红外热图温度信息获取独立的电力设备图像,采用计算机图像处理技术实现对电力设备高效、准确识别的方法。首先,通过红外图像中的温度信息寻找设备中高温点作为种子点,采用区域生长方法有效地去除了背景,获得了整个电力设备的二值图像;然后,选取Hu不变矩作为图像特征提取方法,并对其做出了改进,计算了该二值图像的Hu不变矩,构成了电力设备的特征向量;最后,设计了BP神经网络分类器做分类识别,可用于结合温度信息实现电力系统中电力设备红外图像的故障识别。研究结果表明,该电力设备识别方法对CT、变压器、母线接头、避雷针将军帽等电力设备的识别率高、耗时少,具有良好的应用前景。     

非成对训练样本条件下的红外图像生成

针对实测红外图像数据集构建难度大、测试制作成本高的问题,本文提出了一种非成对训练样本条件下的生成对抗网络VTIGAN,实现不同场景下可见光到红外（Visible-to-Infrared,VTI）的高质量图像转换。VTIGAN在transformer模块基础引入了一个新的生成器学习图像内容映射关系,通过重组目标风格特性实现图像风格转换,同时使用PathGAN作为判别器强化模型的图像细节信息生成能力,最后联合对抗损失、多层对比损失、风格相似性损失、同一性损失四种损失函数对模型训练过程进行约束。将VTIGAN与其他主流算法在可见光-红外数据集上进行了广泛的对比实验,同时使用峰值信噪比、结构相似度和Frechét inception distance 3个评价指标进行定量评估和主观定性评价。实验结果表明,VTIGAN相比于次优的UGATIT算法在PSNR,SSIM和FID三个指标上分别提升了3.1%,2.8%和11.3%,有效实现了非成对训练样本条件下可见光到红外的图像转换,且对于复杂场景的抗干扰能力更强,生成的红外图像清晰度高、细节特征完整、真实感强。     

融合步态和人脸特征的远距离身份识别研究

在单一摄像头获得的步态图像序列中将步态信息和人脸信息相融合进行实时的远距离身份识别。在步态图像序列中自动提取侧面人脸图像。采用基于傅里叶描绘子和关键点特征的方法提取步态特征,采用傅里叶变换和奇异值分解的人脸识别方法对步态图像序列中的侧面人脸进行特征提取。利用欧氏距离作为度量建立匹配函数。在中科院自动化研究所CASIA步态数据库中进行实验,通过对单独利用步态特征和人脸特征进行识别的识别率和通过最大法则、加法法则和乘法法则融合后进行识别的识别率进行比较,实验表明将步态和人脸特征相融合可有效地提高了识别率,识别率可达95.00%。     

基于视觉显著性的可见红外图像融合

多波段图像融合可以有效综合各个波段图像中包含的特征信息。针对可见光-红外图像,本文提出了一种结合红外图像视觉显著性提取的双波段图像融合方法,一方面旨在凸显红外图像的目标信息,同时又能尽可能的保留可见光图像的丰富细节信息。首先,在局部窗口内实现红外图像的显著性图提取,并通过窗口尺寸的变化形成多尺度的显著性图,并对这些显著性图进行最大值的优选叠加,以获取能反映整幅红外图像各个尺寸目标的显著性图;其次,通过结合显著性图与红外图实现显著性图的加权增强;最后,利用增强的红外显著性图进行双波段图像的融合。通过两组对比实验,数据表明该方法给出的融合图像视觉效果好,运算速度快,客观评价值优于对比的7种融合方法。     

基于WEMD和生成对抗网络重建的红外与可见光图像融合

针对红外与可见光图像融合中边缘模糊、对比度较低的问题,提出一种二维窗口经验模式分解(WEMD)和生成对抗网络重建的红外与可见光图像融合算法.将红外和可见光图像进行WEMD分解得到内蕴模式函数分量和残余分量,将内蕴模式函数分量通过主成分分析进行融合,残余分量用加权平均进行融合,重构得到初步融合图像,再将初步融合图像输入生...     

基于多尺度分析的人脸识别算法研究

针对传统的人脸识别算法易受光照等因素影响的缺点,提出了一种基于多尺度分析的人脸识别算法。首先,对采集到的人脸图像进行预处理,去除噪声,减弱无用信息,增强有用信息;然后,在粗尺度上采用形态学梯度边缘检测算法对人脸轮廓进行提取,缩小人脸库的搜索范围;最后,在细尺度上对人脸的不变特征进行提取,采用Harris角点检测算法对在粗尺度上得到的边缘图像进行特征提取,减少计算量,提高了识别速度。在所拍摄的人脸库上对算法进行验证,实验表明,对易于进行轮廓提取的人脸图像的识别速度较快,精度较高。     

结合双模多尺度CNN特征及自适应深度 KELM的浮选工况识别

针对可见光图像特征驱动的浮选工况识别方法的不足,提出一种基于双模态图像多尺度CNN特征及自适应深度自编码核极限学习机(Kernel Extreme Learning Machine,KELM)的浮选工况识别方法。先对泡沫的可见光、红外图像进行非下采样剪切波多尺度分解,设计双通道CNN网络对双模态多尺度图像进行特征提取及融合,将多个双隐层自编码极限学习机串联成深度学习网络对CNN特征逐层抽象提取,然后通过核极限学习机映射到更高维空间进行决策,最后改进量子细菌觅食算法并应用于深度自编码KELM识别模型参数优化。实验结果表明:采用双模多尺度CNN特征较单模多尺度、双模单尺度CNN特征的识别精度提高了2.65%,自适应深度自编码KELM模型具有较好的分类精度和泛化性能,各工况识别的平均准确率达到95.98%,识别精度和稳定性较现有方法有较大提升。     

一种图像融合的实时实现方法

针对可见光和红外图像实时融合的需要,提出了一种实时图像融合系统。该系统由成像和图像处理两部分组成。成像部分使用同一孔径以减少视差效应,并采用分光器以使红外和可见光传感器共用同一光路。图像处理利用FPGA实现了一种基于拉普拉斯塔形分解的图像融合方法,实现了对两路PAL制黑白视频图像实时进行融合。和Matlab中双精度运算结果相比,该系统的输出结果可达约50dB的信噪比,满足实际的工程应用。     

结合分数阶显著性检测及量子烟花算法的NSST域图像融合

针对传统红外与可见光图像融合算法中存在的细节纹理信息不够清晰,边缘信息保留不够充分等问题,提出一种基于分数阶显著性及改进量子烟花算法的非下采样Shearlet变换(NSST)域图像融合方法.首先对红外与可见光图像进行NSST分解,低频分量先进行基于分数阶微分增强的显著性检测;然后按照显著图匹配度的融合规则进行融合,高频...     

基于CycleGAN-SIFT的可见光和红外图像匹配

针对红外图像和可见光图像因成像机理不同导致传统匹配算法匹配精度不高、鲁棒性差的问题,提出一种基于CycleGAN-SIFT的可见光和红外图像匹配算法.为了减小可见光图像与红外图像之间特征差异对匹配结果造成的影响,通过迁移学习共享权重的方式在可见光图像和红外图像基础上利用CycleGAN生成伪红外图像,利用SIFT特征提...     

基于小波变换的实时图像融合技术的实现

提出了一种针对可见光和红外图像实时融合的系统。该系统由成像和图像处理两部分组成。其中,成像部分使用同一孔径以减少视差效应。并采用分光器以使同一光路光分别在红外和可见光传感器上成像。在图像处理部分。首先对两路图像进行配准、同步处理。然后在FPGA内部实现了一种基于小波分析的图像融合方法,实现了对两路视频图像实时进行融合。和Matlab中双精度运算结果相比,该系统的输出结果可达约43dB的信嗓比。满足实际的工程应用。     

多光谱图像融合的IC器件表面缺陷检测

针对单可见光或单红外条件下的IC器件表面缺陷对比度不足,缺陷检测精度低的问题,提出多光谱图像融合的IC器件表面缺陷检测方法。针对IC器件可见光与红外图像配准中存在尺度不一致和对比度反转问题,引入拉普拉斯金字塔和特征描述符重组策略改进ORB(Oriented FAST and Rotated BRIEF)图像配准算法。在图像配准的基础上,提出NSST＿VP图像融合方法,以非下采样剪切波变换（Non-Subsample Shearlet Transform, NSST）得到红外图像和已配准可见光图像的低频和高频子带,对低频子带采用视觉显著图（Visual Significance Map, VSM）加权融合规则,高频子带则采用自适应脉冲耦合神经网络（PA-Pulse Coupled Neural Network, PA-PCNN）决策融合规则,进而通过NSST逆变换得到高质量多光谱融合图像。最后,将融合图像输入YOLOv8s模型进行检测。实验结果表明,改进ORB的图像配准平均精度为87.8%,比ORB图像配准精度提高了62%,NSST＿VP图像融合算法在主观视觉效果和客观评价指标上均有所提...     

基于类内分块PCA方法的人脸表情识别

主成分分析方法（PCA）是目前广泛应用在人脸等图像识别领域的重要手段。为了更准确地识别人脸的表情信息,有效抽取出图像中对表情识别贡献较大的局部特征,提出了一种类内分块PCA方法对人脸表情进行特征提取。首先对图像进行分块,再对分块得到的所有子图像块利用PCA方法进行鉴别分析,并计算出各类训练样本的子空间,然后计算测试样本到各类子空间的距离,最后输入最近邻分类器得到分类结果。在JAFFE人脸表情库上进行的实验结果表明,使用该方法后获得的识别率优于传统的PCA方法。