基于最大互信息的红外与可见光图像配准

图像配准是图像融合技术的基本环节和首要问题。该文针对红外与可见光两种不同波段图像的配准技术进行了研究,分析了两者配准的特点,并提出了基于最大互信息的配准算法。算法利用Sobel算子对图像进行边缘增强,完成图像的预处理,然后基于仿射变换建立图像变换模型,并按照最大相关原则确定最佳配准参数,从而实现红外与可见光图像的配准。实验结果表明,该方法可以实现红外和可见光图像的配准。     

基于分块互信息的图像配准

针对传统互信息缺乏利用空间信息而容易导致误配的缺点,提出了基于分块互信息的多模图像配准方法,并运用于可见光与红外图像之间的配准。该方法首先将可见光与红外图像分块,求得每个可见光与红外图像块对的互信息,并由块对中可见光与红外图像的质心间的距离为参数,确定块对的配准系数,求得每个块对的互信息与配准系数的乘积的和,定义为分块互信息,并以此为配准准则。实验表明,该方法运用与可见光与红外光配准,在配准精度上优于传统互信息方法。     

基于红外可见光图像配准的电力设备分割算法

电力设备故障会导致变电站大范围停电,造成巨大损失。根据电力设备运行时会发热的特点,提出一种基于红外可见光图像配准的电力设备分割方法,便于进行故障检测。该方法首先利用结构化随机森林对电力设备的红外和可见光图像进行边缘检测,构建可见光边缘图像的多尺度高斯金字塔,然后结合归一化互信息对红外和可见光图像进行配准,对红外图像进行Otsu阈值分割,结合配准结果分割出可见光图像中的电力设备。实验结果表明,该算法能精确地实现配准及分割,具有一定实用性。     

基于邻域信息的红外与可见光图像互信息配准

基于互信息的配准方法以其自动化程度高和配准精度高的优点被广泛应用在图像配准中。文中针对红外与可见光图像配准中采用传统的互信息,仅考虑图像像素的灰度信息,而没有考虑图像像素之间空间信息的情况,提出了一种基于邻域信息的互信息配准算法。该算法充分利用图像像素之间的空间信息,在互信息计算中图像中每个像素的灰度值由其邻域像素的灰度值按照距离分配不同的权值共同得到。实验表明该算法使配准曲线更加光滑,配准过程中极值更易找出,提高了配准精度和抗噪能力。     

基于邻域信息的红外与可见光图像互信息配准

基于互信息的配准方法以其自动化程度高和配准精度高的优点被广泛应用在图像配准中.文中针对红外与可见光图像配准中采用传统的互信息,仅考虑图像像素的灰度信息,而没有考虑图像像素之间空间信息的情况,提出了一种基于邻域信息的互信息配准算法.该算法充分利用图像像素之间的空间信息,在互信息计算中图像中每个像素的灰度值由其邻域像素的灰度值按照距离分配不同的权值共同得到.实验表明该算法使配准曲线更加光滑,配准过程中极值更易找出,提高了配准精度和抗噪能力.     

非下采样轮廓波域红外与可见光图像配准算法

针对灰度和对比度存在较大差异的可见光图像与红外图像的配准问题,提出了一种基于非下采样轮廓波变换的多分辨率配准方法。该方法分别对可见光图像和红外图像进行非下采样轮廓波分解,引入梯度归一化互信息作为配准图像的相似性测度,利用基于种群成熟度描述的自适应确定交叉和变异比率的改进遗传算法作为搜索策略,对高尺度低频图像进行粗配准。然后,根据粗匹配结果在低尺度低频图像上进行进一步配准,最终实现全分辨率条件下红外和可见光图像的配准。实验结果表明,提出的算法能够有效提高配准精度和速度。     

基于互信息及蚁群算法的红外与可见光图像配准研究

红外与可见光传感器是图像系统中常用的两种传感器,对这两种传感器图像进行有效的融合,能够得到更加丰富的图像信息,并具有更高的可靠性,有利于提高对图像信息的分析和识别能力.快速准确地实现图像配准是图像融合的前提.为此,本文提出了一种基于互信息及蚁群算法实现红外与可见光图像配准的方法.     

基于互信息和二级搜索的图像配准

基于互信息的图像配准方法,已经广泛应用于图像配准领域.但互信息图像配准方法容易受到局部极值的干扰,难以得到最优解.对互信息图像配准中互信息的表征、图像插值方法以及优化搜索算法三个要素做了探讨,尤其针对常用的Powell搜索算法的不足,提出了基于互信息和二级搜索的图像配准算法.该算法以标准互信息为图像相似测度,利用PV插值法平滑搜索空间,采用Simplex算法进行一级粗配准,采用Powell算法进行二级精配准.仿真结果表明,二级搜索配准算法能够有效地克服局部极值,提高计算速度,用于大差异图像配准.     

基于角点特征和最大互信息的图像配准

基于互信息的配准方法是图像配准领域的重要方法。互信息是图像配准中常用的相似性度量,具有鲁棒、精度高等优点,但基于互信息的配准计算量大,制约了它的实际应用。文章提出一种基于角点和最大互信息配准方法:首先采用间接算法来计算曲率的极大值点,从而能快速准确的提取角点集;接着计算两幅图像角点集间的互信息,最后通过POWELL算法搜索使互信息最大以实现配准。实验表明,该算法计算简单,配准速度快,具有更好的精确性和鲁棒性。     

一种新的卫星多光谱图像自动配准算法

针对小卫星独立相机多光谱成像系统波段间配准的非线性误差问题,提出了一种多光谱图像波段间自动配准算法,该算法综合利用互信息、遗传算法和MQ几何校正模型进行多光谱图像的自动配准。在算法中,以互信息作为配准的相似性度量,获得了很高的配准精度;利用遗传算法的快速搜索特性,可以较快的完成搜索并获得整体的最优解;利用MQ几何模型可以精确的建立图像之间的几何关系。试验表明该算法对于多光谱图像波段间非线性几何关系,能够取得非常高的波段间自动配准精度,整体配准误差在一个像元以内。     

结合亮度感知与密集卷积的红外与可见光图像融合

为解决弱光照条件下红外与可见光图像融合质量差的问题,提出一种结合亮度感知与密集卷积的红外与可见光图像融合方法（brightness perception and dense convolution,BPD-Fusion）。首先,对可见光图像进行亮度计算,得到亮度权重并对其暗区域进行亮度增强;然后,将增强的可见光图像与红外图像级联输入生成器,在其Conv1阶段后嵌入密集卷积以获取更丰富的图像特征;最后,为了达到较强的图像重构与生成能力,建立多损失函数构建端到端的图像融合过程。在TNO和KAIST数据集上进行融合质量测评:主观评价上,提出的方法视觉效果良好;客观评价上,差异相关和、信息熵、互信息和平均梯度指标均优于对比方法。     

BEMD分解和W变换相结合的红外与可见光图像融合

目的 针对传统的基于多尺度变换的图像融合算法的不足,提出了一种基于W变换和2维经验模态分解（BEMD）的红外与可见光图像融合算法。方法 首先,为了更有效地提取图像的高频信息,抑制BEMD中存在的模态混叠现象,提出了一种基于W变换和BEMD的新的多尺度分解算法（简称W-BEMD）;然后,利用W-BEMD对源图像进行塔式分解,获得图像的高频分量WIMFs和残差分量WR;接着,对源图像对应的WIMFs分量和WR分量分别采用基于局部区域方差选择与加权和基于局部区域能量选择与加权的融合规则进行融合,得到融合图像的W-BEMD分解;最后,通过W-BEMD逆变换得到最终融合图像。W-BEMD分解算法的主要思想是通过W变换递归地将BEMD分解过程中每层所得低频分量中滞留的高频成分提取出来并叠加到相应的高频分量中,实现更有效的图像多尺度分解。结果 对比实验结果表明,本文方法得到的融合图像视觉效果更佳,既有突出的红外目标,又有清晰的可见光背景细节,而且在平均梯度（AG）、空间频率（SF）、互信息（MI）3个客观评价指标上也有显著优势。结论 本文提出了一种新的红外与可见光图像融合算法,实验结果表明,该算法具有较好的融合效果,在保留可见光图像中的细节信息和突出红外图像中的目标信息方面更加有效。     

基于Canny边缘SURF特征的红外与可见光图像配准算法

利用多源传感器之间获取信息的互补性,克服单传感器的缺陷,从而提高系统整体性能指标的思想已经在军事、医疗、卫星等领域获得了广泛的应用。可见光和红外图像相融合也能提高视觉应用场景中对目标的探测能力,降低目标警报的虚警率和漏警率,提升准确率和工作效益。对于红外与可见光图像配准过程中受不同传感器图像成像原理不同,成像结果图像灰度差异大、特征难以匹配的问题,可以利用红外和可见光图像的共有特征即边缘轮廓特征,采用Canny边缘提取算法提取出图像最基本、稳定的特征,然后在边缘图中使用SURF特征检测算法进行特征点提取与匹配,最后采用RANSAC进行精准匹配。由于边缘在红外和可见光图像中都是比较稳定的特征,而且在边缘轮廓图中进行特征提取将极大减少计算量和提高匹配率,因而最终能够获得较为准确的红外、可见光图像的变换关系。     

基于语义分割的红外和可见光图像融合

红外图像即使在低光照条件下,也能根据热辐射的差异将目标与背景区分开来,而可见光图像具有高空间分辨率的纹理细节,此外,红外和可见光图像都含有相应的语义信息.因此,红外与可见光图像融合,需要既保留红外图像的辐射信息,也保留可见光图像的纹理细节,同时,也要反映出二者的语义信息.而语义分割可以将图像转换为带有语义的掩膜,提取源图像的语义信息.提出了一种基于语义分割的红外和可见光图像融合方法,能够克服现有融合方法不能针对性地提取不同区域特有信息的缺点.使用生成式对抗神经网络,并针对源图像的不同区域设计了2种不同的损失函数,以提高融合图像的质量.首先通过语义分割得到含有红外图像目标区域语义信息的掩模,并利用掩模将红外和可见光图像分割为红外图像目标区域、红外图像背景区域、可见光图像目标区域和可见光图像背景区域;然后对目标区域和背景区域分别采用不同的损失函数得到目标区域和背景区域的融合图像;最后将2幅融合图像结合起来得到最终融合图像.实验表明,融合结果目标区域对比度更高,背景区域纹理细节更丰富,提出的方法取得了较好的融合效果.     

面向跨模态行人重识别的单模态自监督信息挖掘

目的 在智能监控视频分析领域中,行人重识别是跨无交叠视域的摄像头匹配行人的基础问题。在可见光图像的单模态匹配问题上,现有方法在公开标准数据集上已取得优良的性能。然而,在跨正常光照与低照度场景进行行人重识别的时候,使用可见光图像和红外图像进行跨模态匹配的效果仍不理想。研究的难点主要有两方面:1)在不同光谱范围成像的可见光图像与红外图像之间显著的视觉差异导致模态鸿沟难以消除;2)人工难以分辨跨模态图像的行人身份导致标注数据缺乏。针对以上两个问题,本文研究如何利用易于获得的有标注可见光图像辅助数据进行单模态自监督信息的挖掘,从而提供先验知识引导跨模态匹配模型的学习。方法 提出一种随机单通道掩膜的数据增强方法,对输入可见光图像的3个通道使用掩膜随机保留单通道的信息,使模型关注提取对光谱范围不敏感的特征。提出一种基于三通道与单通道双模型互学习的预训练与微调方法,利用三通道数据与单通道数据之间的关系挖掘与迁移鲁棒的跨光谱自监督信息,提高跨模态匹配模型的匹配能力。结果 跨模态行人重识别的实验在“可见光—红外”多模态行人数据集SYSU-MM01(Sun Yat-Sen University Multi...     

电力巡检场景下的红外与可见光图像配准方法

电力设备故障会导致停电事故,影响电网的安全稳定运行。根据电力设备运行时会产生热量的特点,提出一种电力设备的红外与可见光图像配准方法,便于进行异常发热故障检测。首先通过Sobel边缘检测算子提取电力设备的红外与可见光图像的边缘信息,得到边缘图像;然后通过SuperPoint算法检测2幅边缘图像的特征点并计算描述子,利用SuperGlue算法对特征点进行匹配;最后通过最小二乘法计算仿射变换模型参数,实现电力设备的红外与可见光图像配准。实验结果表明本文方法能够对电力设备的红外与可见光图像进行高精度的配准。     

结合SURF描述符和广义近邻图的图像配准算法

针对传统互信息配准方法计算量较大且未利用图像空间信息的缺点,提出了一种结合SURF描述符和广义近邻图的图像配准算法。该算法用SURF从图像中提取尺度空间特征点并获得特征点描述子,然后用广义近邻图来估计Rényi熵与互信息。该算法结合了SURF描述子的鲁棒性和广义近邻图估计Rényi熵的高效性。实验结果表明,对于真实遥感图像,该算法在配准准确度、鲁棒性和速度上都明显优于几种传统配准方法。     

可见光与红外图像区域级反馈融合算法

目的 可见光图像具有丰富的纹理信息,红外图像具有较强的目标指示信息,进行融合时只有合理地设计融合规则才能充分利用两者的互补信息,为此,提出一种基于效果评估的可见光与红外图像区域级反馈融合算法.方法 首先对待融合图像进行非下采样轮廓波变换(NSCT),将其分解为低频和高频部分.同时采用分形特征对红外图像进行人造目标增强,通过阈值分割得到目标区域与背景区域.在设计低频融合规则时,选取目标区域与背景区域的加权融合系数作为参数,根据图像融合效果评估的量化指标,运用遗传算法进行参数的优化求解.对高频部分采用基于区域的加权平均融合规则.最后,利用优化后的融合系数进行NSCT逆变换得到融合图像.结果 采用3组图像,结合主观评价和客观评价指标对4种融合算法的结果进行了比较分析,实验结果表明,本文算法融合后图像更自然,目标更显著,客观评价结果总体上最优.结论 本文算法有效结合了红外图像的目标信息与可见光图像的背景信息,融合图像具有更强的对比度,有利于进行战场态势显示和目标识别任务.