基于三目视觉的红外热像仪标定方法

针对红外热像仪标定精确低的问题,设计一种能准确标定红外热像仪的方法。首先,使用两台可见光摄像机及一台红外热像仪组成三目系统,标定出可见光摄像机参数,并在系统视野内挥动带有特制灯泡的标定杆,获取匹配点对;然后通过可见光摄像机组成的双目系统重构点的三维坐标,建立起红外热像仪图像点与三维坐标点的对应关系;最后标定出红外热像仪参数并进行优化。实验结果表明,该方法精度较高,满足应用需求。     

基于目标提取的红外与可见光图像融合算法

分析红外图像与可见光图像融合时,目标信息丢失或减弱的潜在原因,提出一种红外与可见光图像融合算法。该算法根据红外图像与可见光图像的特点,利用灰色关联理论检测并提取红外图像目标,采用替代法对获得的目标信息与可见光图像的背景和细节信息进行融合。实验结果表明,该算法得到的融合图像具有与红外图像相同的目标,且具备可见光图像的细节信息。     

基于IHS和小波变换的可见光与红外图像融合

针对红外与可见光图像所表现的目标特征不同,提出了一种基于IHS和小波变换的图像融合方法.首先对可见光图像进行IHS 变换得到亮度I、色度H、饱和度S 3个分量,再对红外图像进行灰度变换;然后对亮度分量和已变换红外图像进行小波分解,对低频分量和高频分量分别采用不同的融合规则;最后进行IHS逆变换得到融合图像.实验结果表明,该方法在红外与可见光图像融合处理中取得了很好的融合效果,优于传统的 IHS变换法和小波变换方法.该方法保留了可见光图像高的空间分辨率和丰富的纹理细节信息,同时融合了在可见光图像中看不到而在红外图像里可以观察到的热目标.     

一种扩展VIFB的红外与可见光图像融合基准

红外与可见光图像融合是机器视觉的一个重要领域,在日常生活中应用广泛。近年来,虽然红外与可见光图像融合领域已有多种融合算法,但目前该领域还缺乏能够衡量多种融合算法性能的算法框架和融合基准。在简要概述了红外与可见光图像融合的最新进展后,提出了一种扩展VIFB的红外与可见光图像融合基准,该基准由56对图像、32种融合算法和16种评价指标组成。基于该融合基准进行了大量实验,用来测评所选取的融合算法的性能。通过定性和定量结果分析,确定了性能优良的图像融合算法,并对红外与可见光图像融合领域的未来前景进行了展望。     

聚类分析的红外与可见光融合质量指标相似性研究

为了研究红外与可见光图像融合质量评价指标相关性,提出了聚类分析的红外与可见光图像融合质量评价指标相似性研究. 本文列举了11个常用的图像融合质量客观评价指标,分别采用斯皮尔曼等级相关系数和灰色关联度建立相关矩阵,通过分析阈值变化率选取最优聚类阈值,对相似程度较高的评价指标给出合理的聚类. 在实验中,以10组红外与可见光图像融合为评价对象,通过聚类分析将11个评价指标分为6类,该聚类结果可以作为选取合理的红外与可见光图像融合质量评价指标集的依据.     

局部鉴别分析驱动的红外与可见光图像协同目标跟踪

针对红外图像所含信息量少、可见光图像易受环境影响的问题,提出一种基于局部鉴别分析的红外与可见光图像多源信息协同跟踪的目标跟踪方法.从评估图像信息对目标和背景间的可区分性能角度出发引入线性鉴别分析理论,建立了局部区域目标背景间的可区分度函数;以此为基础实现了多源图像在特征层次上的自适应融合;最后将该融合理论嵌入到粒子滤波跟踪框架中,实现对目标的跟踪.实验结果表明,与采用单一图像信息的目标跟踪系统相比,该方法可对红外和可见光图像进行有效融合,实现对目标的稳健跟踪.     

基于目标提取的红外与可见光图像融合算法

在可见光图像融合算法优化问题的研究中,针对现有红外与可见光图像融合算法的融合图像中背景模糊和目标不清晰等问题,提出了一种结合红外目标分割的红外与可见光图像融合算法,根据红外与可见光图像的信息分布特点,先采用目标分割算法对红外图像中的目标图像进行提取,再与可见光图像进行融合,其中在其融合过程中,结合能量函数与边缘优化函数,来提高图像的融合效果.实验结果表明,改进算法所测得的实验结果与预期目标基本相符,具有图像细节保留能力强与目标清晰度高的融合优势.     

用于输送带纵向撕裂检测的新型视觉传感器

针对现有输送带纵向撕裂视觉检测存在采集图像不清晰的问题,提出了一种基于红外与可见光图像融合的新型视觉传感器。该视觉传感器采用分光棱镜将从同一镜头入射的同轴光分别投射至红外CCD和可见光CCD,红外CCD和可见光CCD同时采集目标同一点的红外图像和可见光图像,利用像素级融合方法获得融合图像。实验结果表明,该视觉传感器所采集的融合图像具有清晰的撕裂信息和详细的背景信息,满足输送带图像高质量采集的要求。     

基于语义分割的红外和可见光图像融合

红外图像即使在低光照条件下,也能根据热辐射的差异将目标与背景区分开来,而可见光图像具有高空间分辨率的纹理细节,此外,红外和可见光图像都含有相应的语义信息.因此,红外与可见光图像融合,需要既保留红外图像的辐射信息,也保留可见光图像的纹理细节,同时,也要反映出二者的语义信息.而语义分割可以将图像转换为带有语义的掩膜,提取源图像的语义信息.提出了一种基于语义分割的红外和可见光图像融合方法,能够克服现有融合方法不能针对性地提取不同区域特有信息的缺点.使用生成式对抗神经网络,并针对源图像的不同区域设计了2种不同的损失函数,以提高融合图像的质量.首先通过语义分割得到含有红外图像目标区域语义信息的掩模,并利用掩模将红外和可见光图像分割为红外图像目标区域、红外图像背景区域、可见光图像目标区域和可见光图像背景区域;然后对目标区域和背景区域分别采用不同的损失函数得到目标区域和背景区域的融合图像;最后将2幅融合图像结合起来得到最终融合图像.实验表明,融合结果目标区域对比度更高,背景区域纹理细节更丰富,提出的方法取得了较好的融合效果.     

基于红外图像融合的DSP水果检测系统研究

为了提高水果检测系统精度和实时性,提出了在数字信号处理平台上开发水果检测系统的方案.该方案是根据可见光与红外图像的互补优势,以DSP/BIOS为实时操作系统,CCS为开发环境来构建应用程序.最后以苹果为研究对象,对苹果的红外和可见光图像分别进行相应的预处理后对所得的图像进行融合.试验结果表明,融合后的图像可以检测苹果早期淤伤,对水果品质检测精度有较大提高,经优化后实时性更好.     

汽车驾驶辅助系统红外与可见光融合算法综述

红外与可见光融合图像融合是汽车高级驾驶辅助系统核心功能之一,能够较好地理解光线条件较差时车辆外部环境目标,对无人驾驶车辆和智能车辆识别环境具有重要作用,其中基于深度学习的神经网络算法在图像特征提取和分类中优势显著。针对汽车领域红外与可见光图像融合算法进行综述,分析了现代车辆对图像融合技术的需求;总结了基于数学方法框架的红外与可见光图像融合算法和最新发展;概述了基于神经网络结构的红外与可见光图像融合算法;最后讨论了车载红外与可见光图像融合技术的发展趋势。     

一种基于静态小波变换的图像融合算法

给出了一种基于静态小波多尺度边缘检测的图像融合算法,是一种适用于微光和红外图像融合的多分辨率方法。该方法选择á trous多孔算法为基础,并选取不同尺度参数的LOG算子作边缘检测,利用了图像的多尺度边缘信息确定图像的边缘位置进行融合。在小波域中,对高频信息依据边缘检测的边缘点进行融合,对低频信息利用取加权法进行融合,再进行小波逆变换重构融合图像。通过红外和微光图像的融合实验结果表明,该方法能有效地突出边缘细节,提高图像分辨效果和人眼对场景目标的发现和识别概率。     

红外与可见光序列图像融合方法的研究

本文简述了红外与可见光图像融合的意义及其应用,介绍了多种红外与可见光序列图像融合方法。在对这些融合方法进行比较分析的基础上,总结了红外与可见光序列图像融合的研究现状、当前研究热点及未来的发展趋势。     

Attribute filter based infrared and visible image fusion

Infrared and visible image fusion is an effective image processing technique to obtain more comprehensive information, which can help people better understand various scenarios. In this paper, a novel infrared and visible image fusion method is proposed which fully considers the attributes of objects in source images. Benefiting from the attribute and the edge-preserving filters, the prominent objects in the infrared source image are effectively extracted. Then, the weight-based Laplacian pyramid fusion strategy is adopted to get more natural fusion results. The experimental results on the public image fusion datasets and a new infrared–visible video fusion dataset show that the proposed method achieves state-of-the-art fusion performance in terms of both visual and objective evaluations. The proposed algorithm is also implemented in an infrared–visible dual sensor system, which demonstrated the practicability of our fusion method.     

Infrared and visible image fusion methods and applications: A survey

Infrared images can distinguish targets from their backgrounds based on the radiation difference, which works well in all-weather and all-day/night conditions. By contrast, visible images can provide texture details with high spatial resolution and definition in a manner consistent with the human visual system. Therefore, it is desirable to fuse these two types of images, which can combine the advantages of thermal radiation information in infrared images and detailed texture information in visible images. In this work, we comprehensively survey the existing methods and applications for the fusion of infrared and visible images. First, infrared and visible image fusion methods are reviewed in detail. Meanwhile, image registration, as a prerequisite of image fusion, is briefly introduced. Second, we provide an overview of the main applications of infrared and visible image fusion. Third, the evaluation metrics of fusion performance are discussed and summarized. Fourth, we select eighteen representative methods and nine assessment metrics to conduct qualitative and quantitative experiments, which can provide an objective performance reference for different fusion methods and thus support relative engineering with credible and solid evidence. Finally, we conclude with the current status of infrared and visible image fusion and deliver insightful discussions and prospects for future work. This survey can serve as a reference for researchers in infrared and visible image fusion and related fields.     

基于CNN与直方图规定化的红外与低照度可见光图像融合

针对红外与低照度可见光图像融合时,细微的纹理信息不能有效地保留的问题,提出了基于CNN与直方图规定化的红外与低照度可见光图像融合算法。首先,通过基于卷积神经网络的融合方法得到融合后的图像;其次,计算融合后图像的灰度直方图,通过直方图规定化将可见光图像的直方图映射到融合图像的直方图的区间上,以增强图像的纹理信息;最后,将直方图规定化的图像与红外图像通过卷积神经网络的方法进行融合,得到融合图像。实验结果表明,本文提出的算法在视觉效果和客观评价上均优于基于卷积神经网络的融合方法。     

基于FPDE的红外与可见光图像融合算法

针对传统红外与可见光图像融合算法中存在的细节信息不够丰富, 边缘信息保留不够充分等问题, 文中提出了一种基于四阶偏微分方程(Fourth-order partial differential equation, FPDE)的改进的图像融合算法.算法首先采用FPDE将已配准的红外与可见光图像进行分解, 得到高频分量和低频分量; 然后, 对高频分量采用基于主成分分析(Principal component analysis, PCA)的融合规则来得到细节图像, 对低频分量采用基于期望值最大(Expectation maximization, EM)的融合规则来得到近似图像; 最后, 通过组合最终的高频分量和低频分量来重构得到最终的融合结果.实验是建立在标准的融合数据集上进行的, 并与传统的和最近的融合方法进行比较, 结果证明所提方法得到的融合图像比现有的融合方法能有效地综合红外与可见光图像中的重要信息, 有更好的视觉效果.     

结合视觉显著性与Dual PCNN的红外与可见光图像融合

针对现存的红外与可见光图像融合算法亮度不均、目标不突出、对比度不高、细节丢失等问题,结合非下采样剪切波变换(NSST)具有多尺度、最具稀疏表达的特性,显著性检测具有突出红外目标的优势,双通道脉冲耦合神经网络(Dual-PCNN)具有耦合、脉冲同步激发等优点,提出一种基于NSST结合视觉显著性引导Dual-PCNN的图像融合方法。首先,通过NSST分解红外与可见光图像各方向的高频与低频子带系数;然后,低频子带系数采用基于显著性决策图引导Dual-PCNN融合策略,高频子带系数采用改进的空间频率作为优化Dual-PCNN的激励进行融合;最后,经过NSST逆变换得到融合图像。实验结果表明,融合图像红外目标突出且可见光背景细节丰富。该方法相比于其他融合算法在主观评价与客观评价上都有一定程度的改善。     

BEMD分解和W变换相结合的红外与可见光图像融合

目的 针对传统的基于多尺度变换的图像融合算法的不足,提出了一种基于W变换和2维经验模态分解（BEMD）的红外与可见光图像融合算法。方法 首先,为了更有效地提取图像的高频信息,抑制BEMD中存在的模态混叠现象,提出了一种基于W变换和BEMD的新的多尺度分解算法（简称W-BEMD）;然后,利用W-BEMD对源图像进行塔式分解,获得图像的高频分量WIMFs和残差分量WR;接着,对源图像对应的WIMFs分量和WR分量分别采用基于局部区域方差选择与加权和基于局部区域能量选择与加权的融合规则进行融合,得到融合图像的W-BEMD分解;最后,通过W-BEMD逆变换得到最终融合图像。W-BEMD分解算法的主要思想是通过W变换递归地将BEMD分解过程中每层所得低频分量中滞留的高频成分提取出来并叠加到相应的高频分量中,实现更有效的图像多尺度分解。结果 对比实验结果表明,本文方法得到的融合图像视觉效果更佳,既有突出的红外目标,又有清晰的可见光背景细节,而且在平均梯度（AG）、空间频率（SF）、互信息（MI）3个客观评价指标上也有显著优势。结论 本文提出了一种新的红外与可见光图像融合算法,实验结果表明,该算法具有较好的融合效果,在保留可见光图像中的细节信息和突出红外图像中的目标信息方面更加有效。