基于变换域边缘检测的双源交通图像融合方法研究

针对交通图像在恶劣天气及夜间成像质量较差的问题,通过研究红外传感器和可见光传感器的成像原理,设计了一种基于变换域边缘检测的双源交通图像融合方法。首先将红外源图像与可见光源图像利用小波变换分别进行分解,再对所得结果中的高频成分边缘检测,通过设计不同的融合规则对变换域不同频率子图像分别进行融合处理,然后通过逆变换得到特征信息丰富的融合图像。     

基于SIFT/ORB几何约束的红外与可见光图像特征点匹配

红外图像与可见光图像记录着地物的不同属性信息,两者融合能够优势互补,弥补单一数据源信息的不足。然而由于两者成像原理不同,热红外传感器与可见光传感器对同一场景获取的图像灰度差异较大,二者图像误匹配多,融合难度大。本文在分析红外与可见光图像共有特征的基础上,提出了一种基于SIFT与ORB特征检测的匹配方法,利用SIFT算子与ORB算子同时进行特征点检测,先基于RANSAC对SIFT匹配得到的同名点进行筛选,同时结合最近邻比次近邻算法获取ORB匹配点,再利用SIFT匹配点对ORB匹配点进行距离和角度的几何约束进一步剔除误匹配,最终得到特征点分布均匀、可靠度更高的匹配结果,解决因灰度差异较大产生的匹配效果不佳的问题。利用4组红外与可见光图像进行实验,结果表明,本文算法特征点正确匹配数量相较于SIFT分别提高了约3.7倍、3.2倍、3.6倍、3倍,大幅地提高了红外与可见光图像的匹配数量,为两者间的匹配提供了一种有效的方法。     

红外与可见光图像深度学习融合方法综述

红外与可见光图像融合技术充分利用不同传感器的优势,在融合图像中保留了原图像的互补信息以及冗余信息,提高了图像质量。近些年,随着深度学习方法的发展,许多研究者开始将该方法引入图像融合领域,并取得了丰硕的成果。根据不同的融合框架对基于深度学习的红外与可见光图像融合方法进行归类、分析、总结,并综述常用的评价指标以及数据集。另外,选择了一些不同类别且具有代表性的算法模型对不同场景图像进行融合,利用评价指标对比分析各算法的优缺点。最后,对基于深度学习的红外与可见光图像融合技术研究方向进行展望,总结红外与可见光融合技术,为未来研究工作奠定基础。     

一种基于非采样Contourlet变换的图像融合算法

针对红外与可见光成像传感器的物理特性,提出了一种基于非采样Contourlet变换的红外与可见光图像融合算法。首先对原始图像分别进行非采样Contourlet变换,得到不同尺度与方向下的子带系数。对低频子带系数,采用加权平均的融合规则;对不同尺度与方向下的高频子带系数,采用基于局部区域能量匹配的融合规则。最后经非采样Contourlet逆变换得到融合结果。实验结果表明,该算法可以有效地综合可见光与红外图像中的重要信息,其融合结果较典型的基于塔式分解与基于小波变换的图像融合算法,在主观视觉效果与客观评价指标上均有所改善。     

基于二代Curvelet变换的红外与可见光图像融合

针对红外与可见光成像传感器的物理特性,提出了一种基于二代Curvelet变换的图像融合算法.首先对原始图像分别进行快速离散Curvelet变换,得到不同尺度与方向下的子带系数.对低频子带系数,根据红外图像的目标特性与可见光图像的细节信息确定其融合权值;对不同尺度与方向下的高频子带系数,采用基于局部区域能量匹配的融合规则.最后经Curvelet逆变换得到融合结果.实验结果表明,该算法可以有效地综合可见光与红外图像中的重要信息,其融合结果较典型的基于塔式分解与基于小波变换的图像融合算法,在主观视觉效果与客观评价指标上均有所改善.     

基于SCM和CST的红外与可见光图像融合算法

针对红外与可见光图像的成像特点及目前红外与可见光图像融合中融合图像信息量不足的问题,结合复剪切波变换(Complex Shearlet transform,CST)及脉冲发放皮层模型(Spiking cortical model,SCM)的优点,本文提出了一种新的红外与可见光图像融合算法。首先,利用红外图像目标与背景灰度的显著差异,通过区域生长方法从红外图像提取目标区域;然后用CST对源图像进行分解,对源图像的目标区域和背景区域系数分别采用不同的融合规则进行融合,其中背景区域的高频子带系数利用SCM进行选择;最后,经过CST逆变换重构融合图像。研究结果表明,与其它的红外与可见光图像融合算法相比,本方法在视觉效果和客观评价指标上都得到了提升。     

红外与可见光图像融合技术的研究进展

红外与可见光融合图像既具有红外的辐射信息又具有可见光的细节信息，在生产生活、军事监视等场景得到广泛应用，已然成为图像融合领域的重点研究方向。根据图像融合方法的核心思想、融合框架、研究进展对基于多尺度变换、稀疏表示、神经网络等融合方法进行详细阐述对比，并综述了红外与可见光图像融合在各领域内的应用现状，以及常用的评价指标。并选择具有代表性的多种融合方法与评价指标，应用于六个不同场景，验证各方法的优势与不足。最后，实验分析并总结现有红外与可见光图像融合方法存在的问题，对红外与可见光图像融合技术的发展趋势进行展望。     

深度学习框架下的红外与可见光图像融合算法综述

红外与可见光图像融合是图像融合领域的重要分支。将红外与可见光传感器获取的图像进行互补融合,融合后的图像既具有红外图像的整体信息又具有可见光图像的细节信息,并广泛应用于日常生活和军事领域。由于深度学习在计算机视觉和图像处理领域具有显著优势,因此将深度学习框架应用于红外与可见光图像融合领域成为近年来的研究热点。本文首先根据融合算法的特点及原理,对现有基于深度学习框架的融合算法进行分类概述,并详细介绍算法的研究进展;其次,对图像融合领域的评价指标进行介绍;再次,选取不同分类中的典型算法进行融合试验,利用六种评价指标对实验结果进行评价;最后,分析总结融合算法存在的缺陷,对红外与可见光图像融合算法的发展方向进行展望。     

基于显著性检测的不同视角下红外与可见光图像融合

融合红外图像的热源目标和可见光图像的清晰背景可以实现低照度条件下与场景关联的异常行为识别。现有以特征匹配为主的融合方法,受监控场景下可见光与红外成像的尺度、视角、目标特性等差异影响,配准及融合效率及准确性受限。针对该问题,本文提出了基于显著性检测的不同视角下红外与可见光图像融合方法。通过预设热敏感目标,计算可见光与红外的视场转换模型,预先配准红外与可见光视场。使用Mask R-CNN网络提取红外图像中的行人目标显著性区域,根据视场转换模型点将每个目标区域与可见光图像局部融合。最后,通过违规入侵行为辨识为目标进行实验验证。实验表明,论文提出的融合方法能够有效地将红外图像的热敏目标信息与可见光的场景进行融合,可以准确地判断是否发生违规入侵行为。     

实时图像融合技术研究的硬件实现

在多通道多传感器图像像素级融合算法深入研究的基础上，针对可见光与长波红外图像融合的实际需要，开展其实时实现技术的研究，建立了基于高速数字信号处理器TMS320C62的实时图像融合原理实验系统，并开展了多数字信号处理器并行结构的实时图像融合系统设计与仿真研究。     

基于联合稀疏模型的图像融合方法

为了达到清晰化图像的目的,利用不同传感器获取的影像互补信息,提出一种基于联合稀疏模型的红外与可见光图像融合方法.首先使用经过学习的过完备字典将源图像联合稀疏表示成共同稀疏部分和各自的私有稀疏部分;然后设计一种新颖的融合规则对两类稀疏系数进行融合;最后使用融合后的稀疏系数和经过训练的字典重建图像.仿真实验结果表明,该方法提高了红外与可见光图像的融合效果.     

多传感器数据融合中的配准技术

配准是多传感器数据融合中的一个重要环节。文中介绍了图像配准的一般方法，配准技术在数据融合的应用，并着重介绍了基于点特征的红外／可见光图像自动配准算法。     

基于改进区域生长的红外与可见光图像融合方法

针对红外图像和可见光图像的成像特点, 提出了一种红外与可见光图像融合方法。首先, 采用改进的区域生长法, 提取红外图像目标区域。将提取到的红外目标区域映射到可见光图像中, 进行一次局部信息融合。然后, 将第一步的融合结果与原始红外图像通过一种边缘增强的小波变换融合法得到最终的融合图像。实验结果表明, 该方法得到的融合图像红外热目标突出、背景清晰, 具有良好的目视效果。     

红外轴温监测系统中的图像融合算法

针对红外轴温监测系统中可见光与红外图像分辨率相差较大时图像融合效果不理想,不利于列车热轴判定的问题,提出了一种可见光与红外伪彩图像融合的算法.该算法对红外轴温系统中的红外图像与可见光图像视场相同部分进行像素灰度复制,并对其他部分进行双线性插值,以此完成红外图像与可见光图像的像素匹配;接着对红外图像进行伪彩编码映射,在RGB三通道内对可见光与红外图像进行加权融合.实验结果表明,融合图像在色彩上更丰富,红外目标位置更准确,更便于人工辨认热轴的位置.结果满足红外轴温监测系统对红外与可见光图像的融合需求.     

光学被动热补偿方式实现红外与可见光图像融合物镜设计

图像融合的配准精度是关系到图像融合质量的一个重要性能指标。本文所述的红外与可见光图像融合物镜系统采取平行光路布局、光学被动热补偿的方式提高图像融合的配准精度。本文首先分析对比了机械热补偿方式与光学热补偿方式对提高图像配准精度的贡献;其次根据图像融合物镜系统的性能指标对红外物镜和可见光物镜进行光学被动热补偿的优化设计,并分析了对可见光物镜进行光学被动热补偿设计的必要性;第三从光学布局型式及畸变变化来分析图像融合物镜系统的图像配准精度;最后根据图像融合物镜系统的成像质量和图像配准效果,可得出融合图像质量好、能满足指标要求的结论。     

夜视环境下红外与可见光图像真彩色快速融合方法研究

为解决红外图像和可见光图像在夜视环境下成像效果不理想的问题,搭建一种由红外相机与RGB相机组合而成的具有结构简单、实时性高等特点的双目异型成像系统。利用双线程方式实时采集红外与可见光图像,针对非局部均值滤波(Non Local Mean,NLM)提出了一种基于熵的自适应h求解方法,能够较好的消除红外图像的噪声；之后将红外图像与可见光图像的特征点匹配后,引入基于斜率一致性的方法进行图像配准,最后采用改进基础图像融合规则的双尺度融合算法(Twoscale Image Fusion,TIF)以及多种融合算法将红外与可见光图像进行融合,获得目标明显、信息丰富且真实色彩的(Infrared Radiation and RGB,IR RGB)融合图像。TIF算法能够高效快速地将红外图像与可见光图像融合,在保留了可见光图像对周围环境的真实颜色信息特征的同时,又保留了红外图像温度提取的特点。分析数据可知,TIF算法的IR RGB图像的熵值提升了约514；其边缘强度均达到最大39991、 22433、 52880；相比普通的像素级融合规则,该方法的运行速度提升了10倍的量级。该研究在夜视环境下通过红外与可见光的实时成像在目标识别和监测等实际应用中具有非常重要的意义。     

基于树状小波分解的多传感器图像融合

提出了基于树状小波分解的多传感器图像融合方法,它能够在一定的能量准则下,自适应地根据图像特征进行子带分解和融合。对可见光图像与红外图像、可见光图像与毫米波图像进行融合的实验结果表明,所提出的方法比传统的金字塔形小波分解具有更好的融合效果。     

基于小波变换的红外与可见光图像融合技术研究

随着传感器技术的发展,单一的图像传感器往往不能够从场景中提取足够多的信息,需进行多源图像融合.为了解决多传感器图像所表现的目标特征不一致的问题,本文采用小波变换对红外及可见光图像进行了融合.首先利用小波变换将图像进行多尺度分解.对于高频部分融合,取两幅图像小波系数矩阵对应元素的最大绝对值构造小波系数矩阵;针对低频部分融合,采用基于领域像素相关和基于区域方差相结合的策略.实验结果表明,该算法将红外与可见光图像对同一目标所表现出的不同特征、细节有效地融合在一幅图像里,增加了单幅图像的信息量,丰富了目标的信息层次,为图像显示观察和后续图像处理系统获取信息提供了基础.     

基于帧差检测技术与区域特征的红外与可见光图像融合算法

为了提高红外图像的融合质量并降低复杂度,提出一种基于帧差检测技术与区域特征的红外与可见光图像融合算法。首先,设计帧差法对红外图像中的目标完成检测,从而进行目标分簇与图像分割;并借助帧之间的信息完成目标的准确定位;再根据目标区域的特征设计不同的融合规则,充分利用可见光和红外图像的有效信息进行互补,完成图像融合,并对融合算法的复杂度进行理论分析。同时,在可见光和红外图像中目标不可动可观察及目标可运动可观察两种条件下进行融合实验,实验结果表明,与当前图像融合技术相比,所提技术具有更高的融合质量,其融合图像能够准确反映目标和背景。     

基于NSCT红外与可见光图像融合算法优化研究

为了在一定程度上为后续图像处理提供更为有效的信息,针对红外与可见光图像融合,提出了一种改进的算法。NSCT用于分解红外图像和可见光图像,采用像素特征能量加权融合规则和邻域方差特征信息融合规则得到其低频和高频系数,最后通过逆NSCT进行图像重构得到融合图像。优化后的算法在融合图像清晰度上比Contourlet算法提高了2.22%,在图像信息丰富程度上提高近3.1%。实验结果表明,该算法可以有效地提高图像融合质量。