基于视觉显著性的可见红外图像融合

多波段图像融合可以有效综合各个波段图像中包含的特征信息。针对可见光-红外图像,本文提出了一种结合红外图像视觉显著性提取的双波段图像融合方法,一方面旨在凸显红外图像的目标信息,同时又能尽可能的保留可见光图像的丰富细节信息。首先,在局部窗口内实现红外图像的显著性图提取,并通过窗口尺寸的变化形成多尺度的显著性图,并对这些显著性图进行最大值的优选叠加,以获取能反映整幅红外图像各个尺寸目标的显著性图;其次,通过结合显著性图与红外图实现显著性图的加权增强;最后,利用增强的红外显著性图进行双波段图像的融合。通过两组对比实验,数据表明该方法给出的融合图像视觉效果好,运算速度快,客观评价值优于对比的7种融合方法。     

四波段共光轴成像实验平台及其图像融合

为获取以及充分利用场景的多波段信息,同时为多波段图像算法研究奠定基础,基于非制冷红外焦平面阵列,研制了共光轴分束的可见光+近红外、短波红外、中波红外和长波红外四波段光电成像实验平台。给出了基于四波段光电成像实验平台的图像处理案例,使用现场可编程门阵列完成各路图像的预处理与多波段图像融合。预处理过程主要包括可见光机芯盲元校正以及基于梯度域滤波的中、长波红外机芯的低频非均匀性校正,从而优化各波段的图像质量。双波段和四波段图像融合采用色彩传递的方式对YUV颜色空间中线性组合融合的图像进行色彩增强,得到更佳的自然感彩色融合图像的同时保证了算法的运行效率。使用中、长波红外进行双波段红外测温,室内黑体实验表明,在20~80℃内双波段测温的准确度明显高于单波段测温,双波段测温误差小于3.5%,单点温度波动幅度小于0.7%。外场实验结果表明,信息融合图像能有效增强人眼对场景信息的理解。四波段光电成像实验平台能够获得场景的四波段信息,经过图像融合与双波段测温加强了对场景信息的理解。     

基于DM642融合系统的A Trous小波实时图象融合算法

摘要：给出了一种基于DM642融合系统的A Trous小波实时图象融合算法。融合系统核心处理器选用了适合视频图像处理的TI最新高性能定点DSP DM642,利用DM642的600MHz高速运算能力,EDMA和EMIF高速数据传输能力,与视频编/解码单元无缝连接的灵活可配置的视频端口,构建了双波段图像融合系统平台。在此系统上,对可见光图像进行A Trous小波变换,提取出不同分解层的特征信息,将特征信息与红外图像进行融合。融合后的图像保持了可见光图像的线条及边缘特征,还融合了红外图像的目标特征。仿真实验结果表明,在融合系统平台上实现双波段图像实时融合算法只需39.46毫秒左右,满足25帧/秒的工程需求。 关 键 词：图像融合;A Trous小波;实时处理;TI 0DM642     

基于DM642融合系统的ATrous小波实时图像融合算法

给出了一种基于DM642融合系统的ATrous小波实时图像融合算法。选用适合视频图像处理的TI最新高性能定点数字信号处理器DM642作融合系统核心处理器,利用DM642的600MHz高速运算能力,EDMA和EMIF的高速数据传输能力,以及它的视频编／解码单元无缝连接的灵活可配置的视频端口,构建了双波段图像融合系统平台。在此系统上对可见光图像进行ATrous小波变换,提取出不同分解层的特征信息,将特征信息与红外图像进行融合。融合后的图像保持了可见光图像的线条及边缘特征,还融合了红外图像的目标特征。仿真实验结果表明,在融合系统平台上实现双波段图像实时融合算法只需39．46ms左右,满足25frame／s的工程需求。     

oRGB颜色空间的夜视图像彩色融合

针对红外与可见光双波段夜视图像增强提出了基于oRGB颜色空间的彩色融合算法。选择亮度与颜色分离的对立色颜色空间,应用多尺度Top-hat变换方法将红外与可见光增强融合图像作为伪彩色图像的亮度分量,根据双波段图像的差异性并结合参考图像色调构造颜色分量;为避免线性变换的颜色传递方法容易造成灰度级压缩或过饱和情况,在分析颜色传递机理的基础上,使用非线性的直方图匹配方法实现颜色传递。实验结果表明,融合图像的颜色分布更自然,纹理细节、整体亮度和对比度等视觉特征表现更优。     

基于DM642融合系统的A Trous小波实时图像融合算法

给出了一种基于DM642融合系统的A Trous小波实时图像融合算法.选用适合视频图像处理的TI最新高性能定点数字信号处理器DM642作融合系统核心处理器,利用DM642的600 MHz高速运算能力,EDMA和EMIF的高速数据传输能力,以及它的视频编/解码单元无缝连接的灵活可配置的视频端口,构建了双波段图像融合系统平台.在此系统上对可见光图像进行A Trous小波变换,提取出小同分解层的特征信息,将特征信息与红外图像进行融合.融合后的图像保持了可见光图像的线条及边缘特征,还融合了红外图像的目标特征.仿真实验结果表明,在融合系统平台上实现双波段图像实时融合算法只需39.46 ms左右,满足25 frame/s的工程需求.     

采用显著性分析与改进边缘方向直方图特征的红外与可见光图像配准

为了实现红外图像与可见光图像的信息融合,弥补单一模态图像的不足,提出了一种基于显著性分析与改进的边缘方向直方图EOH(Edge Orientation Histogram)特征的红外与可见光图像配准算法。该算法首先利用显著性分析技术找到可见光图像中的重要信息,得到显著性图;将其与可见光图像融合,实现可见光图像中重要信息的划分。然后,利用自适应FAST(Features from Accelerated Segment Test)算法,探测可见光与红外图像上的特征点;利用改进的EOH,描述特征点。最后,根据描述计算特征点的相似性,在可见光与红外图像上找出对应的特征点,实现红外与可见光图像的匹配。在3种不同情况下对红外与可见光图像数据进行了配准实验。结果表明:在红外图像与可见光图像采集条件相似情况下,特征点正确匹配率为96.55%,而在图像采集条件差异较大的情况下,特征点正确匹配率可达74.21%。该算法可实现红外与可见光图像的精确快速匹配,即使红外图像与可见光图像采集的角度与位置均存在较大差异的情况下,仍可以满足红外与可见光图像匹配对精度和稳定性的要求。     

基于快速交替引导滤波和CNN的红外与可见光图像融合

为了解决红外与可见光图像融合中出现细节信息丢失,边缘模糊以及伪影的问题,本文提出一种快速交替引导滤波,在保证融合图像质量的前提下有效提高运行效率,结合CNN（卷积神经网络）以及红外特征提取进行有效的融合。首先,对源图像利用四叉树分解和贝塞尔插值来提取红外亮度特征结合可见光图像得到初始融合图像。其次,通过快速交替引导滤波获取源图像的基础层与细节层信息,基础层通过CNN与拉普拉斯变换得到融合后的基础图像,细节层通过显著性测量的方法得到融合后的细节图像。最后,将初始融合图、基础融合图以及细节融合图进行相加得到最终融合结果。本算法涉及到的快速交替引导滤波以及特征提取性能使得最终融合结果中包含丰富的纹理细节信息,边缘清晰。经实验表明,本算法所得融合结果在视觉方面具有较好的保真度,客观评价指标较对比方法其信息熵、标准差、空间频率、小波特征互信息、视觉保真度以及平均梯度分别平均提高了9.9%,6.8%,43.6%,11.3%,32.3%,47.1%。     

结合分数阶显著性检测及量子烟花算法的NSST域图像融合

针对传统红外与可见光图像融合算法中存在的细节纹理信息不够清晰,边缘信息保留不够充分等问题,提出一种基于分数阶显著性及改进量子烟花算法的非下采样Shearlet变换(NSST)域图像融合方法。首先对红外与可见光图像进行NSST分解,低频分量先进行基于分数阶微分增强的显著性检测;然后按照显著图匹配度的融合规则进行融合,高频子带采用梯度变化和灰度差异加权策略进行融合;接着对量子烟花算法进行改进,并对高低频融合参数进行优化;最后输出最佳的融合图像。通过实验表明:基于分数阶微分增强的显著性检测具有较好的视觉显著效果,改进量子烟花算法的寻优能力强、收敛效率高,所提方法得到的融合图像有效地综合红外与可见光图像中的细节信息,与现有方法相比具有较好的融合效果,且自适应能力强、无需人工干预。     

结合目标提取和压缩感知的红外与可见光图像融合

针对红外与可见光图像融合易受噪声干扰从而使目标信息减弱的问题,提出了一种基于目标区域提取和压缩感知的融合算法。首先,在频率域上对红外图像进行显著区域检测得到其对应的显著度图,并在显著图指导下结合区域生长法提取红外图像的目标区域,有效抑制噪声与复杂背景的干扰。然后,用非下采样剪切波变换对待融合的图像进行分解,采用不同的融合策略分别对目标与背景区域的高、低频子带进行融合。针对背景区域提出一种新的基于多分辨率奇异值分解和压缩感知的融合规则,最后,进行非下采样剪切波逆变换得到融合图像。与其他算法的对比实验结果表明,本文算法能更好地突出目标区域,保留图像细节信息,抑制噪声干扰;图像质量评价指标中的信息熵、标准差、互信息、边缘保持度分别提高了3.94%,19.14%,9.96%和8.52%。     

Infrared and Visible Images Fusion with Multi-visual Cues

Image fusion is an important technique which combines the original information from multiple input images into a single composite image. The fused images will be more beneficial to human visual perception or further computer processing tasks than any individual input. Most of the traditional infrared and visible fusion approaches perform the fusion on the assumption that the original information is measured by local saliency features such as contrast or gradient. There is little consideration of the “interesting” or “useful” information in global. In this paper, an infrared and visible image fusion method is proposed by considering the final aim of image fusion, the human visual perception and further image processing tasks. The fusion is implemented under the non-subsampled contourlet transform based image fusion framework. The low frequency sub-band coefficients which represent the intensity of the scene are fused with the weight map which is constructed by considering both visual saliency uniqueness and task-oriented objectness, and refined by spatial consistency with guide filter. The new fusion strategy ensures that the objects being “interesting” or “useful” are preserved in the fused image. Sixteen pairs of infrared and visual images are used to test the validation of the proposed method. The experimental results show obvious improvement of the proposed method in terms of both objective and subjective quality measurements corresponding to other methods.     

改进的响尾蛇双模式细胞模型的图像融合

由于基于经典Waxman融合模型得到的伪彩色融合图像目标不够清晰,本文提出了一种改进的感受野融合模型。对红外图像和可见光图像分别进行了ON对抗增强和OFF对抗增强;将红外ON对抗增强图像馈入中心-环绕感受野模型的中心兴奋区域,可见光OFF对抗增强图像馈入环绕抑制区,得到融合图像的B分量;将红外OFF对抗增强图像馈入中心-环绕感受野模型的环绕抑制区域,可见光ON对抗增强图像馈入中心兴奋区,得到融合图像的G分量;将可见光ON对抗增强图像直接作为融合图像的R分量;然后,输出RGB伪彩色融合图像。最后,用Waxman方法和本文提出的方法分别对两组源图像进行融合,并用信息熵和平均梯度对融合结果进行了评价。结果表明,采用提出的模型,第一组融合图像的信息熵和平均梯度比Waxman融合模型分别高出0.314 6和0.004 1,第二组融合图像的信息熵和平均梯度比Waxman融合模型分别高出0.255 1和0.002 7。得到的数据显示本文提出的融合模型的融合效果优于经典Waxman模型。     

基于WEMD和生成对抗网络重建的红外与可见光图像融合

针对红外与可见光图像融合中边缘模糊、对比度较低的问题,提出一种二维窗口经验模式分解(WEMD)和生成对抗网络重建的红外与可见光图像融合算法.将红外和可见光图像进行WEMD分解得到内蕴模式函数分量和残余分量,将内蕴模式函数分量通过主成分分析进行融合,残余分量用加权平均进行融合,重构得到初步融合图像,再将初步融合图像输入生...     

视觉注意机制下的粒子窗快速目标检测

针对传统滑动窗目标检测方法需要在全图像范围内穷举搜索的缺点,提出了一种基于视觉注意机制的粒子窗检测方法,旨在保持较高检测精度的同时减少计算量。该方法将目标显著性作为先验知识引入搜索过程,采用"图像签名"方法生成显著图,然后通过阈值门限提取出包含有目标真实位置的局部区域。利用蒙特卡洛采样在显著目标对应的图像范围内均匀生成粒子窗,并依据分类器的响应对粒子进行重采样,以凸显真实目标区域、避免滑动窗方法对搜索步长的依赖。建立了Adaboost+类Harr特征(HLF)和支持向量机(SVM)+方向梯度直方图(HOG)的多级分类器结构,前级分类器用于大范围目标的快速筛选,后级分类器用于小范围目标的精确定位。将本文目标检测模型与传统滑动窗法和粒子窗法进行了比较,结果表明本文方法的受试者工作特征曲线(ROC)包含的面积更大,耗时仅为滑动窗法的1/3到1/4,粒子窗法的1/2,在保持较高检测精度的条件下显著提升了检测速度,实现了快速准确的目标检测。     

基于显著性图像边缘的全参考图像质量评价

大部分图像质量评价算法仅研究图像的灰度值及信息内容,没有充分考虑人眼视觉特性对图像质量评价的影响,针对此问题提出了一种基于显著性图像边缘的全参考图像质量评价方法。利用显著性图像表征图像的视觉关注内容,然后提取显著性图像的边缘检测图,得到人眼关注的结构和边缘,最后计算参考图像与失真图像边缘检测图之间的汉明距离得到图像质量评价指标。实验结果表明本文提出的评价指标满足人眼视觉特性,对于各种失真类型有非常高的主观一致性,评价性能也优于很多其他指标。     

纹理粗糙度在红外图像显著性检测中的应用

提出了基于纹理粗糙度的红外图像显著性检测算法,以解决红外图像对比度低,目标显著性检测难的问题。首先,研究了Tamura的粗糙度原理,对粗糙度进行分析和评价,提出了新的粗糙度计算方法。然后,将图像分解为超级像素集合,并计算超级像素的最大平均强度差;利用最大平均强度差定义超级像素的最佳尺度,作为纹理粗糙度的度量。最后,将超级像素区域均匀外延,利用粗糙度的局部对比度和灰度信息度量红外图像的显著性。通过实验验证了本文算法的有效性,结果表明:在10%的噪声水平下,本文粗糙度保持不变,粗糙度特征图一致性较好,而Tamura的粗糙度特征图中杂点明显增多。与其它显著性检测算法对比,本文算法击中率最高,为0.752。该算法挖掘了红外图像的纹理粗糙度特征,为红外图像显著性检测提供了新的特征选择。     

基于补偿机制的NSCT域红外与可见光图像融合

针对传统基于非下采样Contourlet变换和脉冲耦合神经网络的图像融合方法易出现图像失真的缺点,本文提出一种基于小波变换与PCNN补偿的NSCT域内红外与可见光图像融合方法。首先将红外和可见光图像分别进行NSCT分解,得到低频分量和高频分量;然后对低频分量进行二维小波分解,得到1个低频子带和3个方向子带,对其低频子带采用局部能量加权的方法进行融合,其余3个子带采用绝对值取大的方法进行融合;NSCT分解的高频子带融合规则分为对最高层的融合和其他层的融合,最高层采用绝对值取大的方法进行融合,而其余层采用的是基于改进型的PCNN的方法进行融合;最后将得到的低频子带和高频子带进行NSCT重构获得融合图像。合成及真实图像集实验结果表明,本文算法相对于传统的融合方法增加了图像的纹理和细节信息,有效地抑制了图像失真问题,具有较高的融合精度与较快的融合效率。     

基于边缘检测小波变换的红外与可见光图像融合方法

简要地论述了图像融合中主要的三种像素级融合算法,即简单方法、基于塔形分解以及基于小波分解的融合方法,在现有的红外与可见光图像融合方法之上,提出了以边缘检测为基础的一种小波变换图像融合方法,并对融合效果进行了评价。实验结果表明,经该方法对红外与可见光图像的融合可以提供更多、更有效的信息,提高了图像的分辨效果和人眼对场景目标的发现和识别概率,融合效果较为理想。