自注意力引导的红外与可见光图像融合算法

为确保源图像中的显著区域在融合图像保持显著,提出了一种自注意力引导的红外与可见光图像融合方法。在特征学习层引入自注意力学习机制获取源图像的特征图和自注意力图,利用自注意力图可以捕获到图像中长距离依赖的特性,设计平均加权融合策略对源图像的特征图进行融合,最后将融合后的特征图进行重构获得融合图像。通过生成对抗网络实现了图像特征编码、自注意力学习、融合规则和融合特征解码的学习。TNO真实数据上的实验表明,学习到注意力单元体现了图像中显著的区域,能够较好地引导融合规则的生成,提出的算法在客观和主观评价上优于当前主流红外与可见光图像融合算法,较好地保留了可见光图像的细节信息和红外图像的红外目标信息。     

结合信息感知与多尺度特征的红外与可见光图像融合

现有的基于深度学习图像融合算法无法同时满足融合效果与运算效率,且在建模过程中大部分采用基于单一尺度的融合策略,无法很好地提取源图像中上下文信息。为此本文提出了一种基于信息感知与多尺度特征结合的端到端图像融合网络。该网络由编码器、融合策略和解码器组成。具体来说,通过编码器提取红外与可见光图像的多尺度特征,并设计特征增强融合模块来融合多个尺度的不同模态特征,最后设计了一个轻量级的解码器将不同尺度的低级细节与高级语义信息结合起来。此外,利用源图像的信息熵构造一个信息感知损失函数来指导融合网络的训练,从而生成具有丰富信息的融合图像。在TNO、MSRS数据集上对提出的融合框架进行了评估实验。结果表明：与现有的融合方法相比,该网络具有较高计算效率;同时在主观视觉评估和客观指标评价上都优于其它方法。     

基于多尺度局部极值分解与ResNet152的红外与可见光图像融合

为了进一步提升红外与可见光图像融合方法的性能 ,本文提出了一种基于多尺度局部极值分解与深度学习网络ResNet152的红外与可见光图像融合方法。首先,利用多尺度局部极值分解 (multiscale local extrema decomposition,MLED)方法将源图像分解为近似图像和细节图 像,分离 出源图像中重叠的重要特征信息。然后采用残差网络ResNet152深度提取源图像的多维显著 特征, 以l₁-范数作为活性测度生成显著特征图,对近似图像进行加权平均融合,以保持能量和残 留细节 信息不丢失。在细节图像中,利用“系数绝对值取大”规则获得初始决策图,源图像作为引 导图像, 初始决策图作为输入图像进行引导滤波处理,得到优化决策图,计算加权局部能量得到能量 显著 图,对细节图像进行加权平均融合,使融合图像具有丰富的纹理细节和良好的视觉边缘感知 。最 后,对近似融合图像和细节融合图像进行重构,得到融合图像。实验结果表明,与现有的典 型融 合方法相比,本文所提出的融合方法在客观评价和视觉感受方面都取得了最好的效果。     

基于低尺度细节恢复的单幅图像阴影去除方法

为了在光照复杂、纹理丰富的图像上获得更好的去阴影效果,基于生成对抗网络提出了一种新颖的阴影去除方法.首先,所提网络中的阴影检测子网为阴影图像生成阴影掩膜,基于该检测结果提出一种光照敏感的多尺度图像分解方法,在几乎不损失光照信息的同时提取图像纹理信息;然后,蒙版生成子网为分解后的低尺度图像生成相应的蒙版用于去除其中阴影;其次,边界复原子网修复阴影边界实现友好的过渡;最后,使用自适应衰减因子引导图像进行细节恢复以得到纹理丰富的结果.实验结果表明所提方法可以有效地提高阴影去除效果.     

结合多尺度深度学习网络和Retinex理论的低光照图像增强算法

针对低光照增强任务缺乏参考图像及现有算法存在的色彩失真、纹理丢失、细节模糊、真值图像获取难等问题,本文提出了一种基于Retinex理论与注意力机制的多尺度加权特征低光照图像增强算法。该算法通过基于Unet架构的特征提取模块对低光照图像进行多尺度的特征提取,生成高维度的多尺度特征图;建立注意力机制模块凸显对增强图像有利的不同尺度的特征信息,得到加权的高维特征图;最后反射估计模块中利用Retinex理论建立网络模型,通过高维特征图生成最终的增强图像。设计了一个端到端的网络架构并利用一组自正则损失函数对网络模型进行约束,摆脱了参考图像的约束,实现了无监督学习。最终实验结果表明本文算法在增强图像的对比度与清晰度的同时维持了较高的图像细节与纹理,具有良好的视觉效果,能够有效增强低光照图像,视觉质量得到较大改善;并与其他多种增强算法相比,客观指标PSNR和SSIM得到了提高。     

基于边缘保持和注意力生成对抗网络的红外与可见光图像融合

由于红外与可见光图像特征差异大,并且不存在理想的融合图像监督网络学习源图像与融合图像之间的映射关系,深度学习在图像融合领域的应用受到了限制。针对此问题,提出了一个基于注意力机制和边缘损失函数的生成对抗网络框架,应用于红外与可见光图像融合。通过引入对抗训练和注意力机制的思想,将融合问题视为源图像和融合图像对抗的关系,并结合了通道注意力和空间注意力机制学习特征通道域和空间域的非线性关系,增强了显著性目标特征表达。同时提出了一种边缘损失函数,将源图像与融合图像像素之间的映射关系转化为边缘之间的映射关系。多个数据集的测试结果表明,该方法能有效融合红外目标和可见光纹理信息,锐化图像边缘,显著提高图像清晰度和对比度。     

先验引导的特征金字塔阴影检测网络

阴影检测向来是计算机视觉领域的一个基础性挑战。它需要网络理解图像的全局语义和局部细节信息。本文提出了一种检测阴影区域的先验特征金字塔网络结构。该网络搭建了先验加权模块来提取图像中蕴含的阴影先验信息,通过使用阴影先验信息加权卷积特征,引导网络学习到阴影区域。同时,该网络还应用了特征融合模块来融合粗略的语义信息和自上而下路径中的精细特征,并且加入了后处理,进一步优化网络的预测结果。本文在两个公开的阴影检测基准数据集上进行了实验来评估其网络性能。实验表明,本文的方法能够更准确地检测到阴影,和过去最先进的方法相比也表现出色,在SBU数据集上正确率达到了96.6%,平衡检测错误因子为6.22。      

基于Choquet模糊积分的运动目标检测算法

本文提出了一种基于Choquet模糊积分的运动目标检测算法（CIMOD, Choquet Integrate-based Moving Object Detection）。将模糊测度和模糊积分理论应用于运动目标与背景分类中,提出了自适应阈值的Choquet积分算法,实现了图像的颜色特征和纹理特征相融合;选择YCbCr颜色空间代替传统RGB空间,将图像亮度与色度分离,降低了光照变化对运动检测的影响;利用局部二元模式（LBP,Local Binary Pattern）纹理特征对亮度级的单调的变化具有不变性的特点,将其融合到检测算法中,有效抑制了阴影的干扰。仿真实验结果表明,即使在光照变化、阴影干扰等复杂背景情况下,该算法也能够准确的检测出运动区域。     

基于图像退化模型的红外与可见光图像融合方法

基于深度学习的红外与可见光图像融合算法依赖人工设计的相似度函数衡量输入与输出的相似度,这种无监督学习方式不能有效利用神经网络提取深层特征的能力,导致融合结果不理想。针对该问题,该文首先提出一种新的红外与可见光图像融合退化模型,把红外和可见光图像视为理想融合图像通过不同退化过程后产生的退化图像。其次,提出模拟图像退化的数据增强方案,采用高清数据集生成大量模拟退化图像供训练网络。最后,基于提出的退化模型设计了简单高效的端到端网络模型及其网络训练框架。实验结果表明,该文所提方法不仅拥有良好视觉效果和性能指标,还能有效地抑制光照、烟雾和噪声等干扰。     

改进生成对抗网络实现红外与可见光图像融合

红外与可见光图像融合技术能够同时提供红外图像的热辐射信息和可见光图像的纹理细节信息,在智能监控、目标探测和跟踪等领域具有广泛的应用。两种图像基于不同的成像原理,如何融合各自图像的优点并保证图像不失真是融合技术的关键,传统融合算法只是叠加图像信息而忽略了图像的语义信息。针对该问题,提出了一种改进的生成对抗网络,生成器设计了局部细节特征和全局语义特征两路分支捕获源图像的细节和语义信息;在判别器中引入谱归一化模块,解决传统生成对抗网络不易训练的问题,加速网络收敛;引入了感知损失,保持融合图像与源图像的结构相似性,进一步提升了融合精度。实验结果表明,提出的方法在主观评价与客观指标上均优于其他代表性方法,对比基于全变分模型方法,平均梯度和空间频率分别提升了55.84%和49.95%。     

面向双模态红外图像融合算法选取的联合可能性落影构造

针对现实场景中双模态红外图像融合对异类差异特征协同优化融合的需求,且现有差异特征属性无法根据差异特征多个属性的变化针对性地调整融合算法进行有效驱动,导致融合效果差的问题,提出了面向双模态红外图像融合算法选取的联合可能性落影构造方法。首先计算双模态红外图像多融合算法下不同差异特征的融合有效度、统计差异特征分布特性;再构造差异特征融合有效度的可能性分布,通过最小二乘估计法拟合可能性分布函数;然后通过择优比较法对不同差异特征融合有效度的可能性分布进行对比分析,确定差异特征可能性分布函数投影权重,构造联合可能性落影函数;最后分析联合可能性落影函数截集水平,结合差异特征分布特性构建融合性能指标动态选取最优融合算法。实验结果表明,本文方法所选出的最优融合算法在主客观综合分析上优于其他算法,验证了本文将联合可能性落影运用于双模态红外图像最优融合算法选取中有效性和合理性。     

A Multi-Condition Relighting with Optimal Feature Selection to Robust Face Recognition with Illumination Variation

In this paper, we proposed a new approach for face recognition with robust to illumination variation. The improved performance to various lights in recognition is obtained by a novel combination of multi- condition relighting and optimal feature selection. Multi-condition relighting provides a ＂coarse＂ compensation for the variable illumination, and then the optimal feature selection further refines the compensation, and additionally offers the robustness to shadow and highlight, by deemphasizing the local mismatches caused by imprecise lighting compensation, shadow or highlight on recognition. For evaluation, two databases with various illumination mismatches have been used. The results have demonstrated the improved robustness of the new methods.     

红外与可见光图像多尺度Transformer融合方法

目前主流的深度融合方法仅利用卷积运算来提取图像局部特征,但图像与卷积核之间的交互过程与内容无关,且不能有效建立特征长距离依赖关系,不可避免地造成图像上下文内容信息的丢失,限制了红外与可见光图像的融合性能。为此,本文提出了一种红外与可见光图像多尺度Transformer融合方法。以Swin Transformer为组件,架构了Conv Swin Transformer Block模块,利用卷积层增强图像全局特征的表征能力。构建了多尺度自注意力编码-解码网络,实现了图像全局特征提取与全局特征重构;设计了特征序列融合层,利用SoftMax操作计算特征序列的注意力权重系数,突出了源图像各自的显著特征,实现了端到端的红外与可见光图像融合。在TNO、Roadscene数据集上的实验结果表明,该方法在主观视觉描述和客观指标评价都优于其他典型的传统与深度学习融合方法。本方法结合自注意力机制,利用Transformer建立图像的长距离依赖关系,构建了图像全局特征融合模型,比其他深度学习融合方法具有更优的融合性能和更强的泛化能力。     

Object-based change detection method for high-resolution remote sensing image combining shadow compensation and multi-scale fusion

As an interpreting symbol of remote sensing images,shadow,however,brings about “pseudo changes”,which is one of the main sources leading to error detection in high-resolution remote sensing image change detection.For this issue,an object-based high-resolution remote sensing image change detection method was proposed combining with shadow compensation and multi-scale fusion.In the object orientation detection framework,the shadows in the remote sensing images were extracted.Then multi-scale change detection was conducted with shadow compensation.In the process,an objective function was constructed of mutual scale information minimization to realize the adaptive extraction of scale parameters.Based on this,combined with the shadow compensation factor,a multi-scale decision-level fusion strategy built on D-S theory of evidence was designed,and the levels of change intensity were further divided.The experiments show that the method is effective in solving the error detection problem caused by shadow,significantly improving the precision of change detection.     

Shadow detection via multi-scale feature fusion and unsupervised domain adaptation

Shadow detection is significant for scene understanding. As a common scenario, soft shadows have more ambiguous boundaries than hard shadows. However, they are rarely present in the available benchmarks since annotating for them is time-consuming and needs expert help. This paper discusses how to transfer the shadow detection capability from available shadow data to soft shadow data and proposes a novel shadow detection framework (MUSD) based on multi-scale feature fusion and unsupervised domain adaptation. Firstly, we set the existing labeled shadow dataset (i.e., SBU) as the source domain and collect an unlabeled soft shadow dataset (SSD) as the target domain to formulate an unsupervised domain adaptation problem. Next, we design an efficient shadow detection network based on the double attention module and multi-scale feature fusion. Then, we use the global–local feature alignment strategy to align the task-related feature distributions between the source and target domains. This allows us to obtain a robust model and achieve domain adaptation effectively. Extensive experimental results show that our method can detect soft shadows more accurately than existing state-of-the-art methods.     

基于二代curvelet与wavelet变换的自适应图像融合

针对同一场景红外图像与可见光图像的融合问题,提出了一种基于二代curvelet与wavelet变换的自适应图像融合算法。首先对源图像进行快速离散curvelet变换,得到不同尺度与方向下的粗尺度系数和细尺度系数;根据红外图像与可见光图像的不同物理特性以及人类视觉系统特性,对不同尺度与方向下的粗尺度系数和细尺度系数采用基于离散小波变换的图像融合方法,在小波域中,对低频系数采用基于红外图像与可见光图像的不同物理特性的自适应融合规则,对高频系数采用基于邻域方向对比度与局部区域匹配度相结合的自适应融合规则,然后进行小波逆变换得到融合的curvelet系数;最后,进行快速离散curvelet逆变换得到融合图像。实验结果表明,该方法能够更加有效、准确地提取图像中的特征,是一种有效可行的图像融合算法。     

基于RGF和改进自适应Unit-Linking PCNN的红外与可见光图像融合

为了进一步提高融合图像的对比度和清晰度,提 出一种基于RGF(Rolling Guidance Filter)和改进自适应Unit-Linking PCNN(Unit-Lin king Pulse Coupled Neural Net work)的红外与可见光图像融合方法。首先,源图像利用RGF和高斯滤波器进行多尺度分解。 然后,针对基础层通过计算其最大区域能量,提出了将最大区域能量与源图像相结合的融合 规则;针对细节层利用改进的自适应Unit-Linking PCNN进行处理,得到相应的神经元点火 频率图,计算每个像素点火频率图的边缘特征,并选择两者边缘特征较大的系数作为融合图 像系数。最后,利用多尺度重构融合图像。实验结果表明,本文融合算法能较好地突出图像 的目标信息,提供丰富的背景细节,在图像的清晰度和人眼视觉效果方面取得较好的融合效 果。     

基于双引导滤波的红外和可见光图像融合算法

图像融合是将多幅图像中有用或互补信息整合成一幅图像的过程。本文提出了一种基于引导滤波多尺度分解的红外和可见光图像融合算法。在传统的引导滤波图像融合算法的基础之上,利用双引导滤波器代替均值滤波器将源图像分解为小尺度纹理细节、大尺度边缘和基础图像;直接利用纹理细节及边缘层图像构建显著性映射图,用其代替额外的特征提取操作,可很好地突出源图像显著性信息的同时大大降低算法复杂度;利用显著性映射图、Sigmoid函数构造权重图,将源图像中具有视觉意义的信息注入到融合图像中;利用色彩模型转换融合方式,可更好保留图像的色彩信息。定性和定量实验结果证明,相比于传统的基于引导滤波的图像融合算法,本文算法的融合效果得到进一步提升。     

A categorization of multiscale-decomposition-based image fusionschemes with a performance study for a digital camera application

The objective of image fusion is to combine information from multiple images of the same scene. The result of image fusion is a single image which is more suitable for human and machine perception or further image-processing tasks. In this paper, a generic image fusion framework based on multiscale decomposition is studied. This framework provides freedom to choose different multiscale decomposition methods and different fusion rules. The framework includes all of the existing multiscale-decomposition-based fusion approaches we found in the literature which did not assume a statistical model for the source images. Different image fusion approaches are investigated based on this framework. Some evaluation measures are suggested and applied to compare the performance of these fusion schemes for a digital camera application. The comparisons indicate that our framework includes some new approaches which outperform the existing approaches for the cases we consider