基于自适应特征融合的红外与可见光图像融合算法

当下流行的基于自编码网络的图像融合算法不仅需要对提取到的特征设计复杂的融合规则以解码出融合图像,设计的融合策略也无法适用于多样化的场景.针对以上问题,提出了一种自适应特征融合的红外与可见光图像融合算法以端到端的方式输出融合图像,避免了复杂融合规则的设计且具有较好的鲁棒性.网络利用自编码模块提取出图像的特征,对特征级联后...     

红外与可见光图像多特征自适应融合方法

由于成像机理不同,红外图像以像素分布表征典型目标,而可见光图像以边缘和梯度描述纹理细节,现有的融合方法不能依据源图像特征自适应变化,造成融合结果不能同时保留红外目标特征与可见光纹理细节。为此,本文提出红外与可见光图像多特征自适应融合方法。首先,构建了多尺度密集连接网络,可以有效聚合所有不同尺度不同层级的中间特征,利于增强特征提取和特征重构能力。其次,设计了多特征自适应损失函数,采用VGG-16网络提取源图像的多尺度特征,以像素强度和梯度为测量准则,以特征保留度计算特征权重系数。多特征自适应损失函数监督网络训练,可以均衡提取源图像各自的特征信息,从而获得更优的融合效果。公开数据集的实验结果表明,该方法在主、客观评价方面均优于其他典型方法。     

红外与可见光图像多尺度Transformer融合方法

目前主流的深度融合方法仅利用卷积运算来提取图像局部特征,但图像与卷积核之间的交互过程与内容无关,且不能有效建立特征长距离依赖关系,不可避免地造成图像上下文内容信息的丢失,限制了红外与可见光图像的融合性能。为此,本文提出了一种红外与可见光图像多尺度Transformer融合方法。以Swin Transformer为组件,架构了Conv Swin Transformer Block模块,利用卷积层增强图像全局特征的表征能力。构建了多尺度自注意力编码-解码网络,实现了图像全局特征提取与全局特征重构;设计了特征序列融合层,利用SoftMax操作计算特征序列的注意力权重系数,突出了源图像各自的显著特征,实现了端到端的红外与可见光图像融合。在TNO、Roadscene数据集上的实验结果表明,该方法在主观视觉描述和客观指标评价都优于其他典型的传统与深度学习融合方法。本方法结合自注意力机制,利用Transformer建立图像的长距离依赖关系,构建了图像全局特征融合模型,比其他深度学习融合方法具有更优的融合性能和更强的泛化能力。     

红外与可见光图像多特征自适应融合方法

为解决可见光图像可视性差与如何精确控制可见光与红外图像输入量的问题,本文提出一种结合图像自适应增强与独立性、聚焦度、对象性等显著性检测的可见光与红外图像融合算法。首先在可见光图像中引入自适应增强算法提高图像纹理细节的可见性,并对红外图像归一化处理,其次将处理后的图像利用引导滤波分解为细节层与基础层,利用显著性检测生成细节层的权重图,提高细节层中可见光图像背景信息与红外图像边缘信息的精确融合量,最终将依据权重值融合后的细节层与基础层组合得到最终的融合图像。为验证本文算法的优越性,选取图像熵、平均梯度、边缘强度、空间频率、视觉保真度、平均灰度等6种融合评价指标对融合图像定量分析,并利用YOLO v5（You Only Look Once）网络对各融合算法进行目标检测,结果表明本文算法在融合定性评价、定量评价与目标检测评价指标平均精度中达到最优。     

模态自适应的红外与可见光图像融合

为解决低照度和烟雾等恶劣环境条件下融合图像目标对比度低、噪声较大的问题,提出一种模态自适应的红外与可见光图像融合方法(mode adaptive fusion,MAFusion).首先,在生成器中将红外图像与可见光图像输入自适应加权模块,通过双流交互学习二者差异,得到两种模态对图像融合任务的不同贡献比重;然后,根据各模...     

基于SURF-HOG与显著性特征的红外可见光图像配准融合北大核心CSCD

针对现有红外与可见光图像配准不精确,边缘及细节纹理缺失,融合时间较长,不能突出重点目标等不足,提出一种基于SURF-HOG描述符与红外显著性特征的红外与可见光图像融合方法。首先,在红外与可见光图像配准阶段,在SURF(Speed-Up Robust Features,SURF)框架内构建基于HOG(Histogram of Oriented Gradient,HOG)的特征点描述符,并通过NNDR(Nearest Neighbor Distance Ratio,NNDR)进行红外与可见光图像的特征点匹配;其次,在显著特征提取阶段,先通过四叉树算法对源红外图像分解,然后通过贝塞尔插值法重建红外图像背景,接着分别对红外图像中的背景及目标进行自适应抑制以提取目标红外显著性特征;最后,结合已配准的可见光图像与重建后的红外图像以获取最终融合结果。实验结果表明,所提方法对不同场景下的红外与可见光图像具有较高的配准精度,不同场景下的融合结果不但主观视觉上具有显著的目标特征,同时背景纹理和边缘细节清晰,整体对比度适宜,运行时间最短,并且在客观评价指标上也取得了较好的效果。     

结合信息感知与多尺度特征的红外与可见光图像融合

现有的基于深度学习图像融合算法无法同时满足融合效果与运算效率,且在建模过程中大部分采用基于单一尺度的融合策略,无法很好地提取源图像中上下文信息。为此本文提出了一种基于信息感知与多尺度特征结合的端到端图像融合网络。该网络由编码器、融合策略和解码器组成。具体来说,通过编码器提取红外与可见光图像的多尺度特征,并设计特征增强融合模块来融合多个尺度的不同模态特征,最后设计了一个轻量级的解码器将不同尺度的低级细节与高级语义信息结合起来。此外,利用源图像的信息熵构造一个信息感知损失函数来指导融合网络的训练,从而生成具有丰富信息的融合图像。在TNO、MSRS数据集上对提出的融合框架进行了评估实验。结果表明：与现有的融合方法相比,该网络具有较高计算效率;同时在主观视觉评估和客观指标评价上都优于其它方法。     

基于多尺度和注意力模型的红外与可见光图像融合

针对红外与可见光图像在融合后容易出现伪影,小目标轮廓不清晰等问题,提出一种基于多尺度特征与注意力模型相结合的红外与可见光图像融合算法。通过5次下采样提取源图像不同尺度的特征图,再将同一尺度的红外与可见光特征图输入到基于注意力模型的融合层,获得增强的融合特征图。最后把小尺度的融合特征图进行5次上采样,再与上采样后同一尺度的特征图相加,直到与源图像尺度一致,实现对特征图的多尺度融合。实验对比不同融合框架下融合图像的熵、标准差、互信息量、边缘保持度、小波特征互信息、视觉信息保真度以及融合效率,本文方法在多数指标上优于对比算法,且融合图像目标细节明显轮廓清晰。     

基于Transformer和空间注意力的红外与可见光图像融合

目前,已经有很多研究人员将卷积神经网络应用到红外与可见光图像融合任务中,并取得了较好的融合效果。其中有很多方法是基于自编码器架构的网络模型,这类方法通过自监督方式进行训练,在测试阶段需要采用手工设计的融合策略对特征进行融合。但现有的基于自编码器网络的方法很少能够充分地利用浅层特征和深层特征,而且卷积神经网络受到感受野的限制,建立长距离依赖较为困难,因而丢失了全局信息。而Transformer借助于自注意力机制,可以建立长距离依赖,有效获取全局上下文信息。在融合策略方面,大多数方法设计的较为粗糙,没有专门考虑不同模态图像的特性。因此,在编码器中结合了CNN和Transformer,使编码器能够提取更加全面的特征。并将注意力模型应用到融合策略中,更精细化地优化特征。实验结果表明,该融合算法相较于其他图像融合算法在主观和客观评价上均取得了优秀的结果。     

基于多尺度分解和显著性区域提取的可见光红外图像融合方法北大核心CSCD

可见光红外图像融合技术对于提升成像区域的信息丰富程度具有重要意义。提出了一种基于多尺度分解和显著性区域提取的可见光红外图像融合算法。利用边缘保持的图像平滑算法,构建了多尺度图像分解框架,将图像分解为不同尺度的基础层图像和若干细节层图像,同时结合导向滤波器,在每个分解图层实施显著性区域提取。通过加权重建进行融合信息的视觉增强,得到最终的融合结果。针对不同融合算法和图像库开展了主客观评价对比实验,结果表明:所提出的算法具有较好的主客观评价结果,算法融合效果表现优异,适用性较好。     

基于特征融合的可见光与红外图像目标检测

为提升目标检测任务在复杂环境下的识别效果,提出了一种基于特征融合的红外与可见光目标检测方法。该方法首先采用并列的卷积神经网络分别提取红外和可见光特征信息,并利用通道和空间注意力机制提升有效特征的权重;其次,为充分利用红外和可见光特征进行信息互补,设计了特征自适应融合结构,以自主学习方式将红外与可见光特征以最优方式加权融合;最后,针对不同尺度目标,通过交替采样方式充分融合深层和浅层特征,保障各维度目标检测效果。通过实验表明,所提方法可以充分利用并融合不同模式、尺度的目标特征信息,实现目标准确识别及定位。同时,在实际电网设备检测中,该方法也体现出较优的鲁棒性和泛化性。     

数据同化框架下红外与可见光图像的可控融合

针对现有图像融合方法的规则不易根据融合图像的后续使用要求进行自适应调整,并且各种方法的优点不易综合的问题,提出一种数据同化框架下的基于粒子群优化(PSD)和差分进化(DE)算法的融合方法。该方法把比率低通金字塔变换作为数据同化系统的模型算子,把非下采样的Contourlet变换(NSCT,nonsubsampled contourlet transform)作为观测算子,根据后续处理对图像各个属性指标值的依赖程度构造目标函数,再利用PSD和DE的混合算法来优化目标函数从而获取合适的影像。两组实验从视觉效果和定量指标两方面验证了方法的有效性。     

基于Shearlet变换的红外与可见光图像自适应融合

提出一种基于Shearlet变换的红外与可见光图像自适应融合算法。算法首先对待融合图像进行Shearlet变换;然而采用粒子群优化算法确定出低频成分的最佳融合权值,自适应地对红外与可见光图像的Shearlet低频系数进行整合,利用Shearlet变换对边缘、轮廓等细节特征的准确定位,采用加权局部能量最大准则对Shearlet高频系数进行融合;最后对融合系数进行逆Shearlet变换得到融合图像。与现有的部分算法进行对比实验,结果表明本文算法获得较好地融合效果。     

基于特征提取的红外与可见光图像融合

为提高红外与可见光图像融合的效果,加快融合算法处理速度,提出了一种基于特征提取的图像融合算法。改进了数学形态学中的顶帽运算,用于提取源图像的特征图像及背景图像;设计融合规则,对特征图像及背景图像分别进行融合处理;最后重构得到融合图像。另外,对本文融合方法的参数选择进行了分析,并且设计了适用于背景图像融合的自适应加权融合规则。实验表明,该融合方法能有效获取源图像的特征信息,提供丰富的背景信息,运算速度快,易于硬件实现。     

基于AWNV的红外与可见光图像Tetrolet域融合方法研究

针对红外(IR)和可见光(VL)图像融合中边缘纹理和细节特征融合不理想等问题,提出了一种基于Tetrolet变换的红外和可见光图像的融合方法。将Tetrolet变换后的红外和可见光图像的低通子带采用基于加权平均的融合方法得到低通融合系数,而对高通子带提出了一种基于自适应邻域方差加权(AWNV)的融合规则得到高通融合系数,最后通过Tetrolet逆变换得到融合图像。采用多种图像进行融合实验,实验结果表明,经该方法得到的融合图像信息量更大,特征纹理更为丰富,能够得到比较好的融合效果。     

红外与可见光图像融合的汽车抗晕光系统

针对夜间汽车晕光现象引起的交通安全问题,从规避碰撞物的角度出发,设计了一种红外与可见光图像融合的视频抗晕光系统。系统通过对可见光图像和红外图像做MSR图像增强,解决了夜间可见光图像亮度低,暗处信息不易获取的问题,并提高了红外图像对比度,提升了融合图像的清晰度;通过YUV与小波变换结合的方式对增强后的可见光图像和红外图像进行融合,消除了晕光现象。实验结果的主客观分析表明:该融合算法比YUV与小波融合算法在熵、均值、平均梯度、标准差上分别提高了1.6%、13.5%、25.3%、0.6%,该系统不仅能有效消除晕光,还对融合后图像的亮度和暗处细节信息有较大提升,提高了夜间驾驶安全性。     

红外与可见光图像配准和融合中的关键技术

针对可见光与红外图像的特点和难点,提出了可见光与红外图像配准与融合中的关键技术,即:使用新型的基于一维最大类间方差和最大连通性测量的图像分割方法对源图像进行分割来更好地实行图像粗配准;使用新型的特征点提取方法,特征点的匹配及误匹配的消除来更好地实行图像精配准;采用新型的基于区域的树状小波活性测度计算来实现树状小波图像融合;利用自生成神经网络来实现模糊图像融合.     

一种微光与红外图像彩色融合方法

微光夜视仪和红外热像仪这两种图像传感器互补的成像特性可以使它们在几乎任何条件渊昼/夜/烟/雾）下观察场景。针对微光与红外图像,提出了一种彩色融合算法,可以使融合图像有相对自然真实的颜色感觉。首先用中心-环绕拮抗彩色融合算法产生彩色源图像,然后在YCbCr 颜色空间中让源图像的直方图与参考图像的相匹配。为了增强融合图像的对比度,可以先用灰度融合图像代替亮度分量,然后进行直方图匹配。仿真结果表明文中提出的方法可以使融合图像接近自然真实的颜色感觉,易于分辨识别目标,从而提高观察者或机器视觉系统的工作效率,增强对总体形势的意识能力。     

基于NSCT的红外与可见光图像融合方法

针对红外与可见光图像在融合时亮点目标易丢失且背景信息不够清晰的问题,提出基于非下采样轮廓波变换(NSCT)与局部区域融合规则相结合的红外与可见光图像融合方法。利用NSCT对源图像进行多尺度、多方向分解,对低频子带系数采用加权平均取均值的融合规则,对高频子带系数采用系数值选大与局部均方差相结合的融合规则,将前两步得到的系数进行逆NSCT得到融合图像。实验结果表明,在主观视觉效果和客观评价方面,该融合算法都是有效的且可得到比参考融合算法更为理想的融合图像。