多传感器图像融合综述

图像融合是在多测度空间综合处理多源图像和图像序列的技术。图像融合分为：像素层图像融合、特征层图像融合和符号图像层融合。本文讨论了图像融合各层次的融合算法以及红外图像、可见光图像、多谱图像、雷达图像等的融合问题，提出图像融合的结构模型，并对图像融合的发展方向进行了展望。     

多传感器图像融合效果评价方法研究

采用多传感器图像融合方法，利用信息在多个测度空间的互补性可得到更多的有用信息。融合后的图像应保留原图像的重要细节，且不引入会影响图像后续处理的虚假信息，这就需要对融合的效果进行评判，而融合图像质量的评价问题目前还是图像融合研究的一个薄弱环节。讨论了融合图像质量的评价问题，提出带反馈信息图像融合的结构模型。评述了融合图像的单因素评价、模糊积分综合评价、D—S证据理论综合评价、粗糙集理论的评价方法、以信息量为标准的评价、加权求和法综合评价等方法。     

边缘检测和小波变换在多聚焦图像中的应用

根据多聚焦图像的特点,把边缘检测方法和小波变换融合算法结合起来,可以获得同一场景内所有物体都清晰的图像。首先利用高斯—拉普拉斯算子对源图像进行融合,得到边缘清晰的融合图像;接着对源图像进行小波变换,变换后的小波系数融合规则采用选择融合和加权平均融合相结合,经反变换后得到整体清晰的图像;最后将边缘清晰融合图像与小波变换融合图像再一次融合,得到了清晰度增强的融合图像。仿真试验表明,边缘检测和小波变换相结合的融合方法可有效综合多聚焦图像。     

基于多层级图像分解的图像融合算法

不同类型的探测器在成像机理上有不同的侧重点,使得成像图像表征的信息也有所不同,导致单幅图像不能完整地反映场景的有效信息。因此,提取多源图像的互补信息,并去除其中的冗余信息,合成一幅能准确、完整表达场景的复合图像的技术成为了图像处理领域中一项非常重要的技术,图像融合正是这类问题的一种有效解决方法。针对传统多尺度分解的图像融合方法易产生噪声和信息缺失的现象,文中提出了一种基于多层级图像分解的红外与可见光图像融合算法。首先,利用加权平均曲率滤波的边缘保持特性与高斯滤波的平滑特性,构建了多层级图像分解模型。在利用该模型将源图像分解为小尺度层、大尺度层和基层等3个不同层级。然后,针对基层,采用能量属性融合策略进行融合;针对大尺度层,采用复合融合策略进行融合;针对小尺度层,采用最大值融合策略。最后,将融合后的层级进行加和,以重构出最终的融合图像。实验结果表明:文中提出的基于多层级图像分解的图像融合算法能够有效降低噪声产生的概率,同时减少了融合后的信息缺失。     

基于视觉神经动力学的图像融合与处理技术若干新进展

介绍了基于视觉模型的多传感器多波段图像融合技术研究动态及其新进展,其中包括 了应用响尾蛇双模式细胞机理构造符合人类颜色视觉的图像彩色融合技术发展动态、突出优势和前景展望,简述了神经网络技术在图像数据层、特征层、决策层融合技术及融合前处理中应用的若干新进展。     

基于多尺度top-hat分解的红外与可见光图像增强融合

提出了基于数学形态学与尺度空间理论相结合的特征增强融合算法。首先对源图像使用多尺度top-hat变换构造塔形分解的亮、暗细节特征和近似图像,再对源图像对应尺度的亮、暗细节特征应用融合规则,最后依据不同应用需求加权各尺度亮、暗特征得到融合图像。实验表明:文中算法能有效融合并增强源图像细节特征,消除红外源图像因对比度低、灰度值范围较窄、视觉效果模糊等对融合质量的不利影响,并能根据应用需求获得具有不同增强效果的融合图像,从而达到更好的视觉效果,提高融合图像的目标检测和识别能力。     

基于对比度的小波图像融合算法研究

图像融合可以集成多个源图像中的冗余和互补信息,增加图像理解的全面性,获得对同一场景的更为准确可靠的图像描述。传统的小波图像融合方法的融合规则是分别对低频和高频系数进行处理,忽略了两者之间的联系。本文提出利用对比度将高频系数和低频系数的处理联系起来,并以对比度作为度量系数取舍的准则进行图像融合。实验仿真研究表明,本文提出的算法很好地保留了多幅源图像的有用信息,是一种有效的图像融合算法。     

多传感器数据融合中的配准技术

配准是多传感器数据融合中的一个重要环节。文中介绍了图像配准的一般方法，配准技术在数据融合的应用，并着重介绍了基于点特征的红外／可见光图像自动配准算法。     

多源遥感图像融合语义分割发展现状与展望

遥感图像的语义信息提取正成为城市规划利用、土地覆盖勘察、灾害变化检测以及海上态势感知等研究方向的关键技术之一。文中从由“单源”向“多源”发展的遥感图像智能处理需求出发,首先概述并分析了大数据时代和深度学习背景下的遥感图像语义分割发展现状,主要包括单一来源图像语义分割、多源遥感图像融合语义分割和多源(同质/异质)遥感图像变化检测。然后在阐述主要方法的基础上,提炼并总结了多源遥感图像语义分割的关键技术,主要有单源遥感图像快速语义分割、语义信息辅助的多源遥感图像精确配准与融合、基于多源遥感图像的语义信息智能提取。最后,针对多源遥感图像在轨处理需求,概括出高分辨率多源遥感图像智能一体化信息提取所面临的技术挑战,并对未来发展趋势进行展望。     

基于多尺度柔性形态学滤波器的图像融合

提出了一种基于柔性数学形态学的图像融合新方法。首先,对源图像进行柔性形态学多尺度开闭滤波,得到源图像的低频平滑图像。其次,应用了柔性的多尺度top-hat变换和bottom-hat变换,提取小于相应尺度的图像细节特征。最后,对于以上两步骤得到的低频平滑图像和多尺度高频细节图像分别进行图像融合,应用形态学重建过程生成融合图像。多聚焦图像融合和红外可见光图像融合实验表明,这种融合方法优于相应基于多尺度标准形态学滤波器(MSMF)的图像融合方法,特别适用于受噪声污染的图像融合处理。     

基于视觉注意力机制的多源遥感图像语义分割

近年来,随着空间感知技术的不断发展,对多源遥感图像的融合处理需求也逐渐增多,如何有效地提取多源图像中的互补信息以完成特定任务成为当前的研究热点。针对多源遥感图像融合语义分割任务中,多源图像的信息冗余和全局特征提取难题,本文提出一种将多光谱图像（Multispectral image, MS）、全色图像（Panchromatic image, PAN）和合成孔径雷达 （Synthetic Aperture Radar, SAR）图像融合的基于Transformer的多源遥感图像语义分割模型Transformer U-Net （TU-Net）。该模型使用通道交换网络（Channel-Exchanging-Network, CEN）对融合支路中的多源遥感特征图进行通道交换,以获得更好的信息互补性,减少数据冗余。同时在特征图拼接后通过带注意力机制的Transformer模块对融合特征图进行全局上下文建模,提取多源遥感图像的全局特征,并以端到端的方式分割多源图像。在MSAW数据集上的训练和验证结果表明,相比目前的多源融合语义分割算法,在F₁值和Dice系数上分别提高了3.31%~11.47%和4.87%~8.55%,对建筑物的分割效果提升明显。      

遥感图像融合效果评估方法

遥感图像融合效果评估是目前遥感图像融合领域中亟待解决的问题,直接影响遥感图像融合处理技术的发展.文中在构建多源遥感图像融合处理估计模型的基础上,重点讨论分析遥感图像融合效果的主、客观评价技术的发展现状,进行SAR图像与光学图像的融合处理仿真实验,优选相关系数及峰值信噪比完成SAR图像与光学图像的融合效果评估处理.同时,还讨论了目前图像融合效果评估中存在的主要问题,对进一步研究图像融合效果评估有很好的意义.     

基于直觉模糊集的多波段图像融合

为解决微光探测条件下多波段图像融合效果差、信息丢失的问题,提出了基于直觉模糊集的多波段图像融合方法。首先利用最大化熵准则对源图像分别进行直觉模糊处理,其次对隶属度图像进行去模糊后进行非下采样剪切波变换(NSST),得到各自的高频图像和低频图像,然后对高频图像用绝对值取大融合,对低频图像用清晰度取大融合,最后对高频融合图像和低频融合图像进行NSST逆变换得到最终融合图像。实验结果表明,本方法可对微光探测条件下多波段图像自适应处理,融合结果目标显著,对比度和清晰度大,主观和客观评价指标均优于其他方法。     

夜视图像融合研究的进展

夜视图像融合是多传感器数据融合研究领域中的一个分支，它在军事等领域有着重要的应用前景。文中对近年来国外夜视图像融合研究的发展情况进行了评述，介绍了美国德克萨斯仪器公司（ＴＩ）在夜视图像融合硬件实现方面所取得的进展。     

一种基于Curvelet变换多传感器图像融合算法

综合分析了Curvelet变换的特性,并提出了一种基于Curvelet变换的多传感器图像融合算法。首先采用Curvelet变换将源图像分解到不同尺度、方向频带范围内,然后采用不同的融合规则得到融合后图像的Curvelet变换系数,最后再进行Curvelet逆变换得到融合图像。采用多组具有不同特征的源图像进行了融合实验,并对融合图像进行了主客观评价。实验结果表明,相比于传统的基于小波变换的图像融合算法,该算法能够有效避免“人为”效应或高频噪声的引入,得到具有更好视觉效果和更优量化指标的融合图像。     

基于双引导滤波的红外和可见光图像融合算法

图像融合是将多幅图像中有用或互补信息整合成一幅图像的过程。本文提出了一种基于引导滤波多尺度分解的红外和可见光图像融合算法。在传统的引导滤波图像融合算法的基础之上,利用双引导滤波器代替均值滤波器将源图像分解为小尺度纹理细节、大尺度边缘和基础图像;直接利用纹理细节及边缘层图像构建显著性映射图,用其代替额外的特征提取操作,可很好地突出源图像显著性信息的同时大大降低算法复杂度;利用显著性映射图、Sigmoid函数构造权重图,将源图像中具有视觉意义的信息注入到融合图像中;利用色彩模型转换融合方式,可更好保留图像的色彩信息。定性和定量实验结果证明,相比于传统的基于引导滤波的图像融合算法,本文算法的融合效果得到进一步提升。     

基于多尺度和注意力模型的红外与可见光图像融合

针对红外与可见光图像在融合后容易出现伪影,小目标轮廓不清晰等问题,提出一种基于多尺度特征与注意力模型相结合的红外与可见光图像融合算法。通过5次下采样提取源图像不同尺度的特征图,再将同一尺度的红外与可见光特征图输入到基于注意力模型的融合层,获得增强的融合特征图。最后把小尺度的融合特征图进行5次上采样,再与上采样后同一尺度的特征图相加,直到与源图像尺度一致,实现对特征图的多尺度融合。实验对比不同融合框架下融合图像的熵、标准差、互信息量、边缘保持度、小波特征互信息、视觉信息保真度以及融合效率,本文方法在多数指标上优于对比算法,且融合图像目标细节明显轮廓清晰。     

基于多小波变换与图像融合的图像增强方法

针对传统增强方法的不足,本文提出了一种基于多小波变换和图像融合技术的图像增强方法.首先利用多小波变换对原图像做分解处理,之后对一层分解后得到的多小波低频子图作直方图均衡化处理.在利用文中方法得到原图像直方图后,利用图像融合的原理,将均衡化处理后的低频子图与直方图对应的图像融合,得到最终增强结果.实验结果表明,本文算法增强效果良好.     

多源图像融合技术在无人机中的应用

随着无人机技术的发展,无人机多源图像融合是一个日益受到关注的研究领域。在研究传统算法的基础上,针对经典HIS变换融合算法产生的光谱失真问题,通过引入压缩感知技术对传统算法进行改进,提出了一种融入压缩感知技术的图像融合算法并应用到无人机数码照片和SAR图像融合处理中。实验表明,该方法在引入SAR图像纹理信息的同时,能够有效保持可见光图像光谱信息,取得了较好的融合效果。     

红外与可见光图像实时配准融合系统

描述了一个自主研制的基于实时分布式多处理机的图像配准和融合系统的设计与实现方案。本系统是具有并行计算机体系结构的通用高速实时图像融合处理系统,选择VxWorks实时操作系统和VEM64x总线的软硬件平台,采用AD公司新型的TS101DSP处理器为核心,多DSP处理器分布并行进行处理,完成多源图像实时高速配准和融合需要进行的大量运算,CPLD芯片完成了采集控制以及多传感器视频同步。由于采用了基于高性能DSP的实时嵌入式系统和通用标准化总线结构设计,该系统可以灵活地应用多种配准和融合算法来实现可见光和红外双通道数字图像的高速实时融合处理,比较好地解决多尺度图像配准融合算法的大数据量计算处理与系统实时性要求之间的矛盾,为多传感器实时图像配准融合处理系统的研制奠定了良好的技术基础。