多传感器图像融合及其应用综述

文章综述了多传感器图像融合的基本概念、模型、常用方法及应用,探讨了图像融合的评价准则,分析了图像融合领域存在的问题,并提出了未来的研究方向。     

多传感器图像融合效果评价方法研究

采用多传感器图像融合方法，利用信息在多个测度空间的互补性可得到更多的有用信息。融合后的图像应保留原图像的重要细节，且不引入会影响图像后续处理的虚假信息，这就需要对融合的效果进行评判，而融合图像质量的评价问题目前还是图像融合研究的一个薄弱环节。讨论了融合图像质量的评价问题，提出带反馈信息图像融合的结构模型。评述了融合图像的单因素评价、模糊积分综合评价、D—S证据理论综合评价、粗糙集理论的评价方法、以信息量为标准的评价、加权求和法综合评价等方法。     

多传感器图像融合应用评述

近几年，图像融合成为一个热门研究领域，图像融合是多测度空间综合处理多源图像和图像序列的技术，通过融合处理，综合运用多源信息，得到性能比任一源图像好的图像，以便于图像的后续处理和更好地满足应用要求。从信息处理的层次上图像融合要分为：信号层图像融合，像素层图像融合，特征层图像融合和符号层图像融合。比较了不同层次图像融合算法的特点，讨论了红外图像，可见光图像，多普图像，雷达图像等的融合问题，给出了一个应用实例，并对图像融合的发展进行展望。     

多传感器图像融合系统设计

为了实时获取场景的全面信息,本文采用图像融合技术,提出了基于FPGA的电视、红外、微光电视三路图像融合硬件实时系统设计方案,解决了成像光路、图像配准、处理系统及融合算法等关键技术,强化了图像中的有用信息,增强光谱信息含量。所设计的实时硬件系统平台可较为全面的输出场景图像信息。     

基于线性融合模型的多传感器图像融合

本文提出了一种新的基于小波变换的多传感器图像融合算法,在线性融合模型中引入了传感器噪声项,算法首先给出了基于期望融合图像局部方差最大的多传感器融合系数估计方法,然后利用多传感器图像和融合系数估计期望融合图像.最后的实验结果表明了本文图像融合方法具有明显的噪声抑制能力,能够得到更好的融合效果.     

基于梯度塔形分解的多传感器图像融合

给出了基于梯度塔形分解的像素级图像融合新方法,基本思想是,先对原图像进行梯度塔形分解;其次,按照融合规则,采用基于区域特性的加权算子去构造融合图像对应的梯度金字塔;最后,通过逆梯度塔形变换重构融合图像,该方法被成功地用于图像的融合处理,实验结果表明,该融合方法十分有效,获得的融合图像更符合人的视觉特性,更有利于机器视觉。     

多传感器图像融合技术的军事应用

给出了面向军事应用的多传感器图像融合的基本原理和方法,综合分析了不同方法的特点,进而对其未来发展方向进行了展望.     

基于树状小波分解的多传感器图像融合

提出了基于树状小波分解的多传感器图像融合方法,它能够在一定的能量准则下,自适应地根据图像特征进行子带分解和融合。对可见光图像与红外图像、可见光图像与毫米波图像进行融合的实验结果表明,所提出的方法比传统的金字塔形小波分解具有更好的融合效果。     

多传感器图像融合技术

信息融合技术作为一门新兴学科,近年来已取得突飞猛进的发展,已在军事和民事方面获得了广泛的应用,对人类的生产生活方式产生了重大的影响。主要介绍了多传感器图像融合的3个融合层次及在每个融合层次典型的融合方法。单一的融合方法有各自的优势和不足,为了克服单一融合方法存在的问题,可以将单一的融合方法进行结合,通过从灰度标准差、平均灰度梯度和熵等方面对融合后图像效果比较可以发现,将两种单一的融合方法结合,可以很好地实现优势互补,获得更理想的融合效果并对多种不同的融合方法进行分析总结,可以为融合算法的应用提供一定的参考。     

一种像素级多传感器图像融合算法的研究

该文给出了一种像素级多传感器图像融合算法,并将其应用于不同波段SAR图像的融合。该算法先用基于卡尔曼滤波的图像融合技术得到一幅灰度融合图像,再用不同的RGB颜色通道分别表示灰度融合图像以及原图像中增强后的细节,最终得到一幅彩色融合图像。仿真结果表明,用此算法得到的彩色融合图像包含更多的细节,可辨识性强。     

A novel region feature used in multisensor image fusion

A new region feature which emphasized the salience of target region and its neighbors is proposed. In region segmentation-based multisensor image fusion scheme, the presented feature can be extracted from each segmented region to determine the fusion weight. Experimental results demonstrate that the proposed feature has extensive application scope and it provides much more information for each region. It can not only be used in image fusion but also be used in other image processing applications.     

一种多传感器图像融合与数字水印技术

在小波包域提出了一种多传感器图像融合和双水印算法。首先,利用HIS变换和小波包变换将多光谱和全色图像分解为多个高低频子带,根据小波包域系数特点,低频部分采用基于区域平均能量加权算法的规则进行融合,高频部分采用绝对值取大的规则进行融合。然后,在高低频图像融合系数分别嵌入一个水印,低频水印利用了离散余弦变换的聚能去相关能力,高频水印利用了图像纹理子块特征。最后,对嵌入的双水印融合图像进行攻击和分析。实验结果显示,融合图像在保留多光谱图像光谱信息的基础上有效提高了空间分辨率;加水印的融合图像具有良好的不可视性和鲁棒性。     

基于空洞卷积与双注意力机制的红外与可见光图像融合

针对红外与可见光图像融合算法中多尺度特征提取方法损失细节信息,且现有的融合策略无法平衡视觉细节特征和红外目标特征,出了基于空洞卷积与双注意力机制（Dilated Convolution and Dual Attention Mechanism, DCDAM）的融合网络。该网络首先通过多尺度编码器从图像中提取原始特征,其中编码器利用空洞卷积来系统地聚合多尺度上下文信息而不通过下采样算子。其次,在融合策略中引入双注意力机制,将获得的原始特征输入到注意力模块进行特征增强,获得注意力特征;原始特征和注意力特征合成最终融合特征,得在不丢失细节信息的情况下捕获典型信息,同时抑制融合过程中的噪声干扰。最后,解码器采用全尺度跳跃连接和密集网络对融合特征进行解码生成融合图像。通过实验表明,DCDAM比其他同类有代表性的方法在定性和定量指标评价都有提高,体现良好的融合视觉效果。     

多源遥感图像中的图像配准方法

提出了多源遥感图像配准融合的流程,分析了图像配准的过程。介绍了几种遥感图像的图像配准方法,对几种配准方法的效果进行了讨论。     

A regional image fusion based on similarity characteristics

In this paper, we propose an image-driven regional fusion method based on a specific region partition strategy according to the redundant and complementary correlation of the input images. Different from the traditional regional fusion approaches dividing one or more input images, our final region map is generated from the similarity comparisons between source images. Inspired by the success of structural similarity index (SSIM), the similarity characteristics of source images are represented by luminance, contrast, and structure comparisons. To generate redundant and complementary regions, we over segment the SSIM map using watershed, and merge the small homogeneous regions with close correlation based on the similarity components. In accordance with the concentrated similarity of different regions, the fusion principles for special regions are constructed to combine the redundant or complementary property. In our method, the redundant and complementary regions of input images are distinguished effectively, which can aid in the sequent fusion process. Experimental results demonstrate that our approach achieve superior results in the different fusion applications. Compared with the existing work, the proposed approach outperforms in both visual presentation and objective evaluation.     

基于融合的红外图像预处理技术

介绍了一种基于图像融合的红外图像预处理技术。分析了红外成像过程中引入的噪声类型,采用修正的阿尔法均值滤波方法来抑制噪声并利用边缘检测来增强目标的边缘成分,通过融合的处理方法来合并处理后的红外图像。实验表明该方法能够有效地增强复杂背景下的红外图像,从而有利于后续的目标识别处理。     

运用小波图像融合技术增强痕迹偏振图像

针对单幅痕迹偏振图像存在的灰度反差微弱、痕迹特征残缺等缺陷,提出运用小波图像融合技术对多幅痕迹偏振图像进行融合处理,以增强痕迹图像视觉效果的策略。结合痕迹物证检验工作的需要,对低频子带图像采取基于区域窗口的梯度平方和较大法,而高频子带图像采取基于区域窗口的系数绝对值极大法,并将此方案应用于衣物上的轮胎痕迹偏振图像的增强处理。实验结果表明,经过融合处理后的轮胎痕迹偏振图像无论在主观视觉效果,还是在客观评价数据上都获得了期望的增强效果,满足痕迹物证司法鉴定的技术要求。     

基于语义损失的红外与可见光图像融合算法

提出了一种基于语义损失的红外与可见光图像融合算法,通过语义损失引导生成图像包含更多语义信息,满足高级视觉任务需求。首先使用预训练的分割网络对融合图像进行分割,分割结果与标签图构成语义损失,在语义损失和内容损失的共同引导下,迫使融合网络在保证融合图像质量的前提下同时兼顾图像语义信息量,融合图像满足高级视觉任务需求。同时本文还设计了一种新的特征提取模块,通过残差密集连接实现特征重用,提高细节描述能力,进一步减轻融合框架,从而提高图像融合的时间效率。实验结果表明,本文算法在主观视觉效果和定量指标方面优于现有融合算法,且融合图像包含更丰富的语义信息。