基于细节增强的多曝光图像融合算法

针对已有多曝光图像融合算法存在细节丢失的问题,提出一种基于细节增强的多曝光图像融合算法.为使图像细节更加清晰,构建三尺度融合框架;设计一种曝光亮度权重函数,结合图像饱和度及增强后的对比度,构建初始权重图;根据引导滤波计算最终权重图,在三尺度融合框架上进行加权融合.实验结果表明,与3种实验对比算法相比,该算法的融合结果能呈现更丰富的细节信息,在综合质量评价指标IL-NIQE上分别有平均8.95％、11.38％和21.2％左右的提升.     

结合引导滤波的自适应多曝光图像融合

针对引导滤波产生的光晕、梯度反转现象，以及图像融合边缘细节丢失的现象，提出一种改进引导滤波的自适应多曝光图像融合算法。在引导滤波中根据梯度信息设定权重函数，并结合图像像素点和一定区域的均值创建函数，共同实现不同区域的纹理特性自适应；利用平均亮度与对比度、饱和度及曝光适中度的关系，设置权值函数，使加权平均融合过程中的权重值不再是固定的数值，而能够根据不同的图像亮度自适应调整，权重值也不同，使得融合后的图像质量更好；将原序列图的细节信息叠加到改进的引导滤波图像中，构建纹理细节层。实验结果削弱了光晕及梯度反转现象，使图像更加真实，细节更加清晰，并且对有小光源的图像处理效果更好。算法结果明显优于多曝光融合算法及引导滤波的多曝光图像融合，在信息熵、互信息和边缘信息评价中分别取得最高2.5%、30%和30%左右的质量提升。     

各向异性导向滤波的红外与可见光图像融合

目的 针对红外与可见光图像融合时易产生边缘细节信息丢失、融合结果有光晕伪影等问题，同时为充分获取多源图像的重要特征，将各向异性导向滤波和相位一致性结合，提出一种红外与可见光图像融合算法。方法 首先，采用各向异性导向滤波从源图像获得包含大尺度变化的基础图和包含小尺度细节的系列细节图；其次，利用相位一致性和高斯滤波计算显著图，进而通过对比像素显著性得到初始权重二值图，再利用各向异性导向滤波优化权重图，达到去除噪声和抑制光晕伪影；最后，通过图像重构得到融合结果。结果 从主客观两个方面，将所提方法与卷积神经网络（convolutional neural network，CNN）、双树复小波变换（dual-tree complex wavelet transform，DTCWT）、导向滤波（guided filtering，GFF）和各向异性扩散（anisotropic diffusion，ADF）等4种经典红外与可见光融合方法在TNO公开数据集上进行实验对比。主观分析上，所提算法结果在边缘细节、背景保存和目标完整度等方面均优于其他4种方法；客观分析上，选取互信息（mutual information，MI）、边缘信息保持度（degree of edge information，Q^AB/F）、熵（entropy，EN）和基于梯度的特征互信息（gradient based feature mutual information，FMI_gradient）等4种图像质量评价指数进行综合评价。相较于其他4种方法，本文算法的各项指标均有一定幅度的提高，MI平均值较GFF提高了21.67%，Q^AB/F平均值较CNN提高了20.21%，EN平均值较CNN提高了5.69%，FMI_gradient平均值较GFF提高了3.14%。结论 本文基于各向异性导向滤波融合算法可解决原始导向滤波存在的细节"光晕"问题，有效抑制融合结果中伪影的产生，同时具有尺度感知特性，能更好保留源图像的边缘细节信息和背景信息，提高了融合结果的准确性。     

融合GF-MSRCR和暗通道先验的图像去雾

目的 针对雾天图像高亮和雾浓区域中容易出现场景透射率值求取不准确,导致复原后的图像细节丢失、出现光晕现象、对比度和色彩难以满足人眼的视觉特性等问题,提出了一种融合引导滤波优化的色彩恢复多尺度视网膜算法（GF-MSRCR）和暗通道先验的图像去雾算法。方法 首先利用加权四叉树方法从最小通道图中快速搜索全局大气光值,再从图像增强角度应用GF-MSRCR算法初步估计场景透射率值,依据暗通道先验原理对最小通道图进行二次估测,根据两次求取结果按一定比例进行像素级图像融合,得到场景透射率估计值;利用变差函数修正估计值,经中值滤波进一步优化得到场景透射率的精确值,最后通过大气散射模型恢复雾天图像,调整对比度和恢复颜色后,得到了轮廓完整且细节清晰的无雾图像。结果 理论分析和实验结果表明,经本文算法去雾处理后的图像信息熵、对比度、平均梯度、结构相似性分别平均提升了7.87%、21.95%、47.73%和15.58%,同时运行时间缩短了53.22%,对近景、含小部分天空区域、含大片天空区域和含白色物体场景的多种类型雾天图像显示出较好的复原效果。结论 融合GF-MSRCR和暗通道先验的图像去雾算法能快速有效保留图像的细节信息、消除光晕,满足了人眼的视觉特性,具有一定的实用性以及普适性。     

采用双尺度图像分解的水下彩色图像增强

目的 为解决水下图像的色偏和低对比度等问题,提出一种基于双尺度图像分解的水下彩色图像增强算法。方法 通过基于均值和方差的对比度拉伸方法改善图像的色偏问题,并利用中值滤波降低红通道对比度拉伸后引入的噪声;采用双尺度图像分解绿通道图像补偿红通道图像细节;在处理后的红通道图像中引入原始图像红通道的真实细节与颜色。结果 选取不同水下图像作为实验数据集,将本文方法与暗通道先验的方法、基于融合的方法、自动红通道恢复方法以及一种基于卷积神经网络深度学习的方法相比较,首先从主观视觉效果进行定性分析,然后通过不同评测指标进行定量分析。主观定性分析结果表明,提出的方法相比较其他方法能够更好地解决图像色偏和红色阴影问题;定量分析中,自然图像质量评价（natural image quality evaluation,NIQE）指标和信息熵（information entropy,IE）值较基于融合的方法和深度学习的方法分别提高了1.8%和13.6%,且水下图像质量评价指标（underwater image quality measurement method,UIQM）较其他方法更优。结论 提出的双尺度图像分解方法利用水下图像成像特点解决图像色偏以及低对比度问题,具有良好的适应能力,同时算法复杂度低且鲁棒性较高,普遍适用于复杂的水下彩色图像增强。     

混合先验与加权引导滤波的图像去雾算法

目的 图像去雾是降低雾、霾、沙等低能见度成像环境对图像的退化影响,提高图像信息获取质量的过程。为了消除先验盲区,同时进一步提高去雾图像边缘细节的清晰度,提出一种混合先验与加权引导滤波的图像去雾算法。方法 首先改进大气光值估计方法,提高大气光值估计的准确性。然后利用混合先验理论求取双约束区域的大气透射率,一定程度上消除了先验盲区,提高了去雾算法的鲁棒性。最后利用加权引导滤波算法优化透射率图,提高了图像边缘细节的清晰度。结果 本文以通用去雾测试图像和小型无人机拍摄的雾天图像作为实验对象,通过对比分析4种组合步骤算法的复原效果,验证本文各步骤改进方法的合理性与整体算法的优越性。实验结果表明：混合先验理论改善了暗原色先验在明亮区域的失真现象和颜色衰减先验对浓雾处理上的不足,取得了较好的视觉效果;加权引导滤波改善了图像边缘模糊的现象,使复原后的图像边缘细节更加清晰;相较传统算法,本文算法视觉效果更好,去雾图像边缘细节更加明显,综合评价指标均值提升幅度较大。结论 针对有雾图像复原,通过理论分析和实验验证,说明了本文各步骤的改进具有一定的优越性,所提的算法具有较强的鲁棒性。     

结合天空检测与纹理平滑的图像去雾

目的 针对已有图像去雾方法中存在的天空灰暗以及透射率分布与实际情况不一致导致的对比度增强不足等问题,以暗通道先验图像去雾方法为基础,提出结合天空检测与纹理滤波的图像去雾算法。方法 首先,设计了一个基于天空检测的大气光自适应估计策略,以天空区域亮度值较低的像素为依据估计大气光值,能够避免天空色彩失真,获得更明亮且干净的天空恢复结果;其次,对输入图像进行纹理平滑预处理以保持同一平面物体内的像素颜色一致性,并提出一个基于块偏移与导向滤波的透射率精确化计算策略,使透射率估值更符合深度信息的变化趋势,以提升无雾图像的对比度与色彩饱和度;最后,对复原结果进行联合双边滤波后处理,以降低噪声的影响。结果 本文算法得到的大气光估值更为合理,对于不符合暗通道先验的天空区域,能够取得更为自然的天空复原结果;本文算法得到的透射率的变化趋势与实际场景深度之间具有更高的一致性,对于符合暗通道先验的非天空区域,能够取得高对比度与高色彩饱和度的恢复结果。结论 本文算法在大气光与透射率的估值的准确性以及无雾图像的对比度与清晰度增强方面都得到了有效提升,具有较高的鲁棒性,适用于视频监控、交通监管和目标识别等户外获取图像的诸多应用领域。     

形态学滤波和改进PCNN的NSST域多光谱与全色图像融合

目的 全色图像的空间细节信息增强和多光谱图像的光谱信息保持通常是相互矛盾的,如何能够在这对矛盾中实现最佳融合效果一直以来都是遥感图像融合领域的研究热点与难点。为了有效结合光谱信息与空间细节信息,进一步改善多光谱与全色图像的融合质量,提出一种形态学滤波和改进脉冲耦合神经网络（PCNN）的非下采样剪切波变换（NSST）域多光谱与全色图像融合方法。方法 该方法首先分别对多光谱和全色图像进行非下采样剪切波变换;对二者的低频分量采用形态学滤波和高通调制框架（HPM）进行融合,将全色图像低频子带的细节信息注入到多光谱图像低频子带中得到融合后的低频子带;对二者的高频分量则采用改进脉冲耦合神经网络的方法进行融合,进一步增强融合图像中的空间细节信息;最后通过NSST逆变换得到融合图像。结果 仿真实验表明,本文方法得到的融合图像细节信息清晰且光谱保真度高,视觉效果上优势明显,且各项评价指标与其他方法相比整体上较优。相比于5种方法中3组融合结果各指标平均值中的最优值,清晰度和空间频率分别比NSCT-PCNN方法提高0.5%和1.0%,光谱扭曲度比NSST-PCNN方法降低4.2%,相关系数比NSST-PCNN方法提高1.4%,信息熵仅比NSST-PCNN方法低0.08%。相关系数和光谱扭曲度两项指标的评价结果表明本文方法相比于其他5种方法能够更好地保持光谱信息,清晰度和空间频率两项指标的评价结果则展示了本文方法具有优于其他对比方法的空间细节注入能力,信息熵指标虽不是最优值,但与最优值非常接近。结论 分析视觉效果及各项客观评价指标可以看出,本文方法在提高融合图像空间分辨率的同时,很好地保持了光谱信息。综合来看,本文方法在主观与客观方面均具有优于亮度色调饱和度（IHS）法、主成分分析（PCA）法、基于非负矩阵分解（CNMF）、基于非下采样轮廓波变换和脉冲耦合神经网络（NSCT-PCNN）以及基于非下采样剪切波变换和脉冲耦合神经网络（NSST-PCNN）5种经典及现有流行方法的融合效果。     

多尺度权重评估的MSRCR混合曝光成像算法

针对混合曝光成像算法过程中会出现低曝光处细节丢失且颜色失真饱和度不佳导致视觉观感下降的问题,提出一种多尺度权重评估的MSRCR（Multi-Scale Retinex with Color Restoration,MSRCR）混合曝光融合算法。基于Retinex模型将待融合图像分解为亮度分量与反射光分量,对亮度分量结合ACES函数构造光照补偿归一化函数进行处理,对反射光分量加入颜色恢复函数提升色彩细节;分别从曝光量、饱和度、对比度、色域四个尺度设计图像融合权重值,通过多尺度评估优化融合比例;利用Laplacian金字塔融合算法进行多尺度权重融合获得最终图像。实验结果表明,与传统的图像融合算法相比,该算法处理效果较好,有效降低了暗处失真率,提升了视觉信息保真度。     

双尺度分解和显著性分析相结合的红外与可见光图像融合

目的 针对图像融合中存在的目标信息减弱、背景细节不清晰、边缘模糊和融合效率低等不足,为了充分利用源图像的有用特征,将双尺度分解与基于视觉显著性的融合权重的思想融合在一起,提出了一种基于显著性分析和空间一致性的双尺度图像融合方法。方法 利用均值滤波器对源图像进行双尺度分解,先后得到源图像的基层图像信息和细节层图像信息;对基层图像基于加权平均规则融合,对细节层图像先基于显著性分析得到初始权重图,再利用引导滤波优化得到的最终权重图指导加权;通过双尺度重建得到融合图像。结果 根据传统方法与深度学习的不同特点,在TNO等公开数据集上从主观和客观两方面对所提方法进行评价。从主观分析来看,本文方法可以有效提取和融合源图像中的重要信息,得到融合质量高、视觉效果自然清晰的图像。从客观评价来看,实验验证了本文方法在提升融合效果上的有效性。与各种融合结果进行量化比较,在平均梯度、边缘强度、空间频率、特征互信息和交叉熵上的平均精度均为最优;与深度学习方法相比,熵、平均梯度、边缘强度、空间频率、特征互信息和交叉熵等指标均值分别提升了6.87%、91.28%、91.45%、85.10%、0.18%和45.45%。结论 实验结果表明,所提方法不仅在目标、背景细节和边缘等信息的增强效果显著,而且能快速有效地利用源图像的有用特征。     

基于自适应分割的多曝光图像融合算法

针对传统多曝光图像融合存在颜色和细节信息保留不完整的问题,提出了一种新的基于自适应分割的多曝光图像融合算法。首先,采用超像素分割将输入图像分割为颜色一致的图像块,再利用结构分解将图像块分解为三个独立分量。根据各分量特点设计不同融合规则,以保留源图像中的颜色和细节信息。然后,采用引导滤波平滑各分量的权重图以及信号强度分量和亮度分量,有效地克服块效应缺陷,保留源图像中的边缘信息,减少伪影。最后,重构融合后的三个分量,得到最终的融合图像。实验结果表明,与传统的融合算法相比,所提算法在互信息（MI）上平均提升了53.6%、标准差（SD）上平均提升了24.0%。该算法能够有效地保留输入图像的颜色和细节纹理信息。     

基于Retinex理论的多曝光图像融合算法

多曝光图像融合技术是将一组场景相同但曝光程度不同的图像序列直接融合成为一幅含有更多场景细节信息的高质量图像。针对现有算法局部对比度差和色彩失真的问题，结合Retinex理论模型提出了一种新的多曝光图像融合算法。首先，基于Retinex理论模型，利用光照估计算法将曝光序列图像分为入射光分量序列和反射光分量序列，然后分别采用不同的融合方法对这两组序列进行处理。对于入射光分量，要保证场景的全局亮度的变化特性并且削弱过曝光和欠曝光区域的影响；而对于反射光分量，要采用适度曝光的评价参数来更好地保留场景的色彩及细节信息。分别从主观和客观两方面对所提算法进行了分析。实验结果表明，同传统基于图像域合成的算法相比，该算法在结构相似度（SSIM）上平均提升了1.7%，另外在图像色彩和局部细节上的处理效果更好。     

中值直方图均衡的动态场景多曝光图像融合算法

为解决动态场景下多曝光融合图像出现鬼影的问题,提出一种新的动态多曝光图像融合算法。引入中值图像均衡对输入图像和参考图像的直方图进行处理,将获取的图像对做差分,并对差分图进行阈值分割和形态学优化得到运动权重图。中值直方图均衡可以为一对图像分配相同的直方图,同时保持其灰度动态,因此对多曝光图像对调整其亮度差异,有利于运动区域检测的准确性。通过强度映射函数将参考图像分别映射为各个输入图像的亮度,并将输入图像的运动区域替换为参考图像的一部分,得到具有亮度过渡自然的图像序列。在此基础上,对静态图像序列进行融合得到最终的融合图像。实验结果表明,该算法可有效地避免鬼影现象,且能够获得细节丰富、视觉效果良好的高动态范围图像,经该算法融合后的图像在标准差、边缘强度、相关系数和动态场景结构一致4个指标上与DGF、FMSD等算法相比具有明显的优势。     

全细节增强多曝光图像融合

目的 曝光融合算法,即将多幅不同曝光时间的图像融合得到一幅曝光度良好的图像,可能在最终的输出图像中引入光晕伪影、边缘模糊和细节丢失等问题。针对曝光融合过程中存在的上述问题,本文从细节增强原理出发提出了一种全细节增强的曝光融合算法。方法 在分析了光晕现象产生原因的基础上,从聚合的新角度对经典引导滤波进行改进,明显改善引导滤波器的保边特性,从而有效去除或减小光晕;用该改进引导滤波器提取不同曝光图像的细节信息,并依据曝光良好度将多幅细节图融合得到拍摄场景的全细节信息;将提取、融合得到的全细节信息整合到由经典曝光融合算法得到的初步融合图像上,最终输出一幅全细节增强后的融合图像。结果 实验选取17组多曝光高质量图像作为输入图像序列,本文算法相较于其他算法得到的融合图像边缘保持较好,融合自然;从客观指标看,本文算法在信息熵、互信息与平均梯度等指标上都较其他融合算法有所提升。以本文17组图像的平均结果来看,本文算法相较于经典的拉普拉斯金字塔融合算法在信息熵上提升了14.13%,在互信息熵上提升了0.03%,在平均梯度上提升了16.45%。结论 提出的全细节增强的曝光融合算法将加权聚合引导滤波用于计算多曝光序列图像的细节信息,并将该细节信息融合到经典曝光融合算法所得到的一幅中间图像之上,从而得到最终的融合图像。本文的处理方法使最终融合图像包含更多细节,降低或避免了光晕及梯度翻转等现象,且最终输出图像的视觉效果更加优秀。     

Benchmarking and comparing multi-exposure image fusion algorithms

Multi-exposure image fusion (MEF) is an important area in computer vision and has attracted increasing interests in recent years. Apart from conventional algorithms, deep learning techniques have also been applied to MEF. However, although many efforts have been made on developing MEF algorithms, the lack of benchmarking studies makes it difficult to perform fair and comprehensive performance comparison among MEF algorithms, thus hindering the development of this field significantly. In this paper, we fill this gap by proposing a benchmark of multi-exposure image fusion (MEFB), which consists of a test set of 100 image pairs, a code library of 21 algorithms, 20 evaluation metrics, 2100 fused images, and a software toolkit. To the best of our knowledge, this is the first benchmarking study in the field of MEF. This paper also gives a literature review on MEF methods with a focus on deep learning-based algorithms. Extensive experiments have been conducted using MEFB for comprehensive performance evaluation and for identifying effective algorithms. We expect that MEFB will serve as an effective platform for researchers to compare the performance of MEF algorithms.     

基于图像融合的自适应水下图像增强

针对水下图像对比度低及细节模糊的问题,提出一种基于图像融合的自适应水下图像增强方法,实现不同类型水下图像的增强效果。基于颜色校正方法对水下图像进行颜色均衡化预处理;对亮度分量L进行Gamma校正,获得对比度提升的亮度图像;对两个亮度分量进行三层小波分解,提出对分解所得的低频分量及高频分量分别采用线性融合和自适应融合策略进行融合。多尺度融合保证了增强图像细节的丰富性,自适应融合策略体现了融合过程的可控性。实验结果表明,增强的水下图像呈现出高对比度和清晰的细节。     

Deep unsupervised learning based on color un-referenced loss functions for multi-exposure image fusion

In this paper, an unsupervised learning-based approach is presented for fusing bracketed exposures into high-quality images that avoids the need for interim conversion to intermediate high dynamic range (HDR) images. As an objective quality measure – the colored multi-exposure fusion structural similarity index measure (MEF-SSIMc) – is optimized to update the network parameters, the unsupervised learning can be realized without using any ground truth (GT) images. Furthermore, an unreferenced gradient fidelity term is added in the loss function to recover and supplement the image information for the fused image. As shown in the experiments, the proposed algorithm performs well in terms of structure, texture, and color. In particular, it maintains the order of variations in the original image brightness and suppresses edge blurring and halo effects, and it also produces good visual effects that have good quantitative evaluation indicators. Our code will be publicly available at https://github.com/cathying-cq/UMEF.     

基于融合策略的改进Retinex低照度图像增强算法

针对Retinex算法处理低照度彩色图像出现色彩失真,边缘保持性差等问题,提出一种基于融合策略的改进Retinex低照度图像增强算法;该算法首先在YIQ颜色空间提取亮度分量Y,对其进行MSR算法增强;然后采用高斯-拉普拉斯算子对彩色图像的RGB三个分量进行边缘检测,将其叠加合成后转换成灰度图;最后使用小波变换将两幅图像融合得到新的亮度分量,将其与I、Q分量融合后转回RGB颜色空间,从而获得色彩保真度高、细节清晰的图像;实验结果表明,该方法有效提高了图像边缘细节信息,避免了色彩失真,具有很好的视觉效果。