一种基于双通道CMOS相机的低照度动态场景HDR融合方法

高动态范围成像技术能够全面有效反映场景信息,有利于在高动态范围场景下获得高质量的成像。但当前常用的基于单台相机的多次曝光融合方法在动态场景下易出现“鬼影”问题,基于多个传感器同时曝光的系统复杂且价格昂贵,基于单幅低动态范围图像的拓展方法易丢失欠曝光或过曝光区域的细节信息,且多用于较好的照明条件。针对低照度动态场景成像,研究了一种基于双通道低照度CMOS相机的高动态范围图像融合方法,对双通道CMOS相机采集低照度动态场景两幅不同曝光图像,依据累计直方图拓展原则分别进行动态范围拓展,并采用像素级融合方法对动态范围拓展的序列图像进行融合。实验表明,动态范围拓展融合方法可满足低照度动态场景下获取高动态范围图像的应用要求,获得更佳的成像质量。     

一种改进的基于小波域的多曝光图像融合算法

自然界光照强度的动态范围较宽,而普通相机的动态范围远远达不到,因此,导致拍摄的图像中存在某些区域过度曝光和曝光不足,造成图像质量欠佳.文中提出了一种改进的基于小波多分辨率分析的多曝光图像融合算法以解决上述问题.首先对同一场景的多幅不同曝光图像分别进行小波变换;接着,对低频分量平均加权,获取图像近似部分的融合分量,并对高频分量基于区域方差确定权重系数,继而加权平均获取细节部分的融合分量;最后,小波逆变换获得较好质量的多曝光融合图像.仿真实验表明,该算法在较好保持原始图像信息的情况下丰富了细节信息,并且不受曝光问题的干扰,融合了多幅不同曝光图像的优质信息,避免了时域融合过程中出现的色差现象.     

基于人眼视觉灰度识别特性的图像动态范围小波变换处理方法

常用的图像传感器由于电荷耦合器(CCD)和模数转换器(ADC)的限制,动态范围大约只有60dB,与人眼的动态范围(110dB)不符,导致获取的图像丢失部分细节信息。针对这一问题,提出了基于小波变换的图像动态范围扩展技术。通过对同一场景进行多次拍摄,获得不同曝光时间的源图像,对源图像运用多尺度小波变换分解为高频部分和低频部分。将基于人眼的视觉灰度识别特性的方法应用于低频部分的处理中,运用不同的权重值进行处理,尽可能保留图像的背景信息。对高频部分运用局部最大方差准则进行融合,尽量保留图像的边缘特性。将融合后的高频部分和低频部分利用逆小波变换进行重构。试验结果表明,重构后的图像与适度曝光的图像相比,在高亮度区域和低亮度区域的细节信息得到了复原,动态范围得到了显著的扩展。     

基于深度学习的岩石薄片正交偏光图像多曝光融合算法

针对正交偏光下岩石薄片图像中动态范围较低,无法观察全部颗粒的问题,将深度学习应用于多曝光图像融合算法,通过融合多个曝光度的薄片图像来获取较高的动态范围。首先将低动态范围的多曝光图像序列输入卷积神经网络,然后网络通过优化损失函数获取较好的权重图预测结果,最后由源多曝光图像序列联合权重图加权融合得到具有较高动态范围的薄片图像。对比实验表明,该算法可以有效地提升图像中的颗粒清晰度。     

基于深度引导与自学习的高动态成像算法

多曝光图像融合是将同一场景不同曝光度的图像进行融合,是当前高动态场景成像的主流方法。为了获得更自然的融合效果,该文提出基于深度引导与自学习的多曝光图像融合网络(MEF-Net)。该网络是以端到端的方式融合任意数量的不同曝光度图像,无监督地输出最优的融合结果。在损失函数方面,通过引入强度保真约束项和加权的多曝光图像融合结构相似度(MEF-SSIM),提升融合效果。此外,针对两幅极度曝光情况下的图像融合,该文采用自学习的方式,基于预训练的模型进行参数微调与优化,减弱光晕现象。基于大量测试数据,实验结果表明,该文所提算法在定量指标和视觉融合效果方面均优于现有主流算法。     

基于自适应多曝光融合的高动态范围表面测量方法

为解决结构光测量高动态范围表面物体时出现局部过度曝光或曝光不足的问题,提出一种改进的多曝光融合方法,利用自适应曝光代替手动曝光,并对图像融合过程进行优化。首先,将初始曝光时间下拍摄的图像利用直方图进行分析,将被测物体表面反射率不同的区域分为若干组,分别计算出每个组别的最佳曝光时间;在此基础上,拍摄不同组别对应最佳曝光时间下投射白光和条纹的图像,并去除图像中超过设定阈值的高灰度值区域,再将投射白光处理后的图像制作成掩模图,与相同曝光时间下投射条纹处理后的图像相乘,进而对多组相乘后的图像进行亮度压缩与融合;最后,通过CLAHE算法提高融合后所生成条纹图的对比度与清晰度,并对条纹解相后进行点云重建和尺寸测量。实验结果表明：文中方法中自适应曝光相较于手动曝光具有高效性和准确性,U型卡、连接块、圆盘三个高动态范围表面物体的点云重建率分别高达99.98%、99.74%、99.76%,测量出的标准块阶梯高度差绝对误差为0.062 mm,相对误差仅为0.69%,该方法有效解决了高动态范围表面物体测量时点云缺失的问题,提高了三维轮廓的测量精度。     

基于动态场景的高动态图像合成

相机所取得的图像动态范围与真实的场景相比往往较低。而通过对几幅不同的曝光时间的图像进行合成,可以得到高动态图像。但是场景中物体的运动会导致最终图像出现鬼影效应,提出了一个基于区域分割和连续性检测的算法,消除鬼影区域,使得在场景有运动下同样可以获得高质量的高动态图像。     

动态场景下深度自监督多曝光图像融合方法

近年来,面向动态场景的多曝光图像融合技术取得重大进展.其中,基于深度学习的方法在视觉效果和运算效率上都远超传统算法,成为高动态范围成像技术的主流.然而,现有基于深度学习的融合方法都以有监督学习的方式实现,过度依赖真值图像,难以被广泛应用于实际场景中.本文提出了一个基于深度自监督学习的动态多曝光图像融合网络,主要贡献包括：设计自监督的动态多曝光融合网络框架,探索高动态范围图像与低动态范围图像序列的内在关联;提出基于注意力机制的全局去伪影模块,使用全局文本模块减少动态融合产生的运动伪影,增强图像细节;提出融合重建模块,通过残差和稠密连接实现多层次特征之间的信息流动;设计运动掩膜引导的自监督损失函数,用于网络的高效训练.实验表明,与现有方法相比,本文提出的方法在高动态范围图像重建的主观和客观质量上均表现较好,运算效率显著提升.     

一种提高结核菌痰涂片显微图像质量方法

通过痰涂片镜检法检测结核抗酸杆菌,是识别和诊断结核病的一种快速、价廉和特定的检测方法.为提高结核病痰涂片显微图像的质量,提出了一种基于多帧不同曝光图像信息融合,扩展被检测显微图像的动态范围,提高检测视野显微图像质量的实现方法.首先在保持CCD曝光时间不变的条件,通过计算机控制圆盘型光学梯度衰减片旋转定位的方法,摄取同一视场多帧不同曝光量的显微图像序列,从而获取场景的高动态范围显微图像信息.然后利用拉普拉斯金字塔算法将显微图像进行分层,采用图像梯度与信息熵相结合对层次图像进行评价,分配相应的合成权重系数,并用拉普拉斯金字塔逆算法,合成一帧高质量的图像.实验表明,所提出方法能有效地表达亮区和暗区的场景信息,增强图像的细节特征,提高痰涂片显微成像的质量,有利于提高显微图像智能检测的精度.     

高动态范围视频的多曝光图像序列快速融合

使用多次曝光法进行高动态范围视频获取时,需要将多幅低动态范围(LDR)图像进行快速融合,并满足视频融合系统的实时性要求。本文提出了一种改进的快速多分辨率塔形分解融合算法,在不降低原有算法融合质量的前提下极大减少计算量。算法分别从金字塔分解卷积核、高斯系数扩展插值方法、拉普拉斯系数融合规则、高斯系数融合规则等方面进行改进,简化了塔形分解、融合和重构过程。该方法应用在某运载火箭视频采集系统中,实验结果表明,该改进算法稳定性强,融合质量高,并极大地减少了计算量,运算速度提高了10倍以上,在TMS320DM642DSP上一帧512×512图像的融合时间约为8.9ms,满足25fps高动态范围视频融合的实时性要求。     

Strong ghost removal in multi-exposure image fusion using hole-filling with exposure congruency

It is the most crucial problem to remove ghost in the multi-exposure image fusion of dynamic scene. The traditional fusion methods have good effects to remove weak ghosts. However, they cannot effectively remove strong ghosts. This paper proposes a new strong ghost removal method in multi-exposure image fusion using hole-filling with exposure congruency. First, analyzing the characteristics of strong ghosts, a detection scheme for strong ghost regions is designed by combining histogram matching and exposure difference detection. Subsequently, to effectively extract image local features, a multi-scale fusion network for non-strong ghost regions is designed to obtain a pre-fused image. Further, based on the distribution characteristics of strong ghosts, a hole-filling model with exposure congruency is designed to remove the strong ghosts. Experimental results show that compared with the state-of-the-art methods, the proposed method can obtain better performance in both of subjective and objective evaluation, particularly in terms of effectively removing strong ghosts.     

基于区域间相似度的红外与可见光图像融合算法研究

针对传统的红外图像与可见光图像融合算法存在局部模糊、背景信息不完整的问题,文章提出了一种新的融合算法。使用边缘检测算子实现图像轮廓的提取,同时还进行基于能量的加权融合处理;使用区域间相似度的方法实现信号域的提取,最后根据过信号强度进行图像的融合。为了验证算法的正确性,文章进行了对比测试,同时还使用标准差、信息熵和平均梯度3个参数进行了定量分析,本文方法和传统的加权平均算法相比标准差最大提高106.3%,测试结果表明,本文提出的融合方法融合效果更好,具有一定的实用价值。     

灰度拉伸Retinex 在大动态范围烟雾图像增强中的应用

为解决Retinex 算法不能有效增强大动态范围烟雾干扰图像的问题,分析了影响其增强效果的原因并提出了一种自适应灰度拉伸Retinex 算法。该算法建立了烟雾区域灰度估计数学模型,通过计算图像的局部动态范围和信息熵,自适应地估计烟雾干扰区域的灰度范围并进行灰度拉伸,采用不同尺度的Retinex 对各区域进行处理,得到最终的增强图像。实验表明,该算法能够在全局动态范围较大时增加图像的信息熵,对低对比度烟雾干扰区域有明显的增强效果。     

基于NSCT的自适应多判决图像融合方法

针对传统的融合方法对于红外图像目标信息和可见光图像丰富的背景信息无法有效地保留到融合图像的问题,提出一种基于NSCT变换的自适应多判决红外与可见光图像融合方法。首先,将来自同一场景配准后的红外与可见光图像进行NSCT多尺度、多方向分解;然后,分别对高低频系数采取不同的融合规则：低频系数采用基于区域能量调节因子自适应加权的方法,对高频系数采用混合的融合方法,即对于高层,采用像素点绝对值选大的融合方法,对于低层采用基于对比度的多判决融合方法;最后,将得到的高低频融合系数进行逆NSCT变换得到融合图像。实验结果表明,经主客观评价,本文提出的融合方法优于文中其他基于多尺度分析的图像融合方法,可得到更理想的融合图像。     

High dynamic range imaging with short- and long-exposures based on artificial remapping using multiscale exposure fusion

High dynamic range imaging (HDRI) is an excellent high-quality image acquisition technique, which can reflect real human visual characteristics from one (or several) captured low dynamic range (LDR) image. However, the input LDR image only provides partial information of the scene. Besides, in traditional HDRI methods that require multiple captured images as input, field of view errors can be induced, which will be difficult to apply it to the emerging image acquisition systems. Here, we propose a novel HDRI method that reconstructs an HDR image from only a pair of short- and long-exposure images based on artificial remapping using multi-scale exposure fusion. Firstly, we introduce a simulated exposure model called artificial remapping to synthesize a multi-exposure image sequence from the input LDR image pairs. Then, weighting maps of the sequence for fusion can be obtained according to the evaluation factors of contrast, saturation, as well as improved exposedness. Finally, we utilize the pyramid based multiscale exposure fusion framework to integrate them into an enhanced HDR image. Comparative experiments, fully implemented on some source images, have been demonstrated that better performance can be realized compared with some competing methods in qualitative and quantitative evaluation. Note that the operation of the proposed method is simple yet effective, which is easy to popularize. The method thus can be potentially applied to the emerging image acquisition systems where two images are captured simultaneously by two image sensors or by one image sensor with a pair of short- and long-exposure setting.     

卷积神经网络结合NSST的红外与可见光图像融合

传统的多尺度红外与可见光图像融合方法,所提取的图像特征固定,并不能很好的应用于各类复杂的图像环境,而深度学习可以自主选择合适图像特征,改良特征提取单一性问题,因此提出一种基于卷积神经网络与非下采样剪切波变换（NSST）相结合的红外与可见光图像融合方法。首先,用卷积神经网络提取红外目标与背景的二分类图,利用调频（FT）显著性检测算法对分类图进行精准分割,同时,利用NSST将源图像多尺度、多方向进行分解;其次,利用目标显著性结合自适应模糊逻辑算法进行低频子带融合,利用高频系数局部方差对比度方法进行高频子带融合;最后,通过NSST逆变换得到融合后图像。实验结果表明:相比于传统图像融合算法,该方法在信息熵、平均梯度、空间频率、互信息和交叉熵等多个客观评价指标上至少分别提高了0.01%、0.30%、1.43%、2.32%、1.14%。一定程度提高了融合图像对比度,丰富了背景细节信息,更有利于人眼识别,可以广泛的应用于光电侦察、光电告警、多传感器信息融合等光电信息领域。     

图像融合在空间目标三维重建中的应用

图像融合可以获取目标更加丰富的层次和细节信息，有利于对探测目标信息的有效地获取，在包括空间目标的三维重建等应用中有着重要意义。针对空间目标的宽动态范围提出了一种多次曝光的图像融合方法，利用信息熵的非线性压缩判定图像融合权重，并引入双边滤波残差加强弱纹理的分配权重，有效地增加了图像的特征信息，提高了三维重建点云的数量。利用提出的融合方法开展了空间目标模拟成像试验，采用融合的图像对目标三维重建，并与多种不同曝光程度以及采用其他融合图像的方法进行了对比，提出的方法得到的重建点云数量相对恰当曝光状态提高了35%，重建结果优于其他方法。结果表明:将图像融合引入到三维重建中，能有效地加强了重建图像信息，避免了光照条件对目标三维重建的不利影响，获得较高质量的重建效果，该方法可以很好地应用到基于图像序列的空间目标三维重建应用中。