多尺度细节融合的多曝光高动态图像重建

同一场景不同曝光的图像序列,常出现曝光不足或曝光过度的区域,造成高亮或阴暗处的细节损失。针对这一问题,提出的多尺度细节融合的多曝光高动态图像重建方法,根据图像的对比度、饱和度、适度曝光量等三个测度因子生成原始多曝光图像的权重图,对分解的权重高斯金字塔进行Dirichlet函数映射,保证信息丰富区域权值最大,通过拉普拉斯金字塔重建,使得融合图像所包含的细节信息最大化并且最大限度地减少失真。     

基于Retinex理论的多曝光图像融合算法

多曝光图像融合技术是将一组场景相同但曝光程度不同的图像序列直接融合成为一幅含有更多场景细节信息的高质量图像。针对现有算法局部对比度差和色彩失真的问题，结合Retinex理论模型提出了一种新的多曝光图像融合算法。首先，基于Retinex理论模型，利用光照估计算法将曝光序列图像分为入射光分量序列和反射光分量序列，然后分别采用不同的融合方法对这两组序列进行处理。对于入射光分量，要保证场景的全局亮度的变化特性并且削弱过曝光和欠曝光区域的影响；而对于反射光分量，要采用适度曝光的评价参数来更好地保留场景的色彩及细节信息。分别从主观和客观两方面对所提算法进行了分析。实验结果表明，同传统基于图像域合成的算法相比，该算法在结构相似度（SSIM）上平均提升了1.7%，另外在图像色彩和局部细节上的处理效果更好。     

基于动态范围扩展的海底视频图像增强算法

水下视频成像是海洋探测的关键技术,但是海底的特殊环境造成海底图像存在细节模糊、光照不均等问题。为此提出一种基于动态范围扩展的海底视频图像增强算法,该算法可以同时处理因光照不均而引起的图像曝光过度和曝光不足现象。首先,构造映射函数判断图像曝光过度和曝光不足的区域;然后,计算图像的动态范围,利用图像的“闲置空间”对图像曝光过度和曝光不足区域同时进行动态扩展;最后将图像转换到YCbCr空间对扩展后的图像进行亮度通道的直方图均衡化。实验结果表明,和已有算法比较,新算法既可以避免传统的直方图均衡化产生的图像过增强,提高了图像的清晰度,又可以修复图像因光照不均丢失的像素信息,显著改善图像细节。     

基于多感知的红外图像增强算法设计

通过总结传统红外图像增强算法的优缺点,分析FILR公司数字图像细节增强(DDE)技术的基本思路,提出了一种基于图像分层处理的基本框架,利用引导滤波器实现细节增强。该算法通过多感知方法,将高动态范围红外图像压缩映射到低动态范围,同时,尽量保留图像细节,既能在低动态范围的图像中保留整体场景的有效感知,又突出了图像中的重要目标细节信息。     

基于梯度的多曝光图像融合

针对运动场景拍摄的不同曝光度的图像序列,提出基于梯度的多曝光图像融合方法,将不同曝光度的图像细节呈现到同一张普通图像上。该方法是直接加权融合的方法,先用梯度信息来定义权值,然后用多分辨率加权融合。实验表明,本文的方法取得较好实验结果,消除运动物体对图像融合产生的影响,同时增强了图像的细节表现能力,具有较好的实用价值。     

基于亮度分区模糊融合的高动态范围成像算法

针对单幅图像生成高动态范围（HDR）图像进行直方图扩展时,造成的色彩失真、局部细节信息丢失的问题,提出了一种基于亮度分区融合的高动态范围图像成像算法。首先,提取正常曝光彩色图像的亮度分量,根据亮度阈值将亮度分成两个区间;然后,对两个区间的图像用改进的指数函数扩展其亮度范围,使得低亮度区域的亮度增加、范围扩大,高亮度区域的亮度减小、范围扩大,从而增大图像的整体对比度,保留色彩和细节信息;最后,将扩展后的图像和原始正常曝光的图像基于模糊逻辑的方法融合为高动态图像。分别从主观和客观两方面对所提算法进行了分析。实验结果表明,所提算法能够有效地扩展图像的亮度范围,并保持场景的颜色信息和细节信息,生成的图像视觉效果更佳。     

一种非线性变换的双直方图红外图像增强方法

红外图像具有噪声大、对比度低等特点,红外图像增强是红外探测、识别和跟踪应用中的核心问题之一。在红外图像增强技术中,直方图均衡方法简单、有效,但存在细节信息损失较大的缺陷。提出一种对红外图像采用非线性变换分段直方图的增强方法,该方法对红外图像进行非线性变换,提高较暗区域的像素亮度,根据前背景区域特征将直方图分成两段,进行双直方图均衡化处理,对前景和背景分别进行图像的增强。经过实验验证,该算法能有效提高图像亮度,扩大目标区的灰度范围,增强前景图像的细节部分。     

全细节增强多曝光图像融合

目的 曝光融合算法,即将多幅不同曝光时间的图像融合得到一幅曝光度良好的图像,可能在最终的输出图像中引入光晕伪影、边缘模糊和细节丢失等问题。针对曝光融合过程中存在的上述问题,本文从细节增强原理出发提出了一种全细节增强的曝光融合算法。方法 在分析了光晕现象产生原因的基础上,从聚合的新角度对经典引导滤波进行改进,明显改善引导滤波器的保边特性,从而有效去除或减小光晕;用该改进引导滤波器提取不同曝光图像的细节信息,并依据曝光良好度将多幅细节图融合得到拍摄场景的全细节信息;将提取、融合得到的全细节信息整合到由经典曝光融合算法得到的初步融合图像上,最终输出一幅全细节增强后的融合图像。结果 实验选取17组多曝光高质量图像作为输入图像序列,本文算法相较于其他算法得到的融合图像边缘保持较好,融合自然;从客观指标看,本文算法在信息熵、互信息与平均梯度等指标上都较其他融合算法有所提升。以本文17组图像的平均结果来看,本文算法相较于经典的拉普拉斯金字塔融合算法在信息熵上提升了14.13%,在互信息熵上提升了0.03%,在平均梯度上提升了16.45%。结论 提出的全细节增强的曝光融合算法将加权聚合引导滤波用于计算多曝光序列图像的细节信息,并将该细节信息融合到经典曝光融合算法所得到的一幅中间图像之上,从而得到最终的融合图像。本文的处理方法使最终融合图像包含更多细节,降低或避免了光晕及梯度翻转等现象,且最终输出图像的视觉效果更加优秀。     

源于现实，超越现实说说HDR摄影

HDRI,高动态范围影像,通常被简化为HDR。对场景按不同曝光值进行多次曝光,捕捉到该场景的所有动态范围,再通过HDR软件进行处理,便得到一幅相似于人眼所见的该场景其高光和阴影部分的细节一览无余。     

同一场景不同曝光图像的配准及HDR图像合成

提出了一种针对同一场景不同曝光的多幅照片图像的配准、恢复光照响应曲线及高动态范围图像合成算法.首先将不同曝光的序列图像中值二值化,利用多尺度思想构造二值图像的金字塔序列并逐级比较,以实现多幅图像间的平移配准和转角配准.从配准后的序列图像中采样,根据最小二乘原理拟合出相机的光照响应曲线,并获得图像中像素值与曝光量之间的映射关系,进而将不同曝光的场景照片图像融合成一幅高动态范围图像.实验结果表明,合成的高动态范围图像效果满意.     

基于梯度域融合的图像视觉效果改善

针对同一场景不同图像之间可存在互补优缺点的特点,提出了采用梯度域融合的方法改善图像视觉效果的增强方法。首先将待融合各图像的结构张量按一定比例进行融合,在权重的设计中考虑了各通道图像的局部对比度。之后求出目标梯度场,其结构张量在Frobenius范数意义下逼近前述融合后得到的结构张量。最后采用最小二乘拟合从目标梯度场重建出增强后的图像。方法可应用于同一图像不同增强方法结果之间、相同场景采用不同对焦距离或不同曝光时间所拍摄照片之间等的融合。实验结果表明,融合后的图像能保持各输入通道图像中显著的有意义细节和结构信息,有效改善增强图像的视觉效果。     

Accidental Pinhole and Pinspeck Cameras

We identify and study two types of “accidental” images that can be formed in scenes. The first is an accidental pinhole camera image. The second class of accidental images are “inverse” pinhole camera images, formed by subtracting an image with a small occluder present from a reference image without the occluder. Both types of accidental cameras happen in a variety of different situations. For example, an indoor scene illuminated by natural light, a street with a person walking under the shadow of a building, etc. The images produced by accidental cameras are often mistaken for shadows or interreflections. However, accidental images can reveal information about the scene outside the image, the lighting conditions, or the aperture by which light enters the scene.     

Camera calibration and light source orientation from solar shadows

In this paper, we describe a method for recovering camera parameters from perspective views of daylight shadows in a scene, given only minimal geometric information determined from the images. This minimal information consists of two 3D stationary points and their cast shadows on the ground plane. We show that this information captured in two views is sufficient to determine the focal length, the aspect ratio, and the principal point of a pinhole camera with fixed intrinsic parameters. In addition, we are also able to compute the orientation of the light source. Our method is based on exploiting novel inter-image constraints on the image of the absolute conic and the physical properties of solar shadows. Compared to the traditional methods that require images of some precisely machined calibration patterns, our method uses cast shadows by the sun, which are common in natural environments, and requires no measurements of any distance or angle in the 3D world. To demonstrate the accuracy of the proposed algorithm and its utility, we present the results on both synthetic and real images, and apply the method to an image-based rendering problem.     

基于照度与场景纹理注意力图的低光图像增强

目的 现有的低照度图像增强算法常存在局部区域欠增强、过增强及色彩偏差等情况,且对于极低照度图像增强,伴随着噪声放大及细节信息丢失等问题。对此,提出了一种基于照度与场景纹理注意力图的低光图像增强算法。方法 首先,为了降低色彩偏差对注意力图估计模块的影响,对低光照图像进行了色彩均衡处理;其次,试图利用低照度图像最小通道约束图对正常曝光图像的照度和纹理进行注意力图估计,为后续增强模块提供信息引导;然后,设计全局与局部相结合的增强模块,用获取的照度和场景纹理注意力估计图引导图像亮度提升和噪声抑制,并将得到的全局增强结果划分成图像块进行局部优化,提升增强性能,有效避免了局部欠增强和过增强的问题。结果 将本文算法与2种传统方法和4种深度学习算法比较,主观视觉和客观指标均表明本文增强结果在亮度、对比度以及噪声抑制等方面取得了优异的性能。在VV（Vasileios Vonikakis）数据集上,本文方法的BTMQI（blind tone-mapped quality index）和NIQMC（no-reference image quality metric for contrast distortion）指标均达到最优值;在178幅普通低照度图像上本文算法的BTMQI和NIQMC均取得次优值,但纹理突出和噪声抑制优势显著。结论 大量定性及定量的实验结果表明,本文方法能有效提升图像亮度和对比度,且在突出暗区纹理时,能有效抑制噪声。本文方法用于极低照度图像时,在色彩还原、细节纹理恢复和噪声抑制方面均具有明显优势。代码已共享在Github上：https://github.com/shuanglidu/LLIE_CEIST.git。     

BEMD分解和W变换相结合的红外与可见光图像融合

目的 针对传统的基于多尺度变换的图像融合算法的不足,提出了一种基于W变换和2维经验模态分解（BEMD）的红外与可见光图像融合算法。方法 首先,为了更有效地提取图像的高频信息,抑制BEMD中存在的模态混叠现象,提出了一种基于W变换和BEMD的新的多尺度分解算法（简称W-BEMD）;然后,利用W-BEMD对源图像进行塔式分解,获得图像的高频分量WIMFs和残差分量WR;接着,对源图像对应的WIMFs分量和WR分量分别采用基于局部区域方差选择与加权和基于局部区域能量选择与加权的融合规则进行融合,得到融合图像的W-BEMD分解;最后,通过W-BEMD逆变换得到最终融合图像。W-BEMD分解算法的主要思想是通过W变换递归地将BEMD分解过程中每层所得低频分量中滞留的高频成分提取出来并叠加到相应的高频分量中,实现更有效的图像多尺度分解。结果 对比实验结果表明,本文方法得到的融合图像视觉效果更佳,既有突出的红外目标,又有清晰的可见光背景细节,而且在平均梯度（AG）、空间频率（SF）、互信息（MI）3个客观评价指标上也有显著优势。结论 本文提出了一种新的红外与可见光图像融合算法,实验结果表明,该算法具有较好的融合效果,在保留可见光图像中的细节信息和突出红外图像中的目标信息方面更加有效。     

Analysis by synthesis in computational vision with application to remote sensing

The central problem in vision is to determine scene properties from image properties. This is difficult because the problem, formally posed, is underconstrained. Methods that infer scene properties from images make assumptions about how the world determines what we see. In remote sensing, some of these assumptions can be dealt with explicitly. Available scene knowledge, in the form of a digital terrain model and a ground cover map, is used to synthesize an image for a given date and time. The synthesis process assumes that the surface is a perfectly diffuse or "lambertian" reflector. A scene radiance equation is described based on simple models of direct solar irradiance, diffuse sky irradiance, and atmospheric path radiance. Parameters of the model are estimated from the real image. A statistical comparison of the real image and the synthetic image is used to judge how well the model represents the mapping from scene to image.
The methods presented for image synthesis are similar to those used in computer graphics. The motivation, however, is different. In graphics, the goal is to produce an effective rendering of the scene for a human viewer. Here, the goal is to predict properties of real images. In vision, one must deal with a confounding of effects due to surface shape, surface material, illumination, shadows, and atmosphere. These effects often detract from, rather than enhance, the determination of invariant scene characteristics.     

改进生成对抗网络在场景图像转换中的应用

本文针对不同场景图像之间的转换问题,提出了一种改进的生成对抗网络模型,能够生成高质量的目标场景图像.在生成目标图像过程中存在因为向下采样而丢失原图像空间位置信息的现象,因此本文设计了一个包含跳跃连接和残差块的生成网络,通过在网络中加入多个跳跃连接部分,将图像的空间位置信息在网络中保持传递.同时为提高训练过程中生成图像在结构上的稳定性,引入SSIM图像结构相似指数,作为结构重建损失,以指导模型生成更优结构的目标图像.此外,为使得转换后的目标场景图像保留更多的色彩细节,加入了身份保持损失,明显增强了目标生成图像的色彩表现力.实验结果表明,本文所提的改进生成对抗网络模型能够在场景图像转换中得到有效地应用.     

提取目标区域词袋特征的图像分类方法

规则网格是视觉词袋模型中常用的图像检测方法,该方法抽取图像所有区块,获得背景区块和目标区块完整的图像信息。事实上,抽取的背景区块信息对类别的判定往往会有一定的混淆作用。以“摩托车”类和“小汽车”类的图像为例,这两类图像背景特征相似,大多都是道路,一般的分类方法很可能将它们分为相同类别。可见,背景信息会干扰图像分类结果。因此,提出一种提取目标区域词袋特征的图像分类方法。利用图像分割去除背景信息提取目标区域;对目标区域构建视觉词袋模型;使用SVM分类器对图像进行分类。PASCAL VOC2006及PASCAL VOC2010数据集上的实验结果表明,提取目标区域词袋特征的图像分类方法具有较好的分类性能。     

基于颜色校正和去模糊的水下图像增强方法

由于光在水下传播时会出现吸收和散射的情况,水下图像往往存在色偏、对比度低、模糊、光照不均匀等问题。根据水下图像成像模型,人们在海底拍摄所获得的图像往往是退化的图像,而退化的图像不能完整地表达海洋场景信息,难以满足实际的应用需要。为此,文中提出了一种基于颜色校正和去模糊的水下图像增强方法。该方法有效融合了颜色校正和去模糊两个阶段,取得了递增的增强效果。在颜色校正阶段,首先对原始图像进行对比度拉伸,在对比度拉伸完成之后,图像可能存在拉伸过度或拉伸不足的现象。因此,所提方法根据灰度世界先验,在对比度拉伸后进一步使用伽马校正来优化和调整图像的对比度和色彩,使图像的R,G,B三通道的灰度值之和趋于相等。接着,在去模糊阶段,通过融合暗通道先验对颜色校正后的图像进行去模糊,得到最终的增强图像。实验结果表明,所提方法具有良好的整体恢复效果,能有效地恢复图像信息,在主观评价和客观评价上均展现出较好的效果。另外,所提方法可以作为水下图像分类等计算机视觉任务的预处理步骤,在实验中能够将水下图像集的分类精度提升16%左右。