基于改进CycleGAN的水下图像颜色校正与增强

针对水下观测图像的颜色失真和散射模糊问题, 提出一种基于改进循环一致性生成对抗网络(Cycle-consistent generative adversarial networks, CycleGAN)的水下图像颜色校正与增强算法. 为了利用CycleGAN学习水下降质图像到空气中图像的映射关系, 对传统CycleGAN的损失函数进行了改进, 提出了基于图像强边缘结构相似度(Strong edge and structure similarity, SESS)损失函数的SESS-CycleGAN, SESS-CycleGAN可以在保留原水下图像的边缘结构信息的前提下实现水下降质图像的颜色校正和对比度增强. 为了确保增强后图像和真实脱水图像颜色的一致性, 建立了SESS-CycleGAN和正向生成网络G相结合的网络结构; 并提出了两阶段学习策略, 即先利用非成对训练集以弱监督方式进行SESS-CycleGAN学习, 然后再利用少量成对训练集以强监督方式进行正向生成网络G的监督式学习. 实验结果表明: 本文算法在校正水下图像颜色失真的同时还增强了图像对比度, 且较好地实现了增强后图像和真实脱水图像视觉颜色的一致性.     

基于条件生成对抗网络的水下图像增强算法

针对由于光在水中传播所带来的影响,导致所获得的水下图像不清晰以及颜色失真的问题,提出了一种基于条件生成对抗网络(CGAN)的水下图像增强算法.为了达到更好的增强效果,利用完全配对的水下图像与清晰图像进行模型的训练,通过端到端的方式获取增强图像.在生成网络模型中,采用U-Net网络结构进行网络的信息减负,同时为了捕捉到更...     

生成对抗网络下的低剂量CT图像增强

为去除低剂量计算机断层扫描（LDCT）图像中的噪声,增强去噪后图像的显示效果,提出一种生成对抗网络（GAN）下的LDCT图像增强算法。首先,将GAN与感知损失、结构损失相结合对LDCT图像进行去噪;然后,对去噪后的图像分别进行动态灰度增强和边缘轮廓增强;最后,利用非下采样轮廓波变换（NSCT）将增强后的图像在频域上分解为具有多方向性的系数子图,并将配对的高低频子图使用卷积神经网络（CNN）进行自适应融合,以重构得到增强后的计算机断层扫描（CT）图像。使用AAPM比赛公开的真实临床数据作为实验数据集,进行图像去噪、增强、融合实验,所提方法在峰值信噪比（PSNR）、结构相似度（SSIM）和均方根误差（RMSE）上的结果分别为33.015 5 dB、0.918 5和5.99。实验结果表明,所提算法在去除噪声的同时能保留CT图像的细节信息,提高图像的亮度和对比度,有助于医生更加准确地分析病情。     

一种用于图像去雾的改进生成对抗网络

雾霾天气会使计算机视觉相关系统获取到的图像质量下降并影响系统的正常工作。传统图像去雾算法通过分析大量图像建立模型,并找出清晰图像与模型之间的映射关系,但该类算法大多存在颜色失真和图像失真的问题,且在某些特定场景下可能失效。基于卷积神经网络的去雾算法得到的图像质量相对较好,但是该类算法对数据集要求较高,普遍需要成对数据进行训练,而获取同一时刻和场景下的有雾图像与无雾图像难度较高。提出一种基于循环生成对抗网络（CycleGAN）的改进图像去雾算法,该算法无需使用成对的数据进行训练。通过优化生成器生成的无雾图像与真实无雾图像之间的颜色损失,使得生成器能够生成与无雾图像具有相同颜色分布的图像。同时,通过向2个生成器中分别添加对应目标域图像的输入并引入特征损失函数,以解决经典CycleGAN在图像转换时存在的图像失真问题,从而更好地还原原始图像的细节特征。实验结果表明,相较DCP、CycleGAN、AOD-Net、Cycle-dehaze等算法,该算法的结构相似度提高4.3%~23.0%,峰值信噪比提高2.3%~36.9%,其能取得更好的去雾效果。     

第二代Curvelet变换在低剂量CT图像增强中的应用

低剂量CT图像信噪比低,图像对比度差。对婴幼儿低剂量颅脑CT图像应用第二代Curvelet变换,分别对低频子带进行非线性增强、对高频子带应用自适应域值方法进行去噪后再进行非线性增强,再经Cuverlet反变换后,其结果与小波变换增强及直方图均衡增强的结果进行比较。结果显示第二代Curvelet变换增强图像对比度及信噪比明显提高,图像细节显示清晰,效果良好。     

基于局部生成对抗网络的水上低照度图像增强

针对低照度条件下获取的水上图像亮度和对比度低以及质量差的问题,提出一种基于局部生成对抗网络的图像增强方法.以残差网络作为基本框架设计生成器,通过加入金字塔扩张卷积模块提取与学习图像深层特征和多尺度空间特征,从而减少结构信息丢失.设计一个自编码器作为注意力网络,估计图像中的光照分布并指导图像不同亮度区域的自适应增强.构建...     

结合全卷积网络与CycleGAN的图像实例风格迁移

目的 传统的图像风格迁移主要在两个配对的图像间进行。循环一致性对抗网络（CycleGAN）首次将生成对抗网络应用于图像风格迁移,实现无配对图像之间的风格迁移,取得了一定的效果,但泛化能力较弱,当训练图像与测试图像之间差距较大时,迁移效果不佳。针对上述问题,本文提出了一种结合全卷积网络（FCN）与CycleGAN的图像风格迁移方法,使得图像能够实现特定目标之间的实例风格迁移。同时验证了训练数据集并非是造成CycleGAN风格迁移效果不佳的因素。方法 首先结合全卷积网络对图像进行语义分割,确定风格迁移的目标,然后将风格迁移后的图像与目标进行匹配,确定迁移对象实现局部风格迁移。为验证CycleGAN在训练图像和测试图像差距较大时风格转移效果不佳并非因缺少相应训练集,制作了训练数据集并带入原网络训练。结果 实验表明结合了全卷积网络与CycleGAN的图像风格迁移方法增加了识别能力,能够做到图像局部风格迁移而保持其余元素的完整性,相对于CycleGAN,该方法能够有效抑制目标之外区域的风格迁移,实验中所用4张图片平均只有4.03%的背景像素点发生了改变,实例迁移效果得到很好提升。而将自制训练集带入原网络训练后,依然不能准确地在目标对象之间进行风格迁移。结论 结合了全卷积网络与CycleGAN的方法能够实现图像的局部风格迁移而保持目标对象之外元素不发生改变,而改变训练数据集对CycleGAN进行实例风格迁移准确性的影响并不大。     

基于改进CycleGAN的人脸性别伪造图像生成模型

深度伪造可以将人的声音、面部及身体动作拼接,从而合成虚假内容,用于转换性别、改变年龄等.基于生成对抗式图像翻译网络的人脸性别伪造图像存在容易改变无关图像域、人脸细节不够丰富等问题.针对这些问题,文中提出基于改进Cy-cleGAN的人脸性别伪造图像生成模型.首先,优化生成器结构,利用注意力机制与自适应残差块提取更丰富的人...     

基于改进CycleGAN的道路场景语义分割研究

道路场景下的语义分割是无人驾驶中关键的技术,也是计算机视觉中重要的一个领域,而传统的语义分割方法需要对训练数据进行像素级的标注,对数据的要求极高。针对这一问题,将改进的循环生成对抗网络（cycleconsistent adversarial networks,CycleGAN）用于道路场景语义分割,该网络避免了大量的像素级标注且不需要成对的数据集,降低了数据集的要求。将原网络的目标函数用最小二乘损失和Smooth L1范数替代,增加了网络训练的稳定性且提高了生成图像的质量,并引入特征损失保证图像特征的保留,使得生成图像更加真实。使用道路场景分割中常用的Cityscapes数据集进行实验,并用语义分割领域常用的性能评价指标验证了方法的有效性,实验结果表明相较于原网络各性能都有一定提升。     

条件生成对抗网络的低照度图像增强方法

目的 在日常的图像采集工作中,由于场景光照条件差或设备的补光能力不足,容易产生低照度图像。为了解决低照度图像视觉感受差、信噪比低和使用价值低（难以分辨图像内容）等问题,本文提出一种基于条件生成对抗网络的低照度图像增强方法。方法 本文设计一个具备编解码功能的卷积神经网络（CNN）模型作为生成模型,同时加入具备二分类功能的CNN作为判别模型,组成生成对抗网络。在模型训练的过程中,以真实的亮图像为条件,依靠判别模型监督生成模型以及结合判别模型与生成模型间的相互博弈,使得本文网络模型具备更好的低照度图像增强能力。在本文方法使用过程中,无需人工调节参数,图像输入模型后端到端处理并输出结果。结果 将本文方法与现有方法进行比较,利用本文方法增强的图像在亮度、清晰度以及颜色还原度等方面有了较大的提升。在峰值信噪比、直方图相似度和结构相似性等图像质量评价指标方面,本文方法比其他方法的最优值分别提高了0.7 dB、3.9%和8.2%。在处理时间上,本文方法处理图像的速度远远超过现有的传统方法,可达到实时增强的要求。结论 通过实验比较了本文方法与现有方法对于低照度图像的处理效果,表明本文方法具有更优的处理效果,同时具有更快的处理速度。     

基于CycleGAN的灰度图像彩色化方法

当前主流的图片彩色化方法包括传统算法和深度学习方法.随着深度学习模型的发展,基于深度学习的灰度图像彩色化方法能带来更好的着色效果,但仍然存在细节损失和着色枯燥问题.针对上述问题,本文将CycleGAN模型应用在非单一类别的灰度图像彩色化上,使其在动物、植物、风景等图片上有逼真的着色效果.模型结构上对CycleGAN模型的激活函数加以改进,在生成器使用PReLU激活函数,使模型更易于训练.在判别器使用PatchGAN提高图片高分辨率上的颜色细节.通过ImageNet数据集5个热门类别图像的训练后,模型对动植物与风景图彩色化的效果十分逼真.在图像评估指标中,该模型在PSNR中比GAN高了0.603 dB约有2.1%的提升,在SSIM中明显高于其他模型,在效果上有5.1%的提升.从视觉感受来看,通过CycleGAN彩色化的图片饱和度更高,在视觉真实性上高于VGG和GAN等模型,解决了着色枯燥问题,而且更容易还原图片中的颜色细节,避免细节损失.     

改进融合策略下透明度引导的逆光图像增强

目的 针对传统的逆光图像增强算法存在的曝光正常区域与逆光区域间阈值计算复杂、分割精度不足、过度曝光以及增强不足等问题,提出一种改进融合策略下透明度引导的逆光图像增强算法。方法 对逆光图像在HSV(hue, saturation, value)空间中的亮度分量进行亮度提升和对比度增强,然后通过金字塔融合策略对改进的亮度分量进行分解和重构,恢复逆光区域的细节和颜色信息。此外,利用深度抠图网络计算透明度蒙版,对增强的逆光区域与源图像进行融合处理,维持非逆光区域亮度不变。通过改进融合策略增强的图像在透明度引导下既有效恢复了逆光区域又避免了曝光过度的问题。结果 实验在多幅逆光图像上与直方图均衡算法、MSR (multi-scale Retinex)、Zero-DEC (zero-reference deep curve estimation)、AGLLNet (attention guided low-light image enhancement)和LBR (learning-based restoration) 5种方法进行了比较,在信息熵(information entropy,IE)和盲...     

极端低光情况下的图像增强方法

针对极端低光情况下的图像增强问题,提出一种基于编码解码网络和残差网络的 端到端的全卷积网络模型。设计一个包括编码解码网络和精细网络2 部分的端到端的全卷积网 络模型作为转换网络,直接处理短曝光图像的光传感器数据得到RGB 格式的输出图像。该网 络包含对抗思想、残差结构和感知损失,先通过对极低光图像编码解码重构图像的低频信息, 之后将重构的低频信息输入残差网络中进而重构出图像的高频信息。在SID 数据集上进行实验 验证,结果表明,该方法有效地提高了极端低光情况下拍摄得到的图像进行低光增强之后的视 觉效果,增加了细节表达,使得图像中物体的纹理更加清楚和边缘更加分明。     

基础信息保持和细节强化的胸部CT图像增强

目的 清晰的胸部计算机断层扫描(computed tomography, CT)图像有助于医生准确诊断肺部相关疾病,但受成像设备、条件等因素的限制,扫描得到的CT图像质量有时会不尽如人意。因此,本文提出一种简单有效的基于基础信息保持和细节强化的胸部CT图像增强算法。方法 利用多尺度引导滤波器将胸部CT图像分解为一个基础信息层和多个不同尺度的细节层。基于熵的权重将胸部CT图像的多个细节层进行融合,并乘以强化系数进一步增强纹理细节。将强化的细节层和原始的基础信息层重新组合即可生成细节强化的胸部CT图像。通过此种增强方式,本文算法既能显著增强胸部CT图像的纹理细节,又能将大部分原始的基础结构信息保留到增强图像中。结果 为了验证算法的有效性,将本文算法与5种优秀的图像增强算法在由3 209幅胸部CT图像组成的数据集上进行测试评估。定性和定量实验结果表明,本文算法得到的增强图像保持了更多原始胸部CT图像中的基础结构信息,并更显著地强化了其中的纹理细节信息。在定量结果中,本文算法的标准差、结构相似性和峰值信噪比指标值均优于对比的5种方法,相比于性能第2的方法分别提高了4.95、0.16和4.47,...     

融合注意力机制和上下文信息的微光图像增强

目的 微光图像存在低对比度、噪声伪影和颜色失真等退化问题,造成图像的视觉感受质量较差,同时也导致后续图像识别、分类和检测等任务的精度降低。针对以上问题,提出一种融合注意力机制和上下文信息的微光图像增强方法。方法 为提高运算精度,以U型结构网络为基础构建了一种端到端的微光图像增强网络框架,主要由注意力机制编/解码模块、跨尺度上下文模块和融合模块等组成。由混合注意力块(包括空间注意力和通道注意力)引导主干网络学习,其空间注意力模块用于计算空间位置的权重以学习不同区域的噪声特征,而通道注意力模块根据不同通道的颜色信息计算通道权重,以提升网络的颜色信息重建能力。此外,跨尺度上下文模块用于聚合各阶段网络中的深层和浅层特征,借助融合机制来提高网络的亮度和颜色增强效果。结果 本文方法与现有主流方法进行定量和定性对比实验,结果显示本文方法显著提升了微光图像亮度,并且较好保持了图像颜色一致性,原微光图像较暗区域的噪点显著去除,重建图像的纹理细节清晰。在峰值信噪比(peak signal-to-noise ratio,PSNR)、结构相似性(structural similarity,SSIM)和图像感知...     

面向低剂量CT图像质量客观评价的MRF分析

为给低剂量CT （computed tomography）图像提供准确的客观评价指标,对常用的图像客观评价指标进行验证和比较分析。选用LIVE （laboratory for image and video engineering）综合图库对各个图像指标的性能进行验证分析,对不同剂量的体模CT图像进行客观评价。实验结果表明,基于马尔科夫随机场的互信息比其它指标更明显、准确地反映综合图库与低剂量CT图像的质量变化,能够为低剂量CT图像质量评价提供有力参考。     

An improved image enhancement framework based on multiple attention mechanism

Image enhancement can accentuate image feature and is necessary process in image processing. This work focuses on fusing multi-exposure image sequences low-light image enhancement. Inspired by the classical non-local means in computer vision, we proposed an improved deep neural network framework with attentions for image enhancement. Firstly, the original image was preprocessed in different dimensions. we get the edge images using an edge extracted algorithm and fusion multi exposed images to get an better initial images based on fully convolutional neural network with position and channel attention mechanism. Secondly, the head network is constructed by fully convolutional neural network. For capturing long-range dependencies between features maps, we designed a non-local attention module for head network to get better enhancement image. Finally, emerging the original images, edge image and fusion image as the input of the head network, it can enhance the images to get high-quality images. Experiments show that our framework proposed in this paper is effective and the attention mechanism play a significant hole in the network.