生成式对抗网络的图像超分辨率重建

为了提高图像生成效果,减少高频信息损失,文中提出了一种基于深度学习的生成式对抗网络模型结构,实现单幅图像超分辨率重建。文中在SRGAN方法的基础上修改了网络结构、残差网络和卷积参数,采用DIV2K数据集进行网络模型训练,利用峰值信噪比和结构相识性两种评价标准对生成的图片质量进行测试与评价。实验结果表明,相较于SRGAN方法生成的高分辨率图像,文中方法生成的图像视觉效果更好、纹理更清晰,具有更好的客观和主观评价。     

基于改进生成式对抗网络的图像去雾算法研究

针对传统图像去雾算法存在颜色失真并被雾图先验理论束缚的问题,提出一种基于GAN(Generative Adver?sarial Networks)的去雾算法Defog-GAN,将雾天图片和普通图片分别送入GAN的生成器与鉴别器,利用卷积神经网络对图像的颜色与纹理信息特征进行提取,鉴别器最终引导生成器生成去雾图像.以分块输入形式对GAN的鉴别器做了改进,提高了模型训练速度,引入新的激活函数LeakyRelu,使输入在负值上也有一定的输出,加强图像细节的还原.对输出的去雾图像进行局部颜色直方图匹配,增强图像真实度.实验表明,改进后的网络模型缩短了训练时间,且在真实图像中去雾效果更好,主观评价和客观评价优于其他算法.     

风格感知和多尺度注意力的人脸图像修复

人脸图像修复是计算机视觉领域中重建人脸图像的一项重要图像处理技术。现有人脸图像修复技术存在修复结果全局语义不合理的问题,这主要是由于现有技术的特征长程迁移能力不足,无法将破损图像中已知区域的信息合理地迁移到被遮蔽区域上。为此,本文在生成式对抗网络(generative adversarial network, GAN)框架下,构建了一种融合风格感知和多尺度注意力的编解码人脸图像修复模型。风格感知模块用于提取图像的全局语义信息,并利用提取的信息对编码逐级地进行渲染,以实现对修复过程的全局性调节;利用多尺度注意力模块对多尺度特征进行补丁块提取,并通过共享注意力得分和提取补丁块的矩阵乘法进行多尺度特征的长程迁移。在公开数据集CelebA-HQ上的实验结果表明:风格感知模块和多尺度注意力模块极大地增强了修复网络的特征长程迁移能力。相较于现有先进的人脸图像修复方案,本文所提出的模型在多种评价指标上均有显著的提升;修复结果的全局语义更加合理,并且在暗光条件下的修复效果更加自然。     

结合双重注意力机制的遮挡感知行人检测

针对行人检测算法在交通场景下应用时的遮挡问题,提出一种结合双重注意力机制的遮挡感知行人检测算法.以RetinaNet作为基础框架,在回归和分类支路分别添加空间注意力和通道注意力子网络,增强网络对于行人可见区域的关注;同时引入行人可见边界框信息对传统的回归损失函数进行优化,使其能够随着遮挡程度自适应地调节预测框贡献的权重...     

基于级联生成对抗网络的人脸图像修复

人脸图像修复技术为近年来图像处理领域的研究热点。该文提出一种基于级联生成对抗网络的人脸图像修复方法,从生成器、判别器、损失函数三个方面进行改良。生成器采用由粗到精的级联式模型,并结合密集连接模块使所修复区域更加精细;判别器采用局部与全局特征相融合的双重判别式模型以提升判别准确性;损失函数采用最小化重构损失和对抗网络损失相结合以获得更好训练效果。基于CelebA数据集的实验显示,该方法可实现面部区域丢失50%以上的人脸图像修复,在客观评价指标PSNR和SSIM上,较现有方法分别提高了1.1~7.5 dB和0.02~0.15。从主观效果来看,该方法修复的人脸图像拥有更丰富的细节、更显自然。     

基于生成对抗网络的遮挡图像修复算法

提出一种基于生成对抗网络的遮挡图像修复算法,能够在大量像素缺失的场景下复原出图像的本来面目.该算法不同于其他的样本块搜索复原算法,可直接生成并且填充可能的缺失元素,改进了生成对抗网络生成模型的结构和生成损失的计算方法,具有半监督学习的特点.实验结果表明,在满足图像整体轮廓的前提下,新算法优于其他算法.     

基于时间感知注意力机制的混合编码网络方法

传统的混合编码网络在小样本数据训练情况下,捕捉用户意图与语义分析方面存在局限性,很难应用到新领域进行迁移训练。时间感知注意混合编码网络(time-aware attention hybrid code networks,TAA-HCN)通过构建时间感知的注意力机制和用户意图集成(user intent integration,UII)的门控机制建模用户意图与动作措施的关系,捕捉用户意图随时间动态变化,结合元学习的思想进行模型梯度自适应,以便模型快速收敛。TAA-HCN模型在WOZ数据集与BABI数据集上进行试验与分析,当目标域数据为总数据的5%时,F1与BLEU指标几乎全收敛,且准确率为69.3%,这表明了本研究的模型具有仅需很少的目标数据即可实现良好性能的能力。     

融合上下文感知注意力的低光图像去雾网络

现有的低光去雾算法因受图像光照强度低、光照不均匀等影响,其去雾后的图像存在细节丢失、色彩失真等现象。针对上述问题,提出一种融合上下文感知注意力的低光图像去雾网络(ACANet)。首先,在基准网络中引入层内上下文感知注意力模块,分别从通道维度和空间维度结合全局视角辨识和加权同一尺度下的重要特征,使网络突破局部视野的约束,更加高效地提取图像纹理信息;其次,引入层间上下文感知注意力模块,通过投影操作将高级特征映射到信号子空间,以实现不同层之间多尺度特征信息的高效融合,进一步提升对图像细节的重建;最后,引入CIEDE2000色偏损失函数,通过CIELAB色彩空间对图像色调进行约束,并与L2损失一起联合优化网络,使网络准确地学习图像色彩,以解决图像的严重色偏问题。实验结果表明,所提算法在多个数据集上的客观指标均优于现有去雾算法,其峰值信噪比指标较基准网络提高了8.8%,且主观去雾效果更彻底,恢复图像细节更丰富,色彩还原度更好,更接近于真实图像。     

注意力机制的SAR图像车辆目标检测网络

在SAR图像车辆目标检测过程中,车辆轮廓定位不仅能够提供车辆位置信息,而且还能够为车辆状态分析提供依据,是SAR图像理解的关键步骤。但SAR图像中乘性斑点噪声会对轮廓定位造成干扰,增加车辆目标检测的难度。针对这一问题,提出了一种注意力机制的SAR图像像素级车辆目标检测网络。该网络由目标筛选、目标定位和轮廓细化三个模块构成。目标筛选在一个轻量级的特征提取网络中采用通道注意力和自注意力机制,在抑制噪声影响的同时对包含目标图像进行快速筛选,并提供稳定的定位热力图;目标定位利用掩码交叉注意力机制根据定位热力图优化粗尺度特征细化目标定位,并融入细尺度信息改善目标轮廓细节;轮廓细化通过轮廓点筛选消除上采样及噪声带来的轮廓不确定点获取准确的轮廓像素点置信度。对MSTAR数据集进行车辆像素级标注,建立SAR图像车辆数据集及大场景图像数据集用于网络测试。实验结果表明,该网络具有良好的像素级检测性能,可实现大场景SAR图像中车辆目标的快速精确检测。     

基于注意力机制的生成对抗网络古诗插图生成方法

古诗插图自动生成是非常具有挑战性的任务。提出了一种新的方法,通过使用注意力机制的生成对抗网络,输入古诗文字和草绘图,经由网络输出古诗插图。该模型在利用编码与解码的图片生成结构的同时,结合注意力机制,将图像色彩及轮廓特征进行了提取,生成器中加入了残差网络模块,增加了网络深度,同时提高了网络模型的效果,最终生成图像质量更高的古诗插图。实验结果表明,所提方法相较于对比方法,在图像质量和色彩渲染方面均有优势,输入的古诗和草图经过网络模型,生成了较为符合古诗意境的插图。     

融合残差块注意力机制和生成对抗网络的海马体分割

研究一种基于改进的生成对抗网络的深度学习方法对海马体进行分割。提出不同的卷积配置,以捕获由分割网络获得的信息。提出以Pixel2Pixel为基本架构的生成对抗网络模型,生成模型结合残差网络以及注意力机制的编解码结构以捕获更多细节信息。判别网络采用卷积神经网络对生成模型的分割结果和专家分割结果进行判别。经过生成模型和对抗模型不断地传递其损失,使生成模型达到分割海马体的最优状态。使用来自ADNI数据集130名健康受试者的T1加权MRI扫描和相关海马标签作为训练和测试数据,以相似度系数作为评价指标,准确率达到89.46%。试验结果表明,该网络模型可以实现高效地自动分割海马体,对于阿尔茨海默症等疾病的正确诊断具有重要的现实意义。     

融合残差块注意力机制和生成对抗网络的海马体分割

研究一种基于改进的生成对抗网络的深度学习方法对海马体进行分割。提出不同的卷积配置,以捕获由分割网络获得的信息。提出以Pixel2Pixel为基本架构的生成对抗网络模型,生成模型结合残差网络以及注意力机制的编解码结构以捕获更多细节信息。判别网络采用卷积神经网络对生成模型的分割结果和专家分割结果进行判别。经过生成模型和对抗模型不断地传递其损失,使生成模型达到分割海马体的最优状态。使用来自ADNI数据集130名健康受试者的T1加权MRI扫描和相关海马标签作为训练和测试数据,以相似度系数作为评价指标,准确率达到89.46%。试验结果表明,该网络模型可以实现高效地自动分割海马体,对于阿尔茨海默症等疾病的正确诊断具有重要的现实意义。     

基于双判别生成对抗网络的不规则孔洞图像修复

为解决现有算法在修复随机、不规则大面积孔洞时出现色差和细节模糊的缺陷,提出了基于双判别生成对抗网络的不规则大孔洞图像修复网络架构.图像生成器是部分卷积定义的U-Net架构,归一化的部分卷积仅对有效像素完成端到端的掩码更新,U-Net中的跳过链接将图像的上下文信息向更高层分辨率传播,用重建损失、感知损失和风格损失的加权损...     

一种门控卷积生成对抗网络的图像修复算法

生成对抗网络图像修复算法在填充任意掩码区域时会经常出现错误,原因是其在进行卷积运算时将所有输入像素都视为有效像素.针对该问题,提出一种门控卷积生成对抗网络的图像修复算法,利用门控卷积替换网络残差块中的传统卷积,以有效地学习已知区域与掩码区域之间的关系.算法采用边缘修复加纹理修复的两阶段生成对抗修复网络.首先,用边缘检测...     

基于生成式对抗网络和多级小波包卷积网络的水下图像增强算法

为了解决水下图像的雾模糊和偏色问题,针对水下图像成像模型提出基于生成式对抗网络（GAN）和改进卷积神经网络（CNN）的水下图像增强算法. 利用生成式对抗网络合成水下图像,以对配对式水下图像数据集进行有效扩充. 利用多级小波变换,以不丢失特征分辨率的方式对水下图像进行多尺度分解,然后结合卷积神经网络利用紧凑式学习方式对多尺度图像进行特征提取,并利用跳跃连接以防止梯度弥散,克服水下图像的雾模糊效应. 利用风格代价函数学习彩色图像各通道间的相关性,提高模型的色彩校正能力,克服水下图像色彩失真的问题. 实验结果表明,相较对比算法,在主观视觉和客观指标上,本研究所提算法拥有更优秀的综合性能及鲁棒性.     

一种改进的生成对抗网络在朱金木雕图像修复中的应用

针对朱金木雕图像纹理丰富难以用简单超分辨率方法修复的问题,提出了一种改进的生成对抗网络方法。依据深度残差模型、子像素卷积模型及截断的预训练视觉几何组19 (Visual Geometry Group 19, VGG 19)模型,把输入的低分辨率图像转化为高分辨率图像,并利用原始图像的特征图计算内容损失;应用判别网络判别图像的真实性并计算对抗损失,不断反馈这两种损失来更新模型;通过迁移学习将预训练得到的参数迁移到朱金木雕数据集上,经过少量训练后得到新模型。实验结果表明：使用改进的生成对抗网络得到的峰值信噪比（FPSNR）与结构相似性（FSSIM）指标均值分别为22.546 9和0.675 9,使用其他方法得到FPSNR与FSSIM指标的均值分别为9.835 5和0.100 4。使用改进的生成对抗网络获得图片纹理更丰富,在指标和图像效果上更优。     

多注意力机制的口罩检测网络

提出一种口罩佩戴检测模型,引入多注意力机制,提升了网络特征挖掘能力; 利用柔性非极大抑制方法,消除多余目标检测框. 在公共数据库上的仿真实验表明,该模型检测人脸口罩佩戴的平均精度达到93.81%,帧率达到11.8 fps,能有效地进行人脸口罩佩戴检测.     

基于生成对抗网络的图像风格迁移

生成对抗网络(Generative Adversarial Network, GAN)可以生成和真实图像较接近的生成图像.作为深度学习中较新的一种图像生成模型,GAN在图像风格迁移中发挥着重要作用.针对当前生成对抗网络模型中存在的生成图像质量较低、模型较难训练等问题,提出了新的风格迁移方法,有效改进了BicycleGAN模型实现图像风格迁移.为了解决GAN在训练中容易出现的退化现象,将残差模块引入GAN的生成器,并引入自注意力机制,获得更多的图像特征,提高生成器的生成质量.为了解决GAN在训练过程中的梯度爆炸现象,在判别器每一个卷积层后面加入谱归一化.为了解决训练不够稳定、生成图像质量低的现象,引入感知损失.在Facades和AerialPhoto&Map数据集上的实验结果表明,该方法的生成图像的PSNR值和SSIM值高于同类比较方法.     

基于残差注意力机制的图像去雾算法

传统基于先验知识与基于学习的图像去雾算法依赖大气散射模型,容易出现颜色失真和去雾不彻底的现象。针对上述问题,提出一种端到端的基于残差注意力机制的图像去雾算法,该算法网络包括编码、多尺度特征提取、特征融合和解码4个模块。编码模块将输入的雾图编码为特征图像,便于后续特征提取并减少内存占用;多尺度特征提取模块包括残差平滑空洞卷积模块、残差块和高效通道注意力机制,能够扩大感受野并通过加权筛选提取的不同尺度特征以便融合;特征融合模块利用高效通道注意力机制,动态调整不同尺度特征的通道权重,学习丰富的上下文信息并抑制冗余信息,增强网络提取雾霾密度图像的能力从而使去雾更加彻底;解码模块对融合后的特征进行非线性映射得到雾霾密度图像,进而恢复无雾图像。通过在SOTS测试集和自然有雾图像上进行定量和定性的测试,所提方法取得了较好的客观和主观评价结果,并有效改善了颜色失真和去雾不彻底的现象。     

基于监督注意力机制的语义标签生成图像

由于卷积神经网络内部存在局部连接,通过学习局部特征,模型能够较好地生成纹理风格信息,但是对高级语义特征的学习能力较差,导致生成图像中语义目标出现模糊失真的现象.为提高神经网络的全局特征处理能力,使生成图像中的语义目标更清晰真实,本研究提出一种监督注意力机制应用于端到端结构的级联细化网络图像生成模型.对第一级精细化模块输...