注意力与多尺度融合的图像阴影去除算法

针对图像阴影去除算法中复杂地物或与阴影区域纹理相似的暗区域阴影去除不完全的问题,提出了一种注意力与多尺度融合的图像阴影去除算法。该算法基于生成对抗网络框架构建。利用自定义的空洞残差块进行特征提取,获得精确的阴影特征信息并输入到注意力引导的编码网络;在注意力引导的编码阶段进行多尺度的特征融合,获取不同层次的感受野,使编码器能够在不同尺度上捕捉上下文信息;利用多重注意力机制引导判别网络对生成的无阴影图像进行鉴别,进而减少判别网络关键信息损失,提高判别网络的鉴别效果。分别在ISTD(dataset with image shadow triplets)与SRD(dataset for shadow removal)公开数据集上进行验证,实验结果表明：该算法视觉效果表现良好,单幅阴影去除后的图片与数据集中真实无阴影图片进行对比,SSIM(structural similarity)可达到0.978,PSNR(peak signal to noise ratio)可达到32.2 dB,RMSE(root mean squared error)可达到6.2,相比同类算法,具有显著优势,且对复杂地物...     

融合注意力机制的模糊图像多尺度复原

目的 去模糊任务通常难以进行对图像纹理细节的学习,所复原图像的细节信息不丰富,图像边缘不够清晰,并且需要耗费大量时间。本文通过对图像去模糊方法进行分析,同时结合深度学习和对抗学习的方法,提出一种新型的基于生成对抗网络(generative adversarial network, GAN)的模糊图像多尺度复原方法。方法 使用多尺度级联网络结构,采用由粗到细的策略对模糊图像进行复原,增强去模糊图像的纹理细节;同时采用改进的残差卷积结构,在不增加计算量的同时,加入并行空洞卷积模块,增加了感受野,获得更大范围的特征信息;并且加入通道注意力模块,通过对通道之间的相关性进行建模,加强有效特征权重,并抑制无效特征;在损失函数方面,结合感知损失(perceptual loss)以及最小均方差(mean squared error, MSE)损失,保证生成图像和清晰图像内容一致性。结果 通过全参考图像质量评价指标峰值信噪比(peak signal to noise ratio, PSNR)、结构相似性(structural similarity,SSIM)以及复原时间来评价算法优劣。与其他方法的对比结...     

结合注意力机制的多尺度特征融合图像去雾算法

针对传统图像去雾算法容易受到先验知识制约以及颜色失真等问题,提出了一种结合注意力机制的多尺度特征融合图像去雾算法.该算法首先通过下采样操作得到多个尺度的特征图,然后在不同尺度的特征图之间采用跳跃连接的方式将编码器部分的特征图与解码器部分的特征图连接起来以进行特征融合.同时,在网络中加入一个由通道注意力子模块和像素注意力...     

基于多尺度综合注意力的左心室图像分割方法研究

针对深度学习训练模型过程中存在感受野小及特征丢失等问题,提出一种基于生成对抗网络的心脏核磁共振图像分割网络MCA GAN,提取心肌内外膜的同时保留更多的浅层信息和深层信息,提高分割精度。将MCA GAN在多个心脏MRI分割竞赛的公开数据集上进行训练,并与FCN和DCGAN两个神经网络进行实验对比。实验结果表明,相较于FCN和DCGAN,MAC GAN的Dice系数内外膜提升了1.44%和3.18%,Jaccard系数提升了2.12%和3.35%,Sensitivity系数提升了1.18%和1.80%,和其他方法相比较均有显著提升。     

基于注意力机制与深度多尺度特征融合的自然场景文本检测

针对现有场景文本检测方法不能深入挖掘并充分融合多尺度文本实例判别性特征的问题,提出一种基于注意力机制与深度多尺度特征融合的自然场景文本检测方法。首先采用带有注意力增强的ResNeSt50作为骨干网络,提取文本实例在不同尺度上更具判别力的特征表示;然后设计深度多尺度特征融合模块,将不同尺度的特征信息进行交互,自适应地学习不同尺度特征图对应的权重矩阵,用于融合文本实例在不同尺度特征图上具有判别力的特征信息,从而获得更具鲁棒性的多尺度融合特征图;最后利用自适应的二值化后处理模块生成更加精确的文本区域边界框。为评估其有效性,大量实验在ICDAR2015,ICDAR2013和CTW1500数据集上进行验证,结果表明该方法相较于其他先进的检测方法取得了有竞争力的检测结果,展现出良好的鲁棒性和泛化能力。     

基于多注意力多尺度特征融合的图像描述生成算法

针对图像描述生成中对图像细节表述质量不高、图像特征利用不充分、循环神经网络层次单一等问题，提出基于多注意力、多尺度特征融合的图像描述生成算法。该算法使用经过预训练的目标检测网络来提取图像在卷积神经网络不同层上的特征，将图像特征分层输入多注意力结构中，依次将多注意力结构与多层循环神经网络相连，构造出多层次的图像描述生成网络模型。在多层循环神经网络中加入残差连接来提高网络性能，并且可以有效避免因为网络加深导致的网络退化问题。在MSCOCO测试集中，所提算法的BLEU-1和CIDEr得分分别可以达到0.804及1.167，明显优于基于单一注意力结构的自上而下图像描述生成算法；通过人工观察对比可知，所提算法生成的图像描述可以表现出更好的图像细节。     

基于多尺度特征融合和残差注意力机制的目标检测

作为一个多任务的学习过程,目标检测相较于分类网络需要更好的特征.基于多尺度特征对不同尺度的目标进行预测的检测器性能已经大大超过了基于单一尺度特征的检测器.同时,特征金字塔结构被用于构建所有尺度的高级语义特征图,从而进一步提高了检测器的性能.但是,这样的特征图没有充分考虑到上下文信息对语义的补充作用.在SSD基准网络的基...     

基于双通道多尺度注意力机制的光伏板裂缝检测方法

针对目前传统边缘检测方法提取出的图像边缘轮廓模糊、不连续等问题,提出一种基于双通道多尺度注意力机制的光伏板裂缝检测方法,实现对图像低级边缘、边界、目标轮廓的检测。首先构建了双通道主干网络,包含语义分支通道和空间细节分支通道;其次基于多尺度原则,构建了多尺度及注意力机制模块,对特征图像的高、宽、通道的维度变换,分配特征权重,在捕捉跨通道信息的同时,还能够捕捉方向感知和位置感知的信息;最后将空洞融合模块融合到语义分支通道中,提升网络提取特征信息的能力。实验结果表明,所提出的算法对光伏板图像边缘检测性能有提升,相较HED、RCF与FCN算法,F1值提升了2.83%、0.37%与1.54%,获得了较为清晰的裂缝图像。     

基于注意力机制的多尺度融合航拍影像语义分割

航拍影像同一场景不同对象尺度差异较大,采用单一尺度的分割往往无法达到最 佳的分类效果。为解决这一问题,提出一种基于注意力机制的多尺度融合模型。首先,利用不 同采样率的扩张卷积提取航拍影像的多个尺度特征;然后,在多尺度融合阶段引入注意力机制, 使模型能够自动聚焦于合适的尺度,并为所有尺度及每个位置像素分别赋予权重;最后,将加 权融合后的特征图上采样到原图大小,对航拍影像的每个像素进行语义标注。实验结果表明, 与传统的 FCN、DeepLab 语义分割模型及其他航拍影像分割模型相比,基于注意力机制的多尺 度融合模型不仅具有更高的分割精度,而且可以通过对各尺度特征对应权重图的可视化,分析 不同尺度及位置像素的重要性。     

基于注意力机制的多尺度特征融合网络用于宫颈细胞核分割

宫颈细胞图像中嘈杂的背景、不良的对比度、正常和异常细胞中细胞核形状和大小的差异给自动分割带来了极大的困难。因此,提出一种新颖的基于注意力机制的多尺度特征融合网络（AMF-Net）。首先,以残差U型网络作为骨干网络,通过更深的网络层数来有效地提升性能,增加特征的复用能力;其次,针对癌变细胞中核边界模糊、核质对比度降低的问题,将注意力模块添加到网络中,通过集合空间和通道两个维度的注意力图,对宫颈细胞核特征细化;然后,由于癌变细胞核的形状一般情况下由圆形轮廓变为不规则轮廓,通过采用多个不同膨胀因子的空洞卷积并结合残差结构构成多尺度输入模块,克服U型网络感受野的局限性以更好地处理不规则轮廓形状的癌变细胞核;最后,针对宫颈图像中正常细胞核很小的特点,将focal loss与dice loss相结合作为损失函数以解决前景与背景不平衡的问题。在Herlev数据集中进行有效性验证,结果表明AMF-Net的Zijdenbos相似指数（ZSI）为0.972 8,能够有效地提升宫颈细胞核的检测精度。     

结合Pix2Pix生成对抗网络的灰度图像着色方法

针对神经网络在进行图像着色时容易出现物体边界不明确、图像着色质量不高的问题,提出结合Pix2Pix生成对抗网络的灰度图像着色方法.首先改进U-Net结构,采用8个下采样层和8个上采样层对图像进行特征提取和颜色预测,提高网络模型对图像深层次特征的提取能力;然后使用L1损失和smoothL1损失度量生成图像与真实图像之间的差距,对比不同损失函数下的图像着色质量;最后加入梯度惩罚,在生成图像和真实图像分布之间构造新的数据分布,对每个输入数据进行梯度惩罚,改变判别器网络梯度限制方法,提高网络在训练过程中的稳定性.在相同实验环境下,使用Pix2Pix模型和summer2winter数据进行对比分析.实验结果表明,改进后的U-Net和使用smooth L1损失作为生成器损失可以生成更好的着色图像;而L1损失能更好地保持图像结构信息,使用梯度惩罚可以加速模型的收敛速度,提高模型稳定性和图像质量;该方法能更好地学习图像的深层次特征,减少图像着色模糊现象,在有效地保持图像结构相似性的同时提高图像着色质量.     

基于图像着色的无限制攻击

深度学习目前被广泛应用于计算机视觉、机器人技术和自然语言处理等领域。然而,已有研究表明,深度神经网络在对抗样本面前很脆弱,一个精心制作的对抗样本就可以使深度学习模型判断出错。现有的研究大多通过产生微小的Lp范数扰动来误导分类器的对抗性攻击,但是取得的效果并不理想。本文提出一种新的对抗攻击方法——图像着色攻击,将输入样本转为灰度图,设计一种灰度图上色方法指导灰度图着色,最终利用经过上色的图像欺骗分类器实现无限制攻击。实验表明,这种方法制作的对抗样本在欺骗几种最先进的深度神经网络图像分类器方面有不俗表现,并且通过了人类感知研究测试。     

基于视觉注意力机制的人脸属性迁移

人脸属性迁移作为计算机视觉领域的一个研究热点,对于数字娱乐制作、辅助人脸识别等领域有着重要的意义.现有的算法存在着生成图像模糊、转移属性无关区域变化等问题.针对这些不足,提出一种基于视觉注意力生成对抗网络的人脸属性迁移模型.生成器为减小属性无关区域的变化,引入视觉注意力分别输出RGB图像和注意力图像,并通过一定的融合方...     

基于注意力生成对抗网络的单幅图像去雨方法

下雨是一种常见的天气现象,而滞留在图像上的雨条纹降低了图像的清晰度以及影响了基于该图像的后续图像处理.从图像中去除雨的关键是如何准确、鲁棒地识别图像中的雨区域.使用导向滤波器和Haar小波变换组成的雨线提取模块来增强雨条纹特征提取,然后通过空间关注模块生成雨线注意力图,以准确定位雨条纹的位置.两者结合后,获得降雨条纹的...     

基于聚集残差生成对抗网络的图像去模糊

针对现有图像去模糊算法存在的处理模糊种类单一、耗时长等问题,提出了一种基于聚集残差生成对抗网络的图像去模糊算法.首先,利用生成对抗网络,生成重建图像判别标签,使最后生成的图像更加接近清晰图像;其次,结合聚集残差网络与通道注意力模块,构成特征提取模块,提取中间层的有用特征信息;最后,采用WGAN的Wasserstein-1距离与感知损失结合作为损失函数训练模型,保证生成图像与清晰图像在内容上的一致性.在PyTorch环境下用GOPRO数据集和Kohler数据集测试所提算法,并与L0范数先验、暗通道先验、特异性去模糊、DeepDeblur,DeblurGAN等算法进行对比.实验结果表明,所提算法应用于复原运动模糊图像和高斯模糊图像时,峰值信噪比等评价指标均高于其他算法,并且耗时更短.     

基于属性分解融合的可控人脸图像合成算法

在现实生活中,人脸图像受隐私或安全因素的限制难以直接采集,因此可以考虑采用图像生成方法。当使用生成对抗网络进行图像生成时,容易出现分辨率低、边缘模糊、身份信息特征丢失等问题。针对上述问题,提出了一种新的人脸特征生成模型：通过将关键信息作为独立编码嵌入隐式空间,再与全局特征进行融合插值实现对人脸关键特征的可控生成;引入改进的注意力模块,在生成过程中关注局部特征和全局特征的相关性;将色差损失和人脸分量损失联合引入整体损失函数中,负责约束像素颜色和人脸纹理特征。该算法可以在人脸局部区域生成自然真实的外观特征,保留原始身份信息,并生成平滑的面部轮廓。使用预处理后的CelebA数据集的实验表明,该算法在主观视觉效果上有显著提升,同时与现有方法相比在PSNR和SSIM上有稳定的提升。     

基于对抗自编码器的矢量草图生成方法

针对现有矢量草图生成方法存在的生成结果潦草,以及编码草图信息单一等问题,提出一种基于对抗自编码器的矢量草图生成方法.借助对抗自编码器自身所具有的对抗的机制,将像素化表示的草图所具有的空间信息融合到矢量草图的生成过程中,使得生成的草图具有更好的类别形状信息.既利用了矢量草图所包含的笔画间的时序信息,又利用了像素草图所包含的绘画物体的形状信息.在QuickDraw数据集上进行了草图生成实验,并使用Ske-score评价指标进行量化度量,实验结果表明所提方法能够缓解生成结果出现的潦草效应,并且生成的草图具有更好的视觉美观性和更高程度的类别可辨识性.     

多尺度语义信息无监督山水画风格迁移网络

针对图像转换类的生成对抗网络在处理无监督风格迁移任务时存在的纹理杂乱、生成图像质量差的问题,基于循环一致性损失提出了循环矫正多尺度评估生成对抗网络。首先在网络架构的设计上,基于图像的三层语义信息提出了多尺度评估网络架构,以此强化源域到目标域的迁移效果;其次在损失函数的改进上,提出了多尺度对抗损失以及循环矫正损失,用于以更严苛的目标引导模型的迭代优化方向,生成视觉质量更好的图片;最后为了预防模式崩溃的问题,在风格特征的编码阶段添加了注意力机制以提取重要的特征信息,在网络的各阶段引入ACON激活函数以加强网络的非线性表达能力,避免神经元坏死。实验结果表明,相比于CycleGAN、ACL-GAN,所提出方法在山水画风格迁移数据集上的FID值分别降低了21.80%和34.33%;为了验证模型的泛化能力,在Vangogh2Photo和Monet2Photo两个公开数据集上进行了泛化实验对比,FID值相比于两个对照网络分别降低了7.58%、18.14%和4.65%、6.99%。     

基于CycleGAN的灰度图像彩色化方法

当前主流的图片彩色化方法包括传统算法和深度学习方法.随着深度学习模型的发展,基于深度学习的灰度图像彩色化方法能带来更好的着色效果,但仍然存在细节损失和着色枯燥问题.针对上述问题,本文将CycleGAN模型应用在非单一类别的灰度图像彩色化上,使其在动物、植物、风景等图片上有逼真的着色效果.模型结构上对CycleGAN模型的激活函数加以改进,在生成器使用PReLU激活函数,使模型更易于训练.在判别器使用PatchGAN提高图片高分辨率上的颜色细节.通过ImageNet数据集5个热门类别图像的训练后,模型对动植物与风景图彩色化的效果十分逼真.在图像评估指标中,该模型在PSNR中比GAN高了0.603 dB约有2.1%的提升,在SSIM中明显高于其他模型,在效果上有5.1%的提升.从视觉感受来看,通过CycleGAN彩色化的图片饱和度更高,在视觉真实性上高于VGG和GAN等模型,解决了着色枯燥问题,而且更容易还原图片中的颜色细节,避免细节损失.