BDCN和U-net边缘生成两阶段修复算法

为了对图像中大面积不规则缺失区域进行合理的结构修复和精细的纹理重构,提出了一种基于双向级联边缘检测网络（BDCN）和U-net残缺边缘生成的两阶段网络图像修复算法.第一阶段首先基于BDCN网络提取边缘,然后基于U-net架构的边缘生成网络用下采样对缺失图像边缘提取特征,再结合上采样的输入信息和下采样各层信息还原图像边缘纹理细节;第二阶段使用空洞卷积进行下采样和上采样,经过残差网络重建细节丰富的缺失图像.在公开数据集上将所提算法与现有经典算法进行对比,实验结果表明,所提算法能得到合理的结构和精细的纹理细节,优于对比算法.     

基于双判别生成对抗网络的不规则孔洞图像修复

为解决现有算法在修复随机、不规则大面积孔洞时出现色差和细节模糊的缺陷,提出了基于双判别生成对抗网络的不规则大孔洞图像修复网络架构.图像生成器是部分卷积定义的U-Net架构,归一化的部分卷积仅对有效像素完成端到端的掩码更新,U-Net中的跳过链接将图像的上下文信息向更高层分辨率传播,用重建损失、感知损失和风格损失的加权损...     

数字图像修复的DI-StyleGANv2模型

当数字图像存在大面积缺失或者缺失部分纹理结构时,传统图像增强技术无法从图像有限的信息中还原出更多所需的信息,增强性能有限。为此,本文提出了一种将解码信息与StyleGANv2相融合的深度学习图像修复方法——DI-StyleGANv2。首先由U-net模块生成包含图像主信息的隐编码以及次信息的解码信号,随后利用StyleGANv2模块引入图像生成先验,在图像生成的过程中不但使用隐编码主信息,并且整合了包含图像次信息的解码信号,从而实现了修复结果的语义增强。在FFHQ和CelebA数据库上的实验结果验证了所提方法的有效性。     

基于双网络及多尺度判决器的图像修复算法

为了有效解决修复复杂背景及高分辨率图像时产生的边界扭曲、伪影及训练不稳定的缺陷,提出了一种基于双生成对抗网络及多尺度判决器的图像修复算法。首先,将待修复图像输入基于空洞卷积(Dilated Convolution)层的内容预测网络,以重构损失和基于生成对抗损失的全局判决器为标准,进行粗修复.然后将粗修复结果输入细节修复网络,经空洞卷积路径和感知(Contextual Attention)卷积路径解码和反卷积后,送入三个不同尺度的判决器进行优化。在公认的图像数据集上对本文算法进行训练和测试,实验结果显示：提出方法在修复背景复杂及高分辨率图像时,能生成合理的结构和清晰的纹理细节,其主客观指标均优于对比算法。     

基于语义分割的织锦类自适应风格迁移算法

通过风格迁移的数字化手段可以辅助艺术作品的创作,但由于织锦类手工艺品具有颗粒感线条、块状色彩、前后景纹理区别较大等特点,使用现有风格迁移算法得到的输出图像在视觉上难以达到令人满意的效果.针对上述问题,提出了一种基于语义分割的织锦类自适应感知域风格迁移算法,将语义分割任务和基于自适应感受域的风格迁移算法相结合,并提出新的内容损失和风格损失.此外,为了解决生成结果图像后景中纹理不均匀的问题,在内容图像上增加高斯噪声用于平滑训练过程中生成图像的后景纹理.实验结果表明,所提算法在织锦作品风格迁移任务中的表现优于现有算法.     

基于纹理修复的双焦相机连续数字变焦算法

设计主要用于双焦相机成像系统的连续数字变焦算法. 该算法将双焦相机连续数字变焦问题拆分成长焦相机视场内的特征迁移问题和长焦相机视场外的纹理修复问题. 在实现细节上,该算法参考基于上下文语义的图像修复算法的思路,利用长焦相机图像的纹理信息修复短焦相机图像,并在2个问题上使用相似的网络结构来降低长焦相机视场内外细节视觉效果的差异. 实验结果表明,相比其他算法,所提算法能显著提升变焦图像的质量,有效改善长焦相机视场内外纹理细节差距较大的问题,在主客观评价上都具有更好的表现. 此外,该方法对于处于长焦相机视场外的纹理细节,具有明显的修复效果,对于实际拍摄的图像同样有效.     

结合感知注意力机制的生成式对抗网络图像修复

针对现有经典图像修复算法修复结果存在的语义信息不合理、修复边界处易产生伪影等问题,本文结合注意力机制对其进行改进。第一层生成模型对图像进行编码解码操作,完成粗略修复;第二层生成模型结合感知注意力,完成具有更合理语义信息的精细修复;采用局部鉴别器和全局鉴别器对修复内容进行反馈优化。与其他两种主流修复算法基于CelebA数据集进行对比,PSNR值最大程度提升了1.34 dB,SSIM值最大程度提升了0.007。实验结果表明,用结合注意力机制算法修复后图像的语义结构以及纹理的完整性与原图更加接近。     

基于道路中心线的分阶段弱监督遥感图像道路提取

利用语义分割算法从卫星图像中提取道路已经成为遥感道路监测任务的主流解决方案。然而，不同地理环境下卫星图像中的道路纹理复杂多变，加之道路的像素级标注成本昂贵，因此在训练语义分割模型时大量使用像素级标注的方法是不现实的。对此，提出了一种分阶段弱监督道路提取算法，利用道路中心线涂鸦标签进行弱监督训练，并分阶段地训练道路分割模型。此外，还提出了伪掩码更新策略和混合训练策略，设计了适用于道路前景和背景的损失函数。实验结果表明，所提算法在道路分割任务中比其他基于道路中心线的弱监督方法具有更优异的性能，而消融实验结果也验证了所提训练策略的有效性。     

基于多尺度残差的生成对抗网络医学MRI影像超分辨率重建

针对医学MRI影像成像过程中由于噪声、成像技术等各种干扰因素引起的图像细节丢失、纹理不清晰等问题,提出了基于多尺度残差的生成对抗网络医学MRI影像超分辨率重建算法.首先,利用多尺度残差组改进网络中的残差块,局部残差特征聚合模块将残差组聚合在一起,实现残差特征的非局部使用,减少局部特征在网络传播过程中的丢失;其次,通过注意力机制获取对关键信息响应程度更高的通道和空间特征信息,进而提升重建图像的细节纹理效果;然后,将低分辨率图像的梯度图转化为高分辨率图像的梯度图辅助重建超分辨率图像;最后,将恢复后的梯度图集成到超分辨率分支中,为超分辨率重建提供结构先验信息,从而明确地指导高质量超分辨率图像生成.对比基于梯度引导的结构保留超分辨率算法(SPSR),本文所提算法在×2,×3,×4尺度下的峰值信噪比平均提高了0.72 dB,实验结果表明所提算法重建出的医学MRI影像纹理细节更加丰富、视觉效果更加逼真.     

多层次特征融合与超图卷积的生成对抗壁画修复

针对现有深度学习图像修复方法在修复壁画时,存在特征利用率低及对上下文信息关注不足等问题,提出了一种多层次特征融合与超图卷积的生成对抗壁画修复模型。首先,设计金字塔特征提取层结构,利用金字塔特征分层对壁画进行多尺度层次特征提取,并采用混合空洞卷积单元扩大多层特征提取感受野,克服了单尺度卷积操作对于壁画特征提取能力不足的问题。然后,提出多分支短链融合层及门控机制融合多分支特征,将相邻分支间的特征信息进行融合,使融合后的壁画特征图中既有同分支的特征,又有相邻分支的特征,提高特征信息的利用率,并引入门控机制对特征进行选择融合,减少细节信息的丢失。接着,将融合特征通过ConvLSTM特征注意力,增强对壁画上下文信息的关注。最后,设计超图卷积壁画长程特征增强模块,通过在编码器和解码器的跳跃连接之间建立超图卷积层,利用超图卷积来捕获编码器的空间特征信息,将其迁移到解码器中,有助于解码器更好地生成壁画图像,加强特征的长程依赖关系,并与SN-PatchGAN判别网络对抗完成壁画修复。通过对人为添加破损和真实破损壁画图像进行数字化修复实验,结果可以发现：所提方法在PSNR和SSIM等客观评价指标均优于对比算法。多组实验结果表明：所提方法的对于破损壁画修复结果更加清晰自然。     

基于视觉关系推理与上下文门控机制的图像描述

为了探索图像场景理解所需要的视觉区域间关系的建模与推理,提出视觉关系推理模块. 该模块基于图像中不同的语义和空间上下文信息,对相关视觉对象间的关系模式进行动态编码,并推断出与当前生成的关系词最相关的语义特征输出. 通过引入上下文门控机制,以根据不同类型的单词动态地权衡视觉注意力模块和视觉关系推理模块的贡献. 实验结果表明,对比以往基于注意力机制的图像描述方法,基于视觉关系推理与上下文门控机制的图像描述方法更好;所提模块可以动态建模和推理不同类型生成单词的最相关特征,对输入图像中物体关系的描述更加准确.     

一种改进的生成对抗网络在朱金木雕图像修复中的应用

针对朱金木雕图像纹理丰富难以用简单超分辨率方法修复的问题，提出了一种改进的生成对抗网络方法。依据深度残差模型、子像素卷积模型及截断的预训练视觉几何组19 (Visual Geometry Group 19, VGG 19)模型，把输入的低分辨率图像转化为高分辨率图像，并利用原始图像的特征图计算内容损失；应用判别网络判别图像的真实性并计算对抗损失，不断反馈这两种损失来更新模型；通过迁移学习将预训练得到的参数迁移到朱金木雕数据集上，经过少量训练后得到新模型。实验结果表明：使用改进的生成对抗网络得到的峰值信噪比（FPSNR）与结构相似性（FSSIM）指标均值分别为22.546 9和0.675 9，使用其他方法得到FPSNR与FSSIM指标的均值分别为9.835 5和0.100 4。使用改进的生成对抗网络获得图片纹理更丰富，在指标和图像效果上更优。     

基于单阶段生成对抗网络的文本生成图像方法

为了提高生成图像质量，提出新的文本生成图像方法，整体框架采用单阶段文本生成图像主干.在原有模型只使用句子信息生成图像的基础上，使用注意力机制把单词信息融入图像特征，采用合理地融入更多文本信息的方式提高生成图像的质量.引入对比损失，使相同语义图像之间更加接近，不同语义图像之间更加疏远，从而更好地保证文本与生成图像之间的语义一致性.在生成器中采用动态卷积来增强生成器的表达能力.实验结果表明，所提方法在数据集CUB(Fréchet inception distance(FID)从12.10提升到10.36)和数据集COCO(FID从15.41提升到12.74)上都获得了较好的性能提升.     

红外与可见光图像融合的U-GAN模型

红外与可见光图像进行融合是解决单一传感器成像不足的有效手段,目的是得到适合人眼并有利于下一步应用和处理的融合图像。为解决大部分方法特征提取不全面,细节纹理丢失及公共数据集样本较少不利于训练等问题,提出一种用于图像融合的端到端网络结构。将U-net特有的卷积结构用于图像融合,最大程度地提取并保留源图像的重要特征信息。再通过生成对抗网络得到最后的融合结果,将U-net提取的特征输入生成器与包含红外图像的鉴别器进行对抗,得到训练模型。实验结果表示,所提算法能够得到轮廓清晰、纹理突出、目标明显的融合图像,SD、SF、SSIM、AG等指标明显得到提升。     

基于注意力特征提取网络的图像描述生成算法

针对解决图像描述生成中对浅层图像特征利用不充分、图像目标间关系提取不足的问题,提出一种基于注意力图像特征提取的图像描述生成算法.通过语言模型上下文信息对不同深度图像特征进行自适应注意力权重分配,使带有注意力的图像特征参与指导图像描述生成,提升了图像描述生成的效果.在MSCOCO测试集中所提算法的BLEU-1和CIDEr得分分别达到0.752和0.934,从而验证了所提算法的有效性.     

纹理萃取耦合U型更新的图像修复算法

针对传统图像修复算法在对破损区域优先权计算时,没有对破损图像纹理进行合理的预先处理,致使修复后的图片出现错误的匹配和纹理延伸等诸多问题,提出一种纹理萃取耦合U型更新的图像修复算法。首先,利用小波变换的方法去噪再结合角点检测分析,萃取出破损区域的纹理指标,对破损区域进行纹理萃取处理,以有效反应破损区域图像与匹配图像中纹理的相似度,在优先权计算时,利用萃取的纹理指标,以增加对匹配块优先选取的可靠性。其次,为解决Criminisi算法中置信度值快速趋0,从而导致修复图像连贯性差的问题,利用U型计算方式对修复块的置信度进行强化从而抑制置信度的快速衰减,解决修复图像连贯性差的问题,优化图像修复的视觉效果。通过与不同的图像修复算法进行对比实验,验证了文中所提修复方法具有更加稳定修复效果,更加符合肉眼在对图像观察时的视觉要求。     

基于相似图像配准的图像修复算法

传统基于纹理合成的图像修复算法只能从破损图像中提取有用信息,不能修复复杂结构;基于深度学习的修复算法训练时间长,纹理合成效果不理想.为解决上述问题,该文提出了一种基于相似图像配准的图像修复算法.首先提出一种破损图像的相似度计算方法,利用图像的深度学习特征,在数据库中寻找与之最为相近的图像,为修复过程提供更多的有效信息;...     

基于生成对抗网络的遮挡图像修复算法

提出一种基于生成对抗网络的遮挡图像修复算法,能够在大量像素缺失的场景下复原出图像的本来面目.该算法不同于其他的样本块搜索复原算法,可直接生成并且填充可能的缺失元素,改进了生成对抗网络生成模型的结构和生成损失的计算方法,具有半监督学习的特点.实验结果表明,在满足图像整体轮廓的前提下,新算法优于其他算法.     

综合结构与纹理特征的图像修复算法

为了还原图像中已经损失的信息,采用综合图像结构与纹理特征的方法,对图像修复进行了研究.在选定修复区域后,算法能自动根据待修复区域周围的信息进行填充,无需人为干预.实验结果表明,对于有划痕或较大损坏区域的图像,该算法都取得了较好的修复效果.     

生成式对抗网络的图像超分辨率重建

为了提高图像生成效果,减少高频信息损失,文中提出了一种基于深度学习的生成式对抗网络模型结构,实现单幅图像超分辨率重建。文中在SRGAN方法的基础上修改了网络结构、残差网络和卷积参数,采用DIV2K数据集进行网络模型训练,利用峰值信噪比和结构相识性两种评价标准对生成的图片质量进行测试与评价。实验结果表明,相较于SRGAN方法生成的高分辨率图像,文中方法生成的图像视觉效果更好、纹理更清晰,具有更好的客观和主观评价。