基于边缘图与多尺度特征融合的图像修复

针对现有的图像修复方法在面对大规模图像缺损和不规则破损区域修复时,修复结果出现生成结构与原图像语义不符以及纹理细节模糊等问题,本文提出一种利用生成边缘图的多尺度特征融合图像修复算法——MSFGAN(multi-scale feature network model based on edge condition).模型采用两阶段网络设计,使用边缘图作为修复条件对修复结果进行结构约束.首先,使用Canny算子提取待修复图像的边缘图进行完整边缘图生成;然后利用完整的边缘图结合待修复图像进行图像修复.为了弥补图像修复算法中经常出现的问题,提出一种融入了注意力机制的多尺度特征融合模块(attention mechanism multi-fusion convolution block, AM block),实现受损图像的特征提取和特征融合.在图像修复网络解码器部分引入跳跃链接,将高级语义提取和底层特征进行融合实现高质量细节纹理修复.在CelebA和Places2数据集上的测试结果显示, MSFGAN修复质量上比当前修复方法有一定提升,其中在20%–30%掩码比例中, SSIM平均提升0.029...     

基于并行对抗与多条件融合的生成式高分辨率图像修复

现有的图像修复算法经常会有伪影、语义不准等问题出现,对于缺失较大、分辨率较高的图像,修复效果有限.为此,文中提出基于并行对抗与多条件融合的二阶图像修复网络.首先,利用改进的深度残差网络对缺失图像进行生成式像素填充,并利用第一阶对抗网络补全边缘.然后,提取填充图颜色特征,融合补全边缘图,将融合图作为第二阶对抗网络的条件标签.最后,通过带上下文注意力模块的第二阶网络得到修复结果.在多个数据集上的实验表明,文中算法可获得较逼真的修复效果.     

多注意力机制网络卫星图像分割算法

针对深度学习的语义分割法,在卫星图像分割中对半岛、小岛和湖泊细小支流的边缘信息提取丢失问题,提出了多注意力机制网络（MA-Net）卫星图像分割算法,弥补了边缘信息提取丢失问题。该算法的框架采用了端到端的对称结构,由编码和解码两部分组成。编码部分采用改进的VGG16网络提取湖泊的纹理特征,解码部分引入全局平均池化注意力融合机制（GPA）,能够有效融合编码部分提取的纹理特征,得到高分辨率的卫星图像特征图。在网络的输出端加入注意力机制模块（Attention）,充分提取湖泊边缘信息,有效分割出半岛、小岛和湖泊细小支流。实验结果表明,该模型相比现有语义分割算法,具有更好的分割精度,各项分割指标都有提升,并且在公共数据集City Scapes上验证了模型具有通用性。     

基于门控卷积和SENet的双判别生成对抗网络图像修复模型

针对现有模型修复带有随机不规则掩码且语义内容复杂的图片时细节不够真实这一问题，提出了一种基于门控卷积和SENet的双判别生成对抗网络图像修复模型。首先，将破损图片掩码输入由若干门控卷积堆叠成的粗网络中，在上采样时添加通道注意力（SE），结合L1重建损失，得到初步修复图；然后，将初步修复图输入精细网络，精细网络由若干门控卷积块和通道注意力块构成，结合重构损失、感知损失和对抗损失完善重要特征和细节，将破损图像的完好区域覆盖到精细网络的修复图上，得到完成修复的图片；最后，使用双判别网络结构进行训练，使精细网络的输出与完成修复的图片更加真实。在celebA数据集上进行实验，所提模型对带有大面积不规则掩码图片的修复结果在峰值信噪比（PSNR）上达到了27.39 dB，相较于部分卷积提升了6.74%，在结构相似性（SSIM）上达到了0.921 6，较部分卷积提升了2.95%。实验结果表明，引入通道注意力和双判别结构有助于提升图像修复的细节。     

中国古画渐进式多级特征修复算法

针对中国古画图像修复后的结果图像内容不一致、存在明显人工痕迹、修复区域的细节信息丢失和修复后的内容模糊等问题,提出利用绘画图像的多级语义特征渐进式地修复中国古画的算法.将中国古画的修改过程分为5个阶段,分别从宏观、中观和微观的语义层面渐进式地修复古画图像.首先关注高抽象级别的语义信息和大尺度的结构信息;然后逐渐地将注意力转移到越来越精细的尺度上,而不必同时学习所有尺度的信息,由古画的高层的语义特征渐进式地向较低层的语义特征的修复.依据11位作家共197幅高清数字化古画制作了山水画、街景画、花鸟画和人物画4个数据集,在这4个数据集上的实验结果表明,所提算法在PSNR, SSIM, IS, FID等指标上的结果优于一步到位的修复算法.     

基于边缘先验融合动态门控特征的人脸图像修复

为解决现有人脸图像修复算法因无法提取动态特征和缺乏边缘先验信息导致修复大区域不规则破损时纹理模糊和结构扭曲问题,提出了基于边缘先验融合动态门控特征的人脸图像修复算法。首先,设计动态门控卷积模块动态提取破损区域特征,关联已知区域和缺失区域的有效特征,提升纹理细腻度;然后,设计动态门控边缘增强网络和U型编码纹理修复网络,边缘增加网络旨在获取边缘轮廓信息,为U型编码纹理修复网络提供结构先验约束;U型编码纹理修复网络采用UNet++网络融合多层特征以保证人脸修复图像结构和纹理一致性;最后,通过消融实验证明UNet++网络的有效性和通用性,并剪枝U型网络以选取适宜的人脸图像模型表征层进行缺失区域纹理重建,在CelebA-HQ人脸数据集上进行实验评估。实验结果表明：相较于主流算法,所提方法在SSIM上平均提升3.87%,PSNR平均提升3.79 dB,FID平均下降16.54%,能有效修复大区域不规则缺失面积,生成纹理清晰、结构合理的图像。     

基于深度学习的遥感影像语义分割研究

高分辨率遥感图像的语义分割是遥感应用领域中的重要任务之一。针对经典语义分割网络在高分辨率遥感图像语义分割中存在边缘目标分割不准确、多尺度目标分割困难等问题，提出了一种基于改进空洞空间金字塔池的编码器-解码器结构网络(SMANet)。编码部分使用带有注意力机制的残差网络，使得网络充分提取图像的特征信息，其次通过多并行空洞空间金字塔模块（MASPP）获得特征图有关类别和空间上下文的更详细.信息；解码部分以自底向上方式将深层次语义信息逐步融入到低层次高分辨率图像中。使用WHDLD公开数据集对该算法进行实验，获得了6418%的平均交并比，实验结果表明SMANet优于目前主流的语义分割网络。     

煤岩显微图像划痕检测与去除方法

煤岩显微图像预处理主要包括煤岩划痕检测与去除。针对基于霍夫变换算法的煤岩划痕检测难以准确提取空间形状特征和有效细化边缘信息,容易出现漏检和误检的问题,提出了基于语义分割的煤岩划痕检测方法。该方法引入残差结构改进空间注意力模型,将该模型嵌入以VGG卷积层作为图像特征编码器的U-Net中,实现对煤岩划痕的语义分割。针对基于快速行进的图像修复算法使得煤岩划痕去除区域和周围区域存在纹理差异和视觉伪影的问题,提出了采用基于改进区域匹配的图像修复算法去除煤岩划痕。通过采用k个最近邻图像块查找、跨尺度及旋转角度搜索策略和基于欧氏距离的图像块偏移距离度量,实现煤岩划痕的有效去除。实验结果表明,基于语义分割的煤岩划痕检测方法能准确反映煤岩划痕的边缘细节,具有较好的空间特征解析性能,提高了煤岩划痕检测准确性;采用基于改进区域匹配的图像修复算法去除煤岩划痕能使煤岩划痕去除区域与周围区域的纹理特征更具有一致性,提升图像整体视觉效果。     

基于多特征融合的多尺度生成对抗网络图像修复算法

针对多尺度生成式对抗网络图像修复算法（MGANII）在修复图像过程中训练不稳定、修复图像的结构一致性差以及细节和纹理不足等问题,提出了一种基于多特征融合的多尺度生成对抗网络的图像修复算法。首先,针对结构一致性差以及细节和纹理不足的问题,在传统的生成器中引入多特征融合模块（MFFM）,并且引入了一个基于感知的特征重构损失函数来提高扩张卷积网络的特征提取能力,从而改善修复图像的细节性和纹理特征;然后,在局部判别器中引入了一个基于感知的特征匹配损失函数来提升判别器的鉴别能力,从而增强了修复图像的结构一致性;最后,在对抗损失函数中引入风险惩罚项来满足利普希茨连续条件,使得网络在训练过程中能快速稳定地收敛。在CelebA数据集上,所提的多特征融合的图像修复算法与MANGII相比能快速收敛,同时所提算法所修复图像的峰值信噪比（PSNR）、结构相似性（SSIM）比基线算法所修复图像分别提高了0.45%～8.67%和0.88%～8.06%,而Frechet Inception距离得分（FID）比基线算法所修复图像降低了36.01%～46.97%。实验结果表明,所提算法的修复性能优于基线算法。     

并行注意力机制在图像语义分割中的应用

在卷积神经网络中融入注意力机制越来越成为语义分割强化特征学习的重要方法.提出了一种融合了局部注意力和全局注意力的卷积神经网络.输入图像经主干网络的特征提取,并行输入给局部注意力和全局注意力模块.局部注意力模块以编码-解码结构实现多尺寸的局部特征融合,全局注意力模块根据每个像素与其所在特征图上所有像素的相关性捕获全局信息...     

改进的遥感图像语义分割算法

针对遥感图像中多个目标聚集导致边缘混淆，小尺度物体分割不明显，以及语义分割过程中全局信息获取不足的问题，提出了一种基于混合注意力与全尺度跳层连接网络的遥感图像语义分割算法DU-net。该算法以U-net3+为基础网络，采用全尺度跳层连接网络作为特征提取网络，摒弃了原算法中的深度监督，建立特征与注意力机制之间的关联，最终实现语义分割的过程。实验结果表明，DU-net算法在不同指标下较经典算法都有明显提升，同时提高了图像边缘分割质量，改善了算法对小尺度目标的分割准确度。     

基于双通道多尺度注意力机制的光伏板裂缝检测方法

针对目前传统边缘检测方法提取出的图像边缘轮廓模糊、不连续等问题，提出一种基于双通道多尺度注意力机制的光伏板裂缝检测方法，实现对图像低级边缘、边界、目标轮廓的检测。首先构建了双通道主干网络，包含语义分支通道和空间细节分支通道；其次基于多尺度原则，构建了多尺度及注意力机制模块，对特征图像的高、宽、通道的维度变换，分配特征权重，在捕捉跨通道信息的同时，还能够捕捉方向感知和位置感知的信息；最后将空洞融合模块融合到语义分支通道中，提升网络提取特征信息的能力。实验结果表明，所提出的算法对光伏板图像边缘检测性能有提升，相较HED、RCF与FCN算法，F1值提升了2.83%、0.37%与1.54%，获得了较为清晰的裂缝图像。     

基于语义先验和双通道特征提取的图像修复

针对现有的图像修复算法重建结果存在的局部结构不连通、细节还原不准确等问题,提出了一种基于语义先验和双通道特征提取的图像修复算法（semantic prior and dual channel extraction,SPDCE）。该算法利用语义先验网络学习缺失区域的语义信息和上下文知识,对缺失区域进行预测,增强了生成图像的局部一致性;然后通过双通道特征提取网络充分挖掘图像信息,提升了对纹理细节的感知和利用能力;再使用上下文特征调整模块在多个尺度上捕获并编码丰富的语义特征,从而生成更真实的图像视图和更精细的纹理细节。在CelebA-HQ和Places2数据集上进行实验验证,结果表明,SPDCE算法与常用算法相比,峰值信号比（peak signal-to-noise ratio,PSNR）和结构相似性（structural similarity,SSIM）分别提升1.6~1.73 dB和3.1%~9.9%,L1 loss下降15.2%~27.8%。实验证明所提算法修复后的图像具有更合理的结构和更丰富的细节,图像修复效果更优。     

基于上下文特征的渐进式图像修复方法

针对现有图像修复方法在面对大尺度缺失时生成部分易产生伪影、不符合原始图像语义等问题,提出了一种基于上下文特征的渐进式图像修复方法。首先,使用ResNet18网络对破损图像进行粗略填充。然后,将其输入具有双分支结构的细化网络：上下文特征聚合模块通过多尺度语义特征获取现存图像内部最有利于修复图像的区域;注意转移网络学习缺失区域与剩余背景区域的联系,将其以更高分辨率对缺失区域进行填充,引入CBAM(convolutional block attention module)模块作为网络注意力机制。定义全局和局部判别网络实现生成图像与背景语义一致性并计算得到对抗损失,将L₁损失与结构相似性损失相结合作为网络重建损失,再将其与对抗损失相结合作为损失函数。在Place2数据集上进行实验,平均峰值信噪比和平均结构相似性分别为27.83 dB和93.19%;与四种图像修复方法进行比较：主观感受上该方法较其他方法生成的修复图像更加清晰自然,与背景语义高度相符;客观指标上选用四种常用评价指标进行比较,在更符合人眼视觉的结构相似性上该方法分别提升11.48%、6.23%、3.24%、2....     

融合动态特征与注意力的敦煌壁画修复模型

敦煌壁画图像含有丰富的纹理和结构信息,在破损壁画修复过程中,容易忽略受损特征信息与完整特征信息之间的区别,从而误导修复过程生成不合理的壁画内容。针对该问题,提出一种融合动态特征选择和像素级通道注意力的壁画修复模型。设计基于U-Net的网络生成器,实现对破损图像的编码与解码操作;采用有效可迁移卷积模块,通过动态选择采样空间位置,实现对有效特征信息的灵活提取,采用区域综合归一化模块减少修复区域与完整区域的期望和方差的偏移,从而加强对有效特征信息的选择和利用;在解码层设计像素级通道注意力模块,在增强有效特征权重的同时使模型可从相隔较远的空间位置学习有效特征。在敦煌壁画数据集上的实验结果表明,该算法能够利用有效信息修复掩膜区域比例不一的不规则破损壁画图像,相比PConv、PRVS、DSNet算法,在峰值信噪比(PSNR)指标上平均提升0.502 d B,在结构相似性(SSIM)指标上平均提升1.384%。     

全局与局部属性一致的图像修复模型

目的 图像修复是计算机视觉领域的研究热点之一。基于深度学习的图像修复方法取得了一定成绩,但在处理全局与局部属性联系密切的图像时难以获得理想效果,尤其在修复较大面积图像缺损时,结果的语义合理性、结构连贯性和细节准确性均有待提高。针对上述问题,提出一种基于全卷积网络,结合生成式对抗网络思想的图像修复模型。方法 基于全卷积神经网络,结合跳跃连接、扩张卷积等方法,提出一种新颖的图像修复网络作为生成器修复缺损图像;引入结构相似性（structural similarity,SSIM）作为图像修复的重构损失,从人眼视觉系统的角度监督指导模型学习,提高图像修复效果;使用改进后的全局和局部上下文判别网络作为双路判别器,对修复结果进行真伪判别,同时,结合对抗式损失,提出一种联合损失用于监督模型的训练,使修复区域内容真实自然且与整幅图像具有属性一致性。结果 为验证本文图像修复模型的有效性,在CelebA-HQ数据集上,以主观感受和客观指标为依据,与目前主流的图像修复算法进行图像修复效果对比。结果表明,本文方法在修复结果的语义合理性、结构连贯性以及细节准确性等方面均取得了进步,峰值信噪比（peak signal-to-noise ratio,PSNR）和结构相似性的均值分别达到31.30 dB和90.58%。结论 本文提出的图像修复模型对图像高级语义有更好的理解,对上下文信息和细节信息把握更精准,能取得更符合人眼视觉感受的图像修复结果。     

遥感图像语义分割的多特征注意力融合网络

针对高分辨率遥感图像中存在背景复杂、目标大小不一、类间具有相似性的问题，提出一种用于遥感图像语义分割的多特征注意力融合网络(Multi-feature Attention Fusion, MAFNet)。MAFNet基于编码和解码结构，在编码阶段，采用空间金字塔池化获取多尺度的上下文信息，同时融合特征通道之间的关联信息，提高特征图的语义表征能力；在解码阶段，基于注意力机制将高层特征与低层特征自适应地融合，逐级恢复目标的细节特征。在公开的数据集Potsdam和Vaihingen上设计了对比实验，PA值分别达到了89.6%和89.1%,验证了该方法的有效性。     

基于生成对抗网络的图像修复技术研究

基于生成对抗网络的图像修复算法在处理图像信息大面积丢失的情况时,效果比传统算法有了较大提升,但是在许多细节方面仍有待改进,例如使修复区域与保留区域在语义上更加合理,被修复区域的边缘需要保持连贯性,修复区域需要有丰富的纹理细节。针对以上问题,在现有的生成对抗网络修复算法的基础上提出了改进,结合非局部注意力机制,对输入图像进行多级合并和设置缓冲层,添加辅助判别器。通过对比实验结果,验证了改进模型的有效性,得到的修复图像更符合人眼视觉系统的要求。     

结合边缘信息和门卷积的人脸修复算法

针对任意形状遮挡下人脸修复,现有方法容易产生边缘模糊和恢复结果失真等问题。提出了一种结合边缘信息和门卷积的人脸修复算法。首先,通过先验人脸知识产生遮挡区域的边缘图,以约束人脸修复过程。其次,利用门卷积在部分像素缺失下的精确局部特征描述能力,设计面向图像修复的门卷积深度生成对抗网络(GAN)。该模型由边缘连接生成对抗网络和图像修复生成对抗网络两部分组成。边缘连接网络利用二值遮挡图和待修复图像及其边缘图的多源信息进行训练,实现对缺失边缘图像的自动补全和连接。图像修复网络以补全的边缘图为引导信息,联合遮挡图像进行缺失区域修复。实验结果表明:相比其他算法,该算法修复效果更好,其评价指标比当前基于深度学习的图像修复算法更优。     

多级注意力传播驱动的生成式图像修复方法

现有图像修复方案普遍存在着结构错乱和细节纹理模糊的问题, 这主要是因为在图像破损区域的重建过程中, 修复网络难以充分利用非破损区域内的信息来准确地推断破损区域内容. 为此, 本文提出了一种由多级注意力传播驱动的图像修复网络. 该网络通过将全分辨率图像中提取的高级特征压缩为多尺度紧凑特征, 进而依据尺度大小顺序驱动紧凑特征进行多级注意力特征传播, 以期达到包括结构和细节在内的高级特征在网络中充分传播的目标. 为进一步实现细粒度图像修复重建, 本文还同时提出了一种复合粒度判别器, 以期实现对图像修复过程进行全局语义约束与非特定局部密集约束. 大量实验表明, 本文提出的方法可以产生更高质量的修复结果.