基于结构嵌入的图像修复方法研究

针对当前图像修复领域存在结构丢失、纹理模糊、不能够充分利用背景信息生成内容风格一致的填充区域的问题,在编码解码网络基础上,提出带有多尺度结构信息与注意力机制的共享修复模型。在生成阶段,嵌入多尺度结构信息为图像修复提供前提条件。同时使用多尺度注意力机制,从背景信息中获取相关信息,并经过细化,生成与图像相关的内容和结构;使用PatchGAN和固定权重VGG-16分类器作为鉴别器,并将风格损失和感知损失引入到对抗网络中,以实现所生成图像的风格一致性。在Places2数据集上与当前主流的图像修复算法进行对比,实验结果表明该算法与其他算法相比能较好地恢复图像结构的细节信息,生成更清晰、精细的修复结果。     

基于边缘图与多尺度特征融合的图像修复

针对现有的图像修复方法在面对大规模图像缺损和不规则破损区域修复时,修复结果出现生成结构与原图像语义不符以及纹理细节模糊等问题,本文提出一种利用生成边缘图的多尺度特征融合图像修复算法——MSFGAN(multi-scale feature network model based on edge condition).模型采用两阶段网络设计,使用边缘图作为修复条件对修复结果进行结构约束.首先,使用Canny算子提取待修复图像的边缘图进行完整边缘图生成;然后利用完整的边缘图结合待修复图像进行图像修复.为了弥补图像修复算法中经常出现的问题,提出一种融入了注意力机制的多尺度特征融合模块(attention mechanism multi-fusion convolution block, AM block),实现受损图像的特征提取和特征融合.在图像修复网络解码器部分引入跳跃链接,将高级语义提取和底层特征进行融合实现高质量细节纹理修复.在CelebA和Places2数据集上的测试结果显示, MSFGAN修复质量上比当前修复方法有一定提升,其中在20%–30%掩码比例中, SSIM平均提升0.029...     

多尺度特征融合的透明物体深度图像快速修复方法

透明物体是日常生活中常见的事物,具有独特的视觉特性,这些特性使得标准的视觉3D传感器较难对其进行准确的深度估计.在大多数情况下,视觉3D传感器捕获的深度信息表现为透明物体后面的背景的深度值或大面积的深度缺失.为了对深度图像中透明物体的深度缺失进行快速修复,提出一种基于语义分割和多尺度融合的透明物体深度图像快速修复的方法,使用轻量级实时语义分割预测出透明物体的遮罩,剔除深度场景图像中该部分的错误深度信息,对彩色图像和剔除错误信息后的深度图像进行多尺度的特征提取和特征融合,完成对透明物体的深度图像快速修复.本文在Clear Grasp数据集上算法进行了效果验证.该数据集包含了5万多组RGB-D图像.实验结果表明,文中方法对透明物体深度的修复在度量指标MAE, δ_1.05和δ_1.25上,分别取得了0.027, 72.98和98.04的结果,均优于现有方法,并且在效率上有较好的提升.     

基于边缘与注意力跨层转移的图像修复模型

针对现有基于深度学习的图像修复算法在处理大面积不规则缺损图像时出现局部结构不连通与模糊的问题，提出一种基于边缘和注意力跨层转移的二阶生成式图像修复模型。该模型由边缘修复网络和图像修补网络构成，边缘修复网络在自编码器的基础上结合扩张卷积对缺损图像的边缘二值图进行修复，并将边缘修复图作为先验条件与缺损图像一起输入到图像修补网络，在图像修补网络中，给出注意力跨层转移网络对各尺度编码特征由深到浅进行重构，并将重构特征图跳跃连接至解码层与对应潜在特征融合进行解码，提高各级解码层输出的上下文一致性，减少结构信息和语义特征丢失，最终得到修复图像。在Celeba、Facade、Places2这3个数据集上的实验结果表明，与当前主流算法相比，该方法平均L1损失降低了1.044%～3.801%，峰值信噪比和结构相似性分别提升了1.435～4.486 dB和1.789%～8.755%，不仅能够生成整体语义合理的内容，而且在局部结构连通性和纹理合成方面更符合人眼视觉感受。     

基于多尺度特征融合的人脸图像修复方法

传统图像修复方法在修复受损区域较大的图像时会出现修复结果过于平滑或模糊的现象,并且较难重建合理的人脸图像结构。在传统生成对抗网络的鉴别器中引入多尺度特征融合方法,将不同深度的特征图经过上采样后直接相加,使浅层信息和深层信息有效结合。通过借助高层特征把握图像的整体规律,同时利用低层特征填充人脸图像的细节纹理,进而使一张图像的分辨率及其语义特征相互融合,实现有效的人脸图像修复。在CelebA数据集上的实验结果表明,该方法的峰值信噪比、相似性结构、L1损失指标均优于区域归一化方法,取得了较好的视觉效果。     

基于上下文特征的渐进式图像修复方法

针对现有图像修复方法在面对大尺度缺失时生成部分易产生伪影、不符合原始图像语义等问题,提出了一种基于上下文特征的渐进式图像修复方法。首先,使用ResNet18网络对破损图像进行粗略填充。然后,将其输入具有双分支结构的细化网络：上下文特征聚合模块通过多尺度语义特征获取现存图像内部最有利于修复图像的区域;注意转移网络学习缺失区域与剩余背景区域的联系,将其以更高分辨率对缺失区域进行填充,引入CBAM(convolutional block attention module)模块作为网络注意力机制。定义全局和局部判别网络实现生成图像与背景语义一致性并计算得到对抗损失,将L₁损失与结构相似性损失相结合作为网络重建损失,再将其与对抗损失相结合作为损失函数。在Place2数据集上进行实验,平均峰值信噪比和平均结构相似性分别为27.83 dB和93.19%;与四种图像修复方法进行比较：主观感受上该方法较其他方法生成的修复图像更加清晰自然,与背景语义高度相符;客观指标上选用四种常用评价指标进行比较,在更符合人眼视觉的结构相似性上该方法分别提升11.48%、6.23%、3.24%、2....     

结合SENet的密集卷积生成对抗网络图像修复方法

本文针对数据集较小或者图像结构相对复杂的较大面积缺失的图像修复问题,提出结合SENet的密集卷积生成对抗网络图像修复方法．首先,采用生成对抗网络的思想,生成器使用密集卷积块捕捉图像中缺失部分的语义信息再利用;其次,取消密集卷积块之间的过渡层,引入SENet注意力机制SE模块,获取特征重要程度,增强特征信息指导能力;再次,在编码器和解码器之间引入跳跃连接,减少由于下采样而造成的信息损失;最后,通过引入对抗损失、MSE损失、TV损失增强网络的稳定性．所提模型在CelebA数据集进行实验．结果表明,所提算法的修复结果在图像语义、峰值信噪比（PSNR）和结构相似度（SSIM）3个方面均具有不错成效．     

基于多尺度注意力半监督学习的老照片划痕修复

老照片由于长时间的磨损或保存不当,会出现照片的划痕损伤。随着深度学习在图像重建中的应用,基于深度学习方法能够在纹理修复的基础上获取图像的语义信息并预测语义内容,使老照片修复的整体效果更加符合客观事实,但利用深度学习进行老照片划痕修复缺乏学习所需数据集。提出一种基于半监督学习的老照片划痕自动修复的方法,创建划痕合成数据集SynOld用于网络训练,同时搜集真实的划痕老照片用于训练和测试,将合成数据集和真实老照片加入网络学习,两者共享网络参数,并通过鉴别器来区分网络生成图像与真实图像。对于合成数据集有监督的分支采用均方差损失、感知损失和对抗损失约束训练,对于真实老照片无监督的分支采用总变差损失控制训练。实验结果表明,相比于多尺度特征注意力网络的监督学习方法,该方法在合成数据集SynOld和真实老照片上都具有较好的修复效果。     

多尺度特征自适应融合的图像语义分割算法

为解决Deeplab v3+网络在解码过程中仅融合一个尺度编码特征,导致部分细节信息丢失,从而造成最终分割结果较为粗糙等问题,提出多尺度特征自适应融合的图像语义分割算法.该算法在Deeplab v3+的解码过程中使用自适应空间特征融合结构,给不同尺度的编码特征分配自适应的融合权重,通过融合编码过程中的多尺度特征进行特征图的上采样,从而实现图像更加精细的语义分割效果.实验结果表明,该算法在Cityscapes数据集上达到了95.05%的像素准确度和69.36%的平均交并率,且对大部分小尺度目标物体的分割更为精准;在Vaihingen遥感图像数据集上本文提出的算法达到了83.49%的像素准确度和68.77%的平均交并率,进一步验证了本文改进算法的泛化性.     

多尺度分解和八度卷积相结合的红外与可见光图像融合

目的 在基于深度学习的红外与可见光图像融合方法中,多尺度分解是一种提取不同尺度特征的重要方式。针对传统多尺度分解方法里尺度设置粗糙的问题,提出了一种基于八度(octave)卷积的改进图像融合算法。方法 融合方法由4部分组成：编码器、特征增强、融合策略和解码器。首先,使用改进后的编码器获取源图像的多尺度上的低频、次低频和高频特征。这些特征会被从顶层到底层进行强化。其次,将这些特征按照对应的融合策略进行融合。最后,融合后的深度特征由本文设计的解码器重构为信息丰富的融合图像。结果 实验在TNO和RoadScene数据集上与9种图像融合算法进行比较。主观评价方面,所提算法可以充分保留源图像中的有效信息,融合结果也符合人的视觉感知;客观指标方面,在TNO数据集上所提算法在信息熵、标准差、视觉信息保真度、互信息和基于小波变换提取局部特征的特征互信息5个指标上均有最优表现,相较于9种对比方法中最优值分别提升了0.54%,4.14%,5.01%,0.55%,0.68%。在RoadScene数据集上所提算法在信息熵、标准差、视觉信息保真度和互信息4个指标上取得了最优值,相较9种对比方法的最优值分别提升了...     

用于视频修复的连贯语义时空注意力网络

现有的视频修复方法通常会产生纹理模糊、结构扭曲的内容以及伪影,而将基于图像的修复模型直接应用于视频修复会导致时间上的不一致.从时间角度出发,提出了一种新的用于视频修复的连贯语义时空注意力(Coherent Semantic Spatial-Temporal Attention,CSSTA)网络,通过注意力层,使得模型关注于目标帧被遮挡而相邻帧可见的信息,以获取可见的内容来填充目标帧的孔区域(hole region).CSSTA层不仅可以对孔特征之间的语义相关性进行建模,还能对远距离信息和孔区域之间的远程关联进行建模.为合成语义连贯的孔区域,提出了一种新的损失函数特征损失(Feature Loss)以取代VGG Loss.模型建立在一个双阶段粗到精的编码器-解码器结构上,用于从相邻帧中收集和提炼信息.在YouTube-VOS和DAVIS数据集上的实验结果表明,所提方法几乎实时运行,并且在修复结果、峰值信噪比(PSNR)和结构相似度(SSIM)3个方面均优于3种代表性视频修复方法.     

基于文本和内容的图像检索算法

为了提高图像检索的效率,提出一种基于文本和内容的图像检索算法。该算法采用稠密的尺度不变特征转换（ DSIFT）构造视觉单词的方式来描述图像内容,依据基于概率潜在语义分析（ PLSA）模型的图像自动标注方法获取的视觉语义对查询图像进行初步检索,在此结果集上对筛选出的语义相关图像按内容相似度排序输出。在数据集Corel1000上的实验结果表明,该算法能够实现有效的图像检索,检索效率优于单一的基于内容的图像检索算法。     

基于色彩聚类的图像修复

现有图像修复方式普遍存在结构错乱和修复区域边缘模糊的问题,这是由于修复过程中已知区域的结构信息未能得到充分利用,针对这一问题,本文提出了一种具有编解码结构的基于色彩聚类的图像修复算法,算法采用渐进式图像修复网络结构,将图像经过色彩聚类的结果作为输入,聚类算法处理后的图像更好保留了输入图像的结构特征,因此在后续图像纹理恢复过程中结构信息可以得到充分利用;同时,为进一步减少网络的计算开销,引入交叉注意力机制,从水平和垂直两个维度建模图像全局依赖性.实验结果表明,本文提出的图像修复算法可以有效缓解图像修复区域边缘模糊的现象,与几种主流图像修复算法相比,我们提出的图像修复算法可以在缺失区域较大的情况下产生更加真实的输出结果.     

基于渐进式嵌套特征的融合网络

显著目标检测是指通过引入人类视觉注意力机制,使计算机能检测视觉场景中人们最感兴趣的区域或对象.针对显著性目标检测中存在检测边缘不清晰、检测目标不完整及小目标漏检的问题,文中提出基于渐进式嵌套特征的融合网络.网络采用渐进式压缩模块,将较深层特征不断向下传递融合,在降低模型参数量的同时也充分利用高级语义信息.先设计加权特征融合模块,将编码器的多尺度特征聚合成可访问高级信息和低级信息的特征图.再将聚合的特征分配到其它层,充分获取图像上下文信息及关注图像中的小目标对象.同时引入非对称卷积模块,进一步提高检测准确性.在6个公开数据集上的实验表明文中网络取得较优的检测效果.     

基于并行对抗与多条件融合的生成式高分辨率图像修复

现有的图像修复算法经常会有伪影、语义不准等问题出现,对于缺失较大、分辨率较高的图像,修复效果有限.为此,文中提出基于并行对抗与多条件融合的二阶图像修复网络.首先,利用改进的深度残差网络对缺失图像进行生成式像素填充,并利用第一阶对抗网络补全边缘.然后,提取填充图颜色特征,融合补全边缘图,将融合图作为第二阶对抗网络的条件标签.最后,通过带上下文注意力模块的第二阶网络得到修复结果.在多个数据集上的实验表明,文中算法可获得较逼真的修复效果.     

基于可变形卷积技术的街景图像语义分割算法

目前图像语义分割算法中可能会出现分割图像的不连续与细尺度目标丢失的缺陷,故提出可变形卷积融合增强图像的语义分割算法。算法集HRNet网络框架、Xception Module以及可变形的卷积于一体,用轻量级Xception Module优化HRNet原先存在的Bottleneck模块,同时在网络的第一阶段串联融合可变形卷积,通过建立轻量级融合加强网络从而增强针对细尺度目标特征物的辨识精度,从而使得该轻量级融合增强网络在粗尺度目标物被分割时取得相对多的细尺度目标的语义特征信息,进一步缓解语义分割图像的不连续与细尺度的目标丢失。使用Cityscapes数据集,实验结果可以说明,优化后的算法对于细尺度目标分割精度得到了显著的增强,同时解决了图像语义分割导致的分割不连续的问题。然后进行实验使用的是公开数据集PASCAL VOC 2012,实验进一步的验证了优化算法的鲁棒性以及泛化能力。     

多尺度渐进式残差网络的图像去雨

目的 现有的去雨方法存在去雨不彻底和去雨后图像结构信息丢失等问题。针对这些问题, 提出多尺度渐进式残差网络(multi scale progressive residual network, MSPRNet)的单幅图像去雨方法。方法 提出的多尺度渐进式残差网络通过3个不同感受野的子网络进行逐步去雨。将有雨图像通过具有较大感受野的初步去雨子网络去除图像中的大尺度雨痕。通过残留雨痕去除子网络进一步去除残留的雨痕。将中间去雨结果输入图像恢复子网络, 通过这种渐进式网络逐步恢复去雨过程中损失的图像结构信息。为了充分利用残差网络的残差分支上包含的重要信息, 提出了一种改进残差网络模块, 并在每个子网络中引入注意力机制来指导改进残差网络模块去雨。结果 在5个数据集上与最新的8种方法进行对比实验,相较于其他方法中性能第1的模型, 本文算法在5个数据集上分别获得了0.018、0.028、0.012、0.007和0.07的结构相似度(structural similarity, SSIM)增益。同时在Rain100L数据集上进行了消融实验,实验结果表明,每个子网络的缺失都会造成去雨性能的下降, 提出的多尺度渐进式网络算法能够有效去除各种雨痕。结论 提出的算法能够获得最高的客观评价指标值和最优的视觉效果。在有效解决雨痕重叠问题的同时能够更好地保持图像的细节信息。     

基于多层次注意力与图模型的图像多标签分类算法

图像多标签分类作为计算机视觉领域的重要研究方向,在图像识别、检测等场景下得到广泛应用。现有图像多标签分类方法无法有效利用标签相关性信息以及标签语义与图像特征的对应关系,导致分类能力较差。提出一种图像多标签分类的新算法,通过利用标签共现信息和标签先验知识构建图模型,使用多尺度注意力学习图像特征中目标,并利用标签引导注意力融合标签语义特征和图像特征信息,从而将标签相关性和标签语义信息融入到模型学习中。在此基础上,基于图注意力机制构建动态图模型,并对标签信息图模型进行动态更新学习,以充分融合图像信息和标签信息。在图像多标签分类任务上的实验结果表明,相比于现有最优算法MLGCN,该算法在VOC-2007数据集及COCO-2012数据集上的mAP值分别提高了0.6、1.2个百分点,性能有明显提升。     

基于堆叠边缘感知模块的显著性目标检测

现有显著性目标检测算法对边缘感知的效果不理想.因此,为了有效利用高层语义信息及低层纹理信息,文中提出基于堆叠边缘感知模块的显著性目标检测算法.采用多尺度骨干网络(Res2Net)作为主干网络提取图像的多尺度、多目标的显著性特征.堆叠边缘感知模块以非对称性方式融合图像高低层信息,增强显著性目标区域.网络输出显著性目标的检测结果.在5个公开数据集上的实验表明,文中算法检测结果较优,同时,在客观评估指标和主观视觉效果上也较优.     

自适应融合多尺度特征的无锚框遥感图像目标检测算法

针对遥感图像内容丰富且复杂,具有目标种类多、密集分布和尺寸变化剧烈等特点,导致遥感图像中目标多尺度尤其是小目标难以检测的问题,提出一种基于自适应多尺度特征融合(AMFF)和注意力特征增强(AFE)的无锚框遥感图像目标检测算法.首先将主干网络提取的图像特征输入AMFF,自适应地融合多个尺度的特征,增加特征复用,提升网络的多尺度特征表达能力;然后将AMFF输出的特征输入到加入了AFE模块的检测头中,AFE通过结合多分支空洞卷积与注意力机制,在提高网络对目标尺度的泛化能力的同时增强有效特征信息;最后进行分类和回归,得到检测结果.在DIOR和NWPU VHR-10公开数据集上,与多种主流目标检测算法的实验结果表明,所提算法在2个数据集上的平均检测精度分别为72.4%和87.4%,较基线网络分别提升9.4和13.5个百分点,比次优结果分别提升6.3和1.7个百分点;平均检测精度高于主流目标检测算法,较基线网络的平均检测精度显著提高,能够更加准确地检测小尺度目标,同时有效地提升多尺度目标的检测精度.