基于密集连接块U-Net的语义人脸图像修复

针对人脸图像在待修复缺损面积较大时,现有方法的修复存在图像语义理解不合理、边界不连贯等视觉瑕疵的问题,提出基于密集连接块的U-Net结构的端到端图像修复模型,以实现对任意模板的语义人脸图像的修复。首先,采用生成对抗网络思想,生成器采用密集连接块代替U-Net中的普通卷积模块,以捕捉图像中缺损部分的语义信息并确保前面层的特征被再利用;然后,使用跳连接以减少通过下采样而造成的信息损失,从而提取图像缺损区域的语义;最后,通过引入对抗损失、内容损失和局部总变分（TV）损失这三者的联合损失函数来训练生成器,确保了修复边界和周围真实图像的视觉一致,并通过Hinge损失来训练判别器。所提模型和GLC、DF、门控卷积（GC）在人脸数据集CelebA-HQ上进行了对比。实验结果表明,所提模型能有效提取人脸图像语义信息,修复结果具有自然过渡的边界和清晰的局部细节。相较性能第二的GC,所提模型对中心模板修复的结构相似性（SSIM）和峰值信噪比（PSNR）分别提高了5.68%和7.87%,Frechet Inception距离（FID）降低了7.86%;对随机模板修复的SSIM和PSNR分别提高了7.06%和4.80%,FID降低了6.85%。     

基于U-Net优化的SAR遥感图像语义分割

多光谱图像的分割是遥感图像解译的重要基础环节,SAR遥感图像中包含着复杂的地物目标信息,传统的分割方法存在耗时长、效率低等问题,导致传统图像分割方法的应用受限.近年来,深度学习算法在计算机视觉方向的应用取得了较好的成果,针对多光谱遥感影像语义分割问题,使用深度学习的语义分割方法来实现遥感影像的高性能分割,在U-Net网络结构上添加激活层、Dropout层、卷积层,提出一种基于U-Net优化的深度卷积神经网络,在少量数据集的基础上实现了对以SAR图像合成的多光谱影像中耕地、建筑、河流的快速检测,整体分割准确率达94.6％.与U-Net,SegNet的对照实验结果表明,所提方法的分割准确率相比U-Net,SegNet整体较优,相比U-Net和SegNet分别提升了2.5％与5.8％.     

基于U-Net的高分辨率遥感图像语义分割方法

图像分割是遥感解译的重要基础环节,高分辨率遥感图像中包含复杂的地物目标信息,传统分割方法应用受到极大限制,以深度卷积神经网络为代表的分割方法在诸多领域取得了突破进展。针对高分辨遥感图像分割问题,提出一种基于U-Net改进的深度卷积神经网络,实现了端到端的像素级语义分割。对原始数据集做了扩充,对每一类地物目标训练一个二分类模型,随后将各预测子图组合生成最终语义分割图像。采用了集成学习策略来提高分割精度,在“CCF卫星影像的AI分类与识别竞赛”数据集上取得了94%的训练准确率和90%的测试准确率。实验结果表明,该网络在拥有较高分割准确率的同时还具有良好的泛化能力,能够用于实际工程。     

基于密集连接与特征增强的语义分割算法

在语义分割算法DeepLabv3+中,由于对主干网络提取的特征信息利用不充分,导致了分割边缘不连续、目标丢失以及分割错误等问题。为此,提出一种基于密集连接和特征增强的语义分割算法。采用共享空洞空间金字塔池化(S-ASPP)模块建立多个空洞卷积之间的联系,增强局部信息之间的语义关联,捕获密集的采样点像素,同时提高对高层特征信息的利用。引入特征金字塔增强模块(FPEM)和特征融合模块(FFM),对主干网络输出的多层特征信息进行处理,增强特征的表达能力,并采用FFM对FPEM输出的不同尺度特征信息进行融合,提高各层特征之间的互补能力,以获得更全面的特征图信息。在此基础上,将S-ASPP和FFM的输出进行拼接和卷积操作,得到最终的分割结果。在PASCAL VOC 2012和Cityscapes数据集上的实验结果表明,该算法的平均交并比分别达到81.13%和73.39%,相较于基准算法DeepLabv3+分别提升了2.3和2.1个百分点,充分利用了骨干网络中的每层特征信息,提升了算法的分割精度,取得了较好的分割效果。     

基于密集连接网络的图像隐写分析

针对目前传统的隐写分析技术对特征集要求越来越高的问题,构建了一个密集连接网络模型（Steganalysis-Densely Connected Convolutional Networks,S-DCCN）进行图像隐写分析,避免了人工提取特征,提高了隐写分析效率。首先,在网络层之前添加高通滤波层（HPF）进行滤波,加快模型训练速度。经过滤波后的图像进入两层卷积层进行特征提取,在卷积层之后使用了5组密集连接模块来解决网络加深带来的梯度消失问题,密集连接模块之间通过过度层来控制整个网络的宽度。实验结果表明,相比传统的图像隐写分析算法和卷积神经网络技术,该模型有效提高了隐写分析的准确率和泛化性能。     

密集连接卷积网络图像去模糊

目的 非均匀盲去运动模糊是图像处理和计算机视觉中的基础课题之一。传统去模糊算法有处理模糊种类单一、耗费时间两大缺点,且一直未能有效解决。随着神经网络在图像生成领域的出色表现,本文把去运动模糊视为图像生成的一种特殊问题,提出一种基于神经网络的快速去模糊方法。方法 首先,将图像分类方向表现优异的密集连接卷积网络（dense connected convolutional network, DenseNets）应用到去模糊领域,该网络能充分利用中间层的有用信息。在损失函数方面,采用更符合去模糊目的的感知损失（perceptual loss）,保证生成图像和清晰图像在内容上的一致性。采用生成对抗网络（generative adversarial network,GAN）,使生成的图像在感官上与清晰图像更加接近。结果 通过测试生成图像相对于清晰图像的峰值信噪比 （peak signal to noise ratio,PSNR）,结构相似性 （structural similarity,SSIM）和复原时间来评价算法性能的优劣。相比DeblurGAN（blind motion deblurring using conditional adversarial networks）,本文算法在GOPRO测试集上的平均PSNR提高了0.91,复原时间缩短了0.32 s,能成功恢复出因运动模糊而丢失的细节信息。在Kohler数据集上的性能也优于当前主流算法,能够处理不同的模糊核,鲁棒性强。结论 本文算法网络结构简单,复原效果好,生成图像的速度也明显快于其他方法。同时,该算法鲁棒性强,适合处理各种因运动模糊而导致的图像退化问题。     

基于分割块的图像语义分割方法

针对复杂室外环境下,传统语义分割模型无法准确描述对象轮廓的问题,提出了采用结构森林法生成边缘概率,运用分水岭算法将边缘概率转化成初始割块.为避免过分分割,利用超度量轮廓图算法选取适当阈值生成分割块以获取更准确的轮廓信息,通过随机森林训练分割块,得到语义分割结果.实验结果表明:在处理复杂的语义分割任务时,基于分割块的方法在精度、鲁棒性和速率方面均具有良好表现.     

基于密集连接与特征增强的遥感图像检测

遥感技术的快速发展使得遥感图像检测技术广泛应用于军事、农业、交通、城市规划等多个领域。随着遥感分辨率和数据体量的不断提升,通过人工处理数据的方法已经无法满足实时性需求,因此,实现高效、精准的自动化数据处理方式成为该领域的研究热点。针对遥感图像分辨率高、背景复杂、目标尺度小等特点,提出一种改进的YOLOv3算法,用以提升遥感图像的检测效果。在原始YOLOv3算法的基础上,使用改进的密集连接网络替换原有的DarkNet53作为基础网络,以提升网络输入和预测结果的尺度多样性。通过阀杆模块降低输入损失,同时在浅层特征图中加入特征增强模块,从而丰富特征图的感受野,强化网络对浅层特征信息的提取,在保证整体检测性能的同时使网络对遥感图像中、小目标的检测精度和鲁棒性均有所提升。在遥感图像数据集上进行多组对比实验,结果表明,相比原始YOLOv3算法,该算法的平均准确率提高9.45个百分点,在小尺度目标上的检测准确率提升更显著,达到11.03个百分点,且模型参数量得到有效缩减。     

基于密集卷积生成对抗网络的图像修复

图像修复是一项利用缺损图像中已知信息对缺损区域信息进行估计修复的技术。针对大面积语义信息缺失的图像进行修复时,若训练数据集较小且图像背景相对复杂,则基于生成模型的修复结果常出现模糊、伪影和视觉相似度差等问题。针对上述问题,文中提出了一种基于密集卷积生成对抗网络的图像修复算法。该算法采用生成对抗网络作为图像修复的基本框架。首先,利用密集卷积块构建具有编解码结构的生成网络,不但加强了图像特征的提取,提高了图像修复能力,而且避免了深度增加引起的梯度消失问题。其次,在编码和解码结构之间引入跳跃连接,解决了网络层间信息传递丢失的问题。然后,在网络优化过程中,结合重建损失、对抗损失和TV损失来训练网络模型,增强了网络稳定性。最后,分别在CelebA和Car两个数据集上进行实验,所提算法的修复结果在视觉效果、峰值信噪比PSNR和结构相似度SSIM 3个方面均优于3种代表性图像修复算法,其有效性得到验证。     

基于变分自编码器的人脸图像修复

基于卷积神经网络的人脸图像修复技术在刑事侦破、文物保护及影视特效等领域有着重要的应用.但现有方法存在着图像修复结果不够清晰以及结果多样化不足等缺点,为此,提出了一种基于变分自编码器的人脸图像修复方法.首先设计了一种变分自编码器的变种网络,通过引入生成对抗网络解决修复人脸图像不清晰的问题,同时对变分自编码器中的隐变量进行约束,使得其中各个维度相互独立,实现特征解耦操作;最后通过动态规划获得最佳分割边界,利用泊松图像编辑得到无缝融合的结果.在CelebA数据集上的实验结果表明,该方法获得了良好的图像修复结果,同时,通过显式地控制隐变量的不同维度,展现了不同属性的人脸图像修复结果.     

基于纹理块与梯度特征的图像修复改进算法

针对目前图像修复算法在处理污损车牌图像时存在边缘修复不连续和效率不高问题,提出采用纹理块与梯度特征结合的改进的算法。新算法从两个方面进行改进：针对最优匹配块,加入梯度计算,优化匹配块的选择及预编辑,提高与环境的融合效果;采用了一种更新填充前端的修改方案,提高修复效率。测试结果表明,所提出的算法具有更好的计算效率,视觉感知方面具有更好的边缘连续性。     

基于超像素的深度图修复算法

随着计算机视觉领域不断的发展,用于描述场景深度信息的深度图受到越来越多的关注。针对深度图中由于深度信息缺失导致的图像空洞、深度值准确度不高及图像噪声等问题,提出了一种融合超像素和基于方向的联合双边滤波器的深度图修复算法来改善深度图的质量。该算法引入了基于超像素的自适应滤波窗口,并对不同类型的空洞像素点采用不同的滤波算法,从而对深度图进行修复和优化。定性对比实验和定量评价结果表明,其可以有效地修复深度图空洞噪点,获得高质量、高准确性的深度图。     

基于改进U-Net的水草图像分割方法

无人艇（USV）在河道水面作业过程中,水草会缠绕推进器,这是整个业界应用都遇到的困扰。针对水面图像中水草分布的全局性、分散性以及边缘和纹理的复杂性,对U-Net进行改进并用于对图像所有的像素进行分类,以减少网络特征信息的丢失,并加强全局和局部特征的提取,从而提高分割性能。首先,采集多地多时段水草图像数据,制作了一个比较全面的水草语义分割数据集;其次,提出在U-Net中引入三个尺度的图像输入,从而使得网络对特征进行充分提取,并引进三种上采样图像的损失函数来平衡三种尺度的输入图像带来的总体损失;此外,还提出了一种混合注意力模块并引入到网络中,其包含空洞卷积和通道注意增强两个分支;最后,在新构建的水草数据集上对所提网络进行验证。实验结果显示,所提方法的准确率、均交并比（mIoU）和平均像素精度（mPA）值分别可达96.8%、91.22%和95.29%,与U-Net(VGG16)分割方法相比,分别提高了4.62个百分点、3.87个百分点和3.12个百分点。所提方法可应用于水面无人艇对水草的检测,并进行相应的路径规划来实现水草避让。     

基于样本块的图像修复方法的改进

基于纹理合成的图像修复算法适合大面积信息缺损区域的修复。基于Criminisi算法,通过对数据项的重新定义,从结构和纹理上对图像进行修复。改进算法在搜索最佳样本块时,考虑到样本块所含已知像素点的信息量对寻找最佳样本块的影响,构造了包含信息量的最优搜索式;为了平滑置信因子更新导致的误差传播,定义了基于曲率的置信因子更新方程。基于上述构造,经多次实验,改进算法得到合适参数,避免了明显冗余像素点的产生并使得纹理连接处连贯。     

变分模型在矢量图像修复中的应用

图像修复是指恢复图像中破损区域的颜色信息或者去除图像中的多余物体。分析了基于整体变分法TV模型以及矢量图像耦合技术的原理,根据矢量图像耦合思想将整体变分法运用到矢量图像中并对矢量图像进行试验。实验结果表明：改进的矢量图像耦合修复模型能较好地修复大块彩色图像的缺失信息和移除多余物体,能保持彩色图像的边缘,且有较好的去噪功能。     

基于邻域一致性的数字X射线图像局部快速修复算法

针对工业X射线扫描图像中存在微小异物及裂缝缺陷的特点,提出了一种基于邻域一致性的数字X射线图像局部快速修复算法。通过分析图像中封闭的连通区域的大小,设置蒙板并记录其坐标,采用从外到内、由粗到精的非迭代修复方法完成对扫描图像背景的修复过程。实验结果表明,与传统FOE和PDE修复方法相比,该算法在保证修复效率的前提下提高了图像的修复质量。     

基于整体变分模型的岩心图像修复

针对岩心扫描图像信息缺失的修复问题,提出了基于整体变分模型的修复算法。利用图像待修复区域邻域的参考像素信息,从待修复区域边缘逐步向待修复区域内部扩散,同时采用了邻域相关系数来衡量待修复区域邻域边界对目标像素点的影响程度,对算法进行了改进。通过仿真实验表明,改进后的算法与原方法相比,修复效果得到了改善,可以有效完成对于岩心图像的修复。     

基于上下文特征的渐进式图像修复方法

针对现有图像修复方法在面对大尺度缺失时生成部分易产生伪影、不符合原始图像语义等问题,提出了一种基于上下文特征的渐进式图像修复方法。首先,使用ResNet18网络对破损图像进行粗略填充。然后,将其输入具有双分支结构的细化网络：上下文特征聚合模块通过多尺度语义特征获取现存图像内部最有利于修复图像的区域;注意转移网络学习缺失区域与剩余背景区域的联系,将其以更高分辨率对缺失区域进行填充,引入CBAM(convolutional block attention module)模块作为网络注意力机制。定义全局和局部判别网络实现生成图像与背景语义一致性并计算得到对抗损失,将L₁损失与结构相似性损失相结合作为网络重建损失,再将其与对抗损失相结合作为损失函数。在Place2数据集上进行实验,平均峰值信噪比和平均结构相似性分别为27.83 dB和93.19%;与四种图像修复方法进行比较：主观感受上该方法较其他方法生成的修复图像更加清晰自然,与背景语义高度相符;客观指标上选用四种常用评价指标进行比较,在更符合人眼视觉的结构相似性上该方法分别提升11.48%、6.23%、3.24%、2....