深度学习下的视觉SLAM回环检测及其算法

作为机器人技术领域的研究重点之一,SLAM在无人驾驶、增强现实、虚拟现实等方面有重要应用.视觉SLAM利用连续的相机帧获取信息,完成环境环境感知,而长时间运行视觉SLAM系统会不断累积邻近帧间误差,影响后端优化收敛.针对此问题,提出一种基于深度学习的回环检测方法,使用回环检测模块以减少邻近帧间的误差积累,克服以人工标记...     

基于生成对抗网络的动漫头像生成研究

在深度学习中,数据是三大核心要素之一.尤其在某些领域,数据的稀有、人工标注造成大量人力的浪费、数据好坏对产出结果的影响,都显现出数据的重要性.鉴于在动漫领域中,人物的制作需要花费大量的人力和时间,所以从动漫头像出发,基于生成对抗网络,结合编码器、残差网络、解码器,经过编码器改变图像的维度,最后利用解码器将提取到的特征数...     

基于注意力机制的入侵检测生成对抗网络模型

针对传统基于生成对抗网络（GAN）模型存在生成对抗样本无效且训练效率低等问题,提出一种基于注意力机制的GAN模型,通过在生成器模块引入注意力机制,保留攻击流量攻击功能的同时,对输入向量的不同部分设置不同权值,以实现对关键特征信息的抽取,使得模型可以作出更准确的判断,同时提高训练的效率。生成器根据注意力特征图可以抽取攻击流量中的非功能特征进行修改,提高训练效率,结合判别器判别反馈结果,最终生成器可以生成保留攻击功能的有效对抗样本。实验针对基于卷积神经网络（CNN）类的深度入侵检测系统进行测试,验证了此基于注意力机制的GAN对抗攻击模型生成的对抗流量可以有效降低深度入侵检测系统的识别率,整体识别率降低超过10%,在注意力模块的帮助下模型能够针对重要特征进行训练,使得收敛速度更快、效率更高。     

基于双注意力生成对抗网络的煤流异物智能检测方法

在煤炭开采过程中混入的异物可能会导致输送带连接处堵塞甚至输送带撕裂等事故,现有的机器学习算法大多采用监督学习的方式自动识别物品类别,而在真实工矿场景下,异常样本稀缺,易导致建模数据集存在严重的样本分布不平衡且显著特征丢失的问题。针对上述问题,提出了一种基于双注意力生成对抗网络(DA-GANomaly)的煤流异物智能检测方法。该方法采用半监督学习的方式,仅需要正常样本完成异物检测模型训练,有效解决了因样本分布不平衡造成的识别精度低、鲁棒性差的问题;在Skip-GANomaly的基础上引入双注意力机制,增强了编码器与解码器之间的信息交流,以抑制无关特征和噪声,同时突出有利于区分异常样本的感兴趣特征,进一步提高模型分类的准确性。实验结果表明：DA-GANomaly模型的分类精确率为79.5%,召回率为83.2%,精确率-召回率曲线下面积（AUPRC）为85.1%;与AnoGAN等5种经典异常检测模型相比,DA-GANomaly模型的综合性能最佳。     

深度对抗视觉生成综述

深度视觉生成是计算机视觉领域的热门方向,旨在使计算机能够根据输入数据自动生成预期的视觉内容。深度视觉生成使用人工智能技术赋能相关产业,推动产业自动化、智能化改革与转型。生成对抗网络（generative adversarial networks,GANs）是深度视觉生成的有效工具,近年来受到极大关注,成为快速发展的研究方向。GANs能够接收多种模态的输入数据,包括噪声、图像、文本和视频,以对抗博弈的模式进行图像生成和视频生成,已成功应用于多项视觉生成任务。利用GANs实现真实的、多样化和可控的视觉生成具有重要的研究意义。本文对近年来深度对抗视觉生成的相关工作进行综述。首先介绍深度视觉生成背景及典型生成模型,然后根据深度对抗视觉生成的主流任务概述相关算法,总结深度对抗视觉生成目前面临的痛点问题,在此基础上分析深度对抗视觉生成的未来发展趋势。     

基于单幅图像学习的生成对抗网络模型

将卷积神经网络引入生成对抗网络可提高所生成图像的质量,但网络的感受野较小且难以学习各个特征通道之间的重要关系.在SinGAN网络的基础上,提出一种能从单幅图像中学习的生成对抗网络模型.在SinGAN网络的生成器和鉴别器中引入Inception V2模块以增加网络宽度扩大感受野,采用多个卷积核提取图像特征并进行特征融合,...     

基于条件生成对抗网络的图像着色研究

随着多媒体技术的发展,诸如黑白照片着色、医学影像渲染和手绘图上色等各种图像着色应用需求逐渐增多.传统着色算法大部分存在着色模式单一、在处理部分数据时着色效果不佳或者依赖人工输入信息等缺点,对此,设计了一种条件生成对抗网络和颜色分布预测模型相结合的图像着色方法.由生成对抗网络生成着色图像,并通过预测模型的预测值来对生成器...     

基于生成对抗网络的图像修复技术研究

基于生成对抗网络的图像修复算法在处理图像信息大面积丢失的情况时,效果比传统算法有了较大提升,但是在许多细节方面仍有待改进,例如使修复区域与保留区域在语义上更加合理,被修复区域的边缘需要保持连贯性,修复区域需要有丰富的纹理细节。针对以上问题,在现有的生成对抗网络修复算法的基础上提出了改进,结合非局部注意力机制,对输入图像进行多级合并和设置缓冲层,添加辅助判别器。通过对比实验结果,验证了改进模型的有效性,得到的修复图像更符合人眼视觉系统的要求。     

基于无监督生成对抗网络的人脸素描图像真实化

对于人脸识别验证的研究带动了执法机构和数字娱乐行业将素描转化为真实人脸图像的需求和兴趣.到目前为止,由于网络训练阶段缺乏配对的数据,加上素描与真实照片之间存在着明显的模态差异,现有的方法仍然存在着不可解决的局限性.利用跨域语义一致性损失使输入和输出保持相同的语义信息,并用感知损失替换像素级的循环一致性损失以生成高分辨率...     

基于多姿态特征融合生成对抗网络的人脸校正方法

针对人脸校正中单幅图像难以解决大姿态侧脸的问题，提出一种基于多姿态特征融合生成对抗网络（MFFGAN）的人脸校正方法，利用多幅不同姿态侧脸之间的相关信息来进行人脸校正，并采用对抗机制对网络参数进行调整。该方法设计了一种新的网络，包括由多姿态特征提取、多姿态特征融合、正脸合成三个模块组成的生成器，以及用于对抗训练的判别器。多姿态特征提取模块利用多个卷积层提取侧脸图像的多姿态特征；多姿态特征融合模块将多姿态特征融合成包含多姿态侧脸信息的融合特征；而正脸合成模块在进行姿态校正的过程中加入融合特征，通过探索多姿态侧脸图像之间的特征依赖关系来获取相关信息与全局结构，可以有效提高校正结果。实验结果表明，与现有基于深度学习的人脸校正方法相比，所提方法恢复出的正脸图像不仅轮廓清晰，而且从两幅侧脸中恢复出的正脸图像的识别率平均提高了1.9个百分点，并且输入侧脸图像越多，恢复出的正脸图像的识别率越高，表明所提方法可以有效融合多姿态特征来恢复出轮廓清晰的正脸图像。     

基于多姿态特征融合生成对抗网络的人脸校正方法

针对人脸校正中单幅图像难以解决大姿态侧脸的问题,提出一种基于多姿态特征融合生成对抗网络（MFFGAN）的人脸校正方法,利用多幅不同姿态侧脸之间的相关信息来进行人脸校正,并采用对抗机制对网络参数进行调整。该方法设计了一种新的网络,包括由多姿态特征提取、多姿态特征融合、正脸合成三个模块组成的生成器,以及用于对抗训练的判别器。多姿态特征提取模块利用多个卷积层提取侧脸图像的多姿态特征;多姿态特征融合模块将多姿态特征融合成包含多姿态侧脸信息的融合特征;而正脸合成模块在进行姿态校正的过程中加入融合特征,通过探索多姿态侧脸图像之间的特征依赖关系来获取相关信息与全局结构,可以有效提高校正结果。实验结果表明,与现有基于深度学习的人脸校正方法相比,所提方法恢复出的正脸图像不仅轮廓清晰,而且从两幅侧脸中恢复出的正脸图像的识别率平均提高了1.9个百分点,并且输入侧脸图像越多,恢复出的正脸图像的识别率越高,表明所提方法可以有效融合多姿态特征来恢复出轮廓清晰的正脸图像。     

基于邻域差分滤波生成式对抗网络的数据增强方法

针对工业产品样本缺乏且特征不明显而难以用于深度学习训练的问题,提出一种邻域差分滤波生成式对抗网络数据增强（NDF-GAN）方法。将邻域差分滤波器融合到生成对抗网络中,从样本中提取特征并进行样本重建,对样本进行数据增强。实验表明,提出的方法所生成的样本比现有两种模型质量更高,所生成样本与真实样本混合训练分类模型后获得更好的分类性能。因此,提出的NDF-GAN实现了对工业产品样本的数据增强。     

生成对抗网络GAN的研究进展

基于零和博弈思想的生成式对抗网络(generative adversarial network,GAN)模型的意义在于可通过无监督学习获得数据的分布,并能生成较逼真的数据。它可以应用在很多领域,尤其是在计算机视觉领域中的图像生成方面取得了很大成果,成为当下的一个研究热点。以GAN模型及其在特定领域的应用结果为研究对象,对GAN的改进和扩展的研究成果进行了广泛的研究,并从图像超分辨率重建、文本合成图片等多个实际应用领域展开讨论,系统地梳理、总结出GAN的优势与不足,同时结合自然语言处理、强化学习对GAN的发展趋势及应用前景进行预测分析。     

生成对抗网络研究综述

首先介绍了生成对抗网络基本理论、应用场景和研究现状,并列举了其亟待改进的问题.围绕针对提升模型训练效率、提升生成样本质量和降低模式崩溃现象发生可能性3类问题的解决,从模型结构和训练过程两大改进方向和7个细分维度,对近年来生成对抗网络的主要研究工作、改进机理和特点进行了归纳和总结,并结合3方面对其未来的研究方向进行了探讨...     

基于生成对抗网络的人脸口罩图像合成

为了解决现阶段缺乏被口罩遮挡的人脸数据集的问题,本文提出了基于生成对抗网络与空间变换网络相结合生成戴口罩的人脸图像的方法。本文的方法以生成对抗网络为基础,结合了多尺度卷积核对图像进行不同尺度的特征提取,并引入了沃瑟斯坦散度作为度量真实样本和合成样本之间的距离,并以此来优化生成器的性能。实验表明,所提方法能够在没有对原始图像进行任何标注的情况下有效地对人脸图像进行口罩佩戴,且合成的图像具有较高的真实性。     

基于半监督生成对抗网络的恶意代码家族分类实现

随着互联网的发展,恶意代码呈现海量化与多态化的趋势,恶意代码家族分类是网络空间安全面临的挑战之一。将半监督生成对抗网络与深度卷积学习网络相结合,构建半监督深度卷积生成对抗网络,提出了一种恶意代码家族分类模型,通过恶意代码家族特征分析,对恶意代码进行特征提取,转化为一维灰度图像;然后基于一维卷积神经网络1D-CNN,构建半监督生成对抗网络SGAN,形成恶意代码家族分类模型SGAN-CNN。从特征提取优化、半监督生成对抗训练算法优化等方面进行恶意代码家族分类能力提升。为了验证SGAN-CNN模型的分类效果,在Microsoft Malware Classification Challenge数据集上进行实验。5折交叉验证测试显示,本文提出的模型在样本标注标签占80%的情况下,分类的平均准确率达到98.81%;在样本标注标签仅有20%的情况下,分类的平均准确率达到98.01%,取得了较好的分类效果。在小样本数量情况下,也能取得不错的分类准确率。     

基于卷积自编码生成式对抗网络的高分辨率破损图像修复

目的 破损图像修复是一项具有挑战性的任务,其目的是根据破损图像中已知内容对破损区域进行填充。许多基于深度学习的破损图像修复方法对大面积破损的图像修复效果欠佳,且对高分辨率破损图像修复的研究也较少。对此,本文提出基于卷积自编码生成式对抗网络(convolutional auto-encoder generative adversarial network,CAE-GAN)的修复方法。方法 通过训练生成器学习从高斯噪声到低维特征矩阵的映射关系,再将生成器生成的特征矩阵升维成高分辨率图像,搜索与待修复图像完好部分相似的生成图像,并将对应部分覆盖到破损图像上,实现高分辨率破损图像的修复。结果 通过将学习难度较大的映射关系进行拆分,降低了单个映射关系的学习难度,提升了模型训练效果,在4个数据集上对不同破损程度的512×512×3高分辨率破损图像进行修复,结果表明,本文方法成功预测了大面积缺失区域的信息。与CE(context-encoders)方法相比,本文方法在破损面积大的图像上的修复效果提升显著,峰值信噪比(peak signal to noise ratio,PSNR)和结构相似性(str...     

基于生成对抗网络的多标签节点分类研究

节点分类被广泛应用于社交网络等网络数据处理之中,为了进行节点分类研究,考虑使用生成对抗网络GAN来得到节点表示,从而得到良好的节点分类效果.在此基础上,提出了节点分类生成对抗网络NC-GAN模型.该模型通过生成对抗网络进行二元博弈,同时考虑网络中的连通性分布和节点之间的相似度,以获得更加拟合网络的节点表示,再通过节点表...