融合自注意力机制的生成对抗网络跨视角步态识别

目的 针对目前基于生成式的步态识别方法采用特定视角的步态模板转换、识别率随视角跨度增大而不断下降的问题,本文提出融合自注意力机制的生成对抗网络的跨视角步态识别方法。方法 该方法的网络结构由生成器、视角判别器和身份保持器构成,建立可实现任意视角间步态转换的网络模型。生成网络采用编码器—解码器结构将输入的步态特征和视角指示器连接,进而实现不同视角域的转换,并通过对抗训练和像素级损失使生成的目标视角步态模板与真实的步态模板相似。在判别网络中,利用视角判别器来约束生成视角与目标视角相一致,并使用联合困难三元组损失的身份保持器以最大化保留输入模板的身份信息。同时,在生成网络和判别网络中加入自注意力机制,以捕捉特征的全局依赖关系,从而提高生成图像的质量,并引入谱规范化使网络稳定训练。结果 在CASIA-B(Chinese Academy of Sciences’ Institute of Automation gait database——dataset B)和OU-MVLP(OU-ISIR gait database-multi-view large population dataset)数据集...     

基于双通道循环一致性GAN的跨视角步态识别研究

步态识别系统在生物识别领域显示出巨大的潜力,然而步态识别的准确性很容易受到视角的影响。为解决这一问题,提出的方法基于循环生成对抗网络(cycle generative adversarial network, Cycle-GAN)的网络结构,结合新的特征提取模块以及多重损失函数,提出了一种用于跨视角步态识别的网络模型双通道循环一致性生成对抗网络(two-channel cycle consistency generative adversarial network, TCC-GAN)。该网络首先将步态能量图像从任意视角转换为目标视角图像,然后进行比对从而实现身份识别。TCC-GAN分别引入了重建损失、视角分类和身份保持损失来指导生成器生成具有目标视角的步态图像并同时保留身份信息。为了避免可能存在的模式崩塌问题,并保证各个输入和输出以有意义的方式进行映射,模型中还利用了循环一致性损失。数据集CASIA-B和OU-MVLP上的实验结果表明:所提TCC-GAN模型的跨视角识别率高于目前大多数其他基于GAN的跨视角步态识别模型。     

基于多支路残差深度网络的跨视角步态识别方法

针对基于卷积神经网络的步态识别模型不能充分利用局部细粒度信息的问题,提出基于多支路残差深度网络的跨视角步态识别方法.将多支路网络引入卷积神经网络中,分别提取步态轮廓序列图中不同粒度的特征,并利用残差学习和多尺度特征融合技术,增强网络的特征学习能力.在公开步态数据集CASIA-B和OU-MVLP上的实验证实文中方法的识别...     

基于改进联合损失函数的跨视角步态识别研究

针对公共安全场所中如何通过非接触性的方法识别犯罪可疑分子,成为目前研究的热点之一,其中步态识别技术在公安视频侦查工作中具有良好的应用前景。现阶段,步态识别技术在公开数据集CASIA-B的正常行走状态下识别正确率已经达到了96%,但是行人在穿外套和携带包裹等有遮挡行走状态下的识别正确率效果不太理想。针对此问题,采用联合Triplet和Softmax两个损失函数的方法,同时在联合损失函数中加入L2正则化,从而优化网络步态模型,通过训练提高行人的步态识别准确率。研究结果表明,正常行走条件下的步态识别准确率维持在合理范围内,穿外套和携带包裹行走的步态识别准确率均有明显的提升,分别提升至93.03%和81.03%。     

共享转换矩阵的胶囊网络及其融合视角特征的跨视角步态识别

步态识别具有非接触性、非侵犯性、易感知等优势,然而,在跨视角的步态识别中,行人的轮廓会随人的视角的变化而不同,从而影响步态识别的性能。为此,提出了共享转换矩阵的胶囊网络及其改进的动态路由算法,从而减少了网络训练参数。在此基础上,通过融合视角特征,利用Triplet损失与Margin损失提出了融合视角特征的跨视角步态识别模型。在CASIA-B数据集上的实验结果表明,使用共享转换矩阵的胶囊网络提取步态特征是有效的,在正常行走、携带背包、穿戴外套条件下,所提融合视角特征的模型在识别准确率上比基于卷积神经网络的跨视角步态识别方法提高了4.13%,且对跨较大视角的步态识别具有更好的性能。     

基于双流步态网络的跨视角步态识别

通过增强样本数据和网络特征,提出双流步态网络,增强模型对携带物、衣物变化影响的鲁棒性.首先构造双流步态网络,分别提取步态视频数据中的全局特征和协变量影响范围外的局部判别信息.再将两组网络的特征信息相加融合后,得到步态的双流特征表达.提出的限制随机遮挡策略增广用于训练样本的难度和多样性,提高网络对局部特征的学习能力,减弱协变量的不利影响.另外,改进三元组损失采样方法,加速网络模型的训练收敛速度.在大型步态数据集CASIA-B和OU-MVLP上的实验表明,在携带背包和穿着不同衣物的行走状态下,双流步态网络步态识别准确率较高.     

跨视角步态识别综述

步态识别具有对图像分辨率要求低、可远距离识别、无需受试者合作、难以隐藏或伪装等优势,在安防监控和调查取证等领域有着广阔的应用前景。然而在实际应用中,步态识别的性能常受到视角、着装、携物和遮挡等协变量的影响,其中视角变化最为普遍,并且会使行人的外观发生显著改变。因此,提高步态识别对视角的鲁棒性一直是该领域的研究热点。为了全面认识现有的跨视角步态识别方法,本文对相关研究工作进行了梳理和综述。首先,从基本概念、数据采集方式和发展历程等角度简要介绍了该领域的研究背景,在此基础上,整理并分析了基于视频的主流跨视角步态数据库;然后,从基于3维步态信息的识别方法、基于视角转换模型的识别方法、基于视角不变特征的识别方法和基于深度学习的识别方法 4个方面详细介绍了跨视角步态识别方法。最后,在CASIA-B(CASIA gait database, dataset B)、OU-ISIR LP(OU-ISIR gait database, large population dataset)和OU-MVLP(OU-ISIR gait database, multi-view large population ...     

基于条件Wassertein生成对抗网络的图像生成

生成对抗网络(GAN)能够自动生成目标图像,对相似地块的建筑物排布生成具有重要意义.而目前训练模型的过程中存在生成图像精度不高、模式崩溃、模型训练效率太低的问题.针对这些问题,提出了一种面向图像生成的条件Wassertein生成对抗网络(C-WGAN)模型.首先,该模型需要识别真实样本和目标样本之间特征对应关系,然后,...     

基于多粒度特征生成对抗网络的跨分辨率行人重识别

现有基于生成对抗网络（GAN）的超分辨率（SR）重建方法用于跨分辨率行人重识别（ReID）时,重建图像在纹理结构内容的恢复和特征一致性保持方面均存在不足。针对上述问题,提出基于多粒度信息生成网络的跨分辨率行人ReID方法。首先,在生成器的多层网络上均引入自注意力机制,聚焦多粒度稳定的结构关联区域,重点恢复低分辨率（LR）行人图像的纹理结构信息;同时,在生成器后增加一个识别器,在训练过程中最小化生成图像与真实图像在不同粒度特征上的损失,提升生成图像与真实图像在特征上的一致性。然后,联合自注意力生成器和识别器,与判别器交替优化,在内容和特征上改进生成图像。最后,联合改进的GAN和行人ReID网络交替训练优化网络的模型参数,直至模型收敛。在多个跨分辨率行人数据集上的实验结果表明,所提算法的累计匹配曲线（CMC）在其首选识别率（rank?1）上的准确率较现有同类算法平均提升10个百分点,在提升SR图像内容一致性和特征表达一致性方面均表现更优。     

基于生成式对抗网络的图像超分辨率重建算法

针对传统图像超分辨率重建算法存在网络训练困难与生成图像存在伪影的问题,提出一种利用生成式对抗网络的超分辨率重建算法.去除生成式对抗网络的批量归一化层降低计算复杂度,将其中的残差块替换为密集残差块构成生成网络,使用VGG19网络作为判别网络的基础框架,以全局平均池化代替全连接层防止过拟合,引入纹理损失函数、感知损失函数、...     

基于维纳滤波器和生成对抗网络的动态模糊图像处理方法

在傅里叶频域中，由于逆滤波对加性噪声特别敏感，使得恢复后的图像仍然非常模糊.针对这一问题，我们提出了一种基于维纳滤波器和生成对抗网络的动态模糊图像处理方法.首先使用维纳滤波去模糊算法，通过均方差最小化去除噪声，但由于无法判断拍摄装置的移动范围并未得到预期效果.再考虑使用自由性强、不受预定条件分布的生成对抗网络模型（GAN）.定义一个类生成器G（y）和类判别器D（x），通过机器学习的方式进行反复学习和反馈，直至达到模型无法判别生成数据样本S（y）和真实数据样本r（x）时，图像近似还原成功.同时，引入“模糊核”概念，模拟图像的模糊轨迹，进行精确还原.最后，由于肉眼很难对图像的还原程度做定量判断.因此我们利用三个评价指标对这些图像进行客观评价——峰值性噪比PSNR、模糊系数KBlur、质量因素Q.实验结果表明，在该方法下的图像的三个评价指标在一定程度上有所改善，从而得到图像还原较为成功的结论.     

基于生成对抗网络的最大熵逆强化学习

针对逆强化学习算法在训练初期由于专家样本稀疏所导致的学习速率慢的问题,提出一种基于生成对抗网络（Generative Adversarial Networks,GAN）的最大熵逆强化学习算法。在学习过程中,结合专家样本训练优化生成对抗网络,以生成虚拟专家样本,在此基础上利用随机策略生成非专家样本,构建混合样本集,结合最大熵概率模型,对奖赏函数进行建模,并利用梯度下降方法求解最优奖赏函数。基于所求解的最优奖赏函数,利用正向强化学习方法求解最优策略,并在此基础上进一步生成非专家样本,重新构建混合样本集,迭代求解最优奖赏函数。将所提出的算法与MaxEnt IRL算法应用于经典的Object World与Mountain Car问题,实验表明,该算法在专家样本稀疏的情况下可以较好地求解奖赏函数,具有较好的收敛性能。     

基于迁移学习的双层生成式对抗网络

在生成式对抗网络的对抗训练中,目标样本训练集不足会导致模型无法准确学习到对应的特征,但对于需要人工制作、标记的目标样本训练集又很难获取。针对这一问题,提出了基于迁移学习的双层生成式对抗网络模型,在第一层网络中通过伪目标样本让模型学习到目标样本在结构空间的大致分布后,利用迁移学习的思想进行模型迁移,并在第二层网络中根据少量目标样本进行调整。实验中,验证了该模型在中文字体生成与图片框架图转换中的提高,有效地在少量目标样本训练集中训练出更好的模型。     

基于生成对抗网络的图像修复

针对现有图像修复算法存在受损区域的形状和大小受限以及修复痕迹明显、修复边缘不连续的问题,文中提出一种基于生成对抗网络的图像修复方法。该方法采用生成对抗网络(Generative Adversarial Networks,GAN)这种新的生成模型作为基本架构,结合Wasserstein距离,同时融入条件对抗网络(CGAN)的思想;以破损图像作为附加条件信息,采用对抗损失与内容损失相结合的方式来训练网络模型,以修复破损区域。此方法能够修复大多数破损情况下的图像。在CelebA和LFW两个数据集上的实验结果表明,所提方法能够取得很好的修复效果。     

基于生成对抗网络的高光谱图像分类

针对高光谱图像分类领域中特征利用不足的问题,提出了一种基于生成对抗网络（Generative Adversarial Networks,GANs）的高光谱图像分类方法。根据高光谱图像空间域和光谱域的相关性,利用GANs方法,挖掘其深层特征,生成可分性更高的高光谱图像,并通过支持向量机（Support Vector Machine,SVM）对生成的高光谱图像进行分类。使用两组高光谱数据进行实验,结果表明,该方法能够在少量高光谱波段的情况下,对抗学习到较好的生成模型,使得生成的高光谱图像在地物分类实验中具有更高的分类精度。     

基于条件深度卷积生成对抗网络的图像识别方法

生成对抗网络（Generative adversarial networks,GAN）是目前热门的生成式模型.深度卷积生成对抗网络（Deep convolutional GAN,DCGAN）在传统生成对抗网络的基础上,引入卷积神经网络（Convolutional neural networks,CNN）进行无监督训练;条件生成对抗网络（Conditional GAN,CGAN）在GAN的基础上加上条件扩展为条件模型.结合深度卷积生成对抗网络和条件生成对抗网络的优点,建立条件深度卷积生成对抗网络模型（Conditional-DCGAN,C-DCGAN）,利用卷积神经网络强大的特征提取能力,在此基础上加以条件辅助生成样本,将此结构再进行优化改进并用于图像识别中,实验结果表明,该方法能有效提高图像的识别准确率.     

基于生成式对抗网络的中国电影连续观影数据预测

近年来,中国电影上映数量及观影人数均快速上涨,市场逐步扩大,各类票房预测算法也被广泛提出和研究.然而,这些方法仅利用电影静态信息进行预测,无法根据上映时期的各类实时动态信息对预测进行调整.同时,大部分现存方法仅能预测最终票房,而无法预测每日票房及其他观影信息,如上座率,观影人数等.为了在上映期间能准确预测电影上映后各日的观影信息,本文提出一种基于生成式对抗网络(Generative Adversarial Networks,GAN)的预测算法.该算法首先基于傅里叶变换将指定电影已上映各日票房的时域信号转化为频域信号并提取全局信息.再利用本文提出的动态编码获取其局部动态信息.最后通过生成式对抗网络对编码后的输入进行深度频域特征和时域特征提取以及未上映日期观影数据的预测和生成.实验结果表明,本文算法可较为精确的预测每日电影观影数据,同时相对于仅利用静态数据,本文方法可提升预测准确度,当两者结合使用时,可达到最佳效果.因此,该算法可为电影营销产业提供有效信息.     

基于循环生成对抗网络的含遮挡人脸识别

人脸图像的遮挡会严重影响人脸识别准确率,当前处理带遮挡人脸识别的方法主要有丢弃法和修复法两种。丢弃法因忽略或丢弃大量遮挡区域的有效特征易造成识别准确率不高,而当前大多数修复法需要原图的相关信息,限制了其应用。针对现有含遮挡人脸识别方法存在的问题,提出一种基于循环生成对抗网络的人脸识别算法,通过利用2对生成器和判别器进行循环训练,实现遮挡人脸图像的盲修复,此过程不需要除遮挡区域外的原图信息。在此基础上,采用ResNet-50网络对修复后人脸进行识别,该网络通过跳跃连接消除深层卷积神经网络中的网络退化问题,能够降低网络训练的难度,且不会增加额外的参数和计算量。针对盲修复后人脸特征存在类内差异大和类间差异小的特性,引入一种能够量化类间距离的分类损失函数RegularFace作为识别网络损失函数。实验结果表明,与DCGAN+CNN算法相比,所提算法对不同遮挡类型和遮挡区域的人脸图像识别准确率均有所提高,当线性遮挡面积为40%时,所提算法的识别准确率提高了14.4个百分点。     

序列生成对抗网络在推荐系统中的应用

推荐系统旨在根据用户的历史行为数据发现该用户可能感兴趣的新项目,并产生相应的推荐。当前大部分的推荐系统多根据用户的历史行为数据,挖掘相似用户,并从相似用户的历史数据中选出彼此历史数据中未出现的新项目;或者根据用户感兴趣的历史项目匹配相似的新项目,从而实现推荐。但这些推荐方式对原始数据有着较强的依赖关系,且难以发觉不同项目之间隐含的序列关系。因此提出一种融合Item2vec和生成对抗网络（Generative Adversarial Networks,GAN）方法的推荐算法,可以学习得到项目间难以表达的关系;挖掘用户历史数据中的序列关系,学习用户兴趣偏好的真实分布;实现用户兴趣偏好的预测。实验发现该推荐算法具有较好的表现。