视频中多特征融合人体姿态跟踪

目的 目前已有的人体姿态跟踪算法的跟踪精度仍有待提高,特别是对灵活运动的手臂部位的跟踪。为提高人体姿态的跟踪精度,本文首次提出一种将视觉时空信息与深度学习网络相结合的人体姿态跟踪方法。方法 在人体姿态跟踪过程中,利用视频时间信息计算出人体目标区域的运动信息,使用运动信息对人体部位姿态模型在帧间传递;考虑到基于图像空间特征的方法对形态较为固定的人体部位如躯干和头部能够较好地检测,而对手臂的检测效果较差,构造并训练一种轻量级的深度学习网络,用于生成人体手臂部位的附加候选样本;利用深度学习网络生成手臂特征一致性概率图,与视频空间信息结合计算得到最优部位姿态,并将各部位重组为完整人体姿态跟踪结果。结果 使用两个具有挑战性的人体姿态跟踪数据集VideoPose2.0和YouTubePose对本文算法进行验证,得到的手臂关节点平均跟踪精度分别为81.4%和84.5%,与现有方法相比有明显提高;此外,通过在VideoPose2.0数据集上的实验,验证了本文提出的对下臂附加采样的算法和手臂特征一致性计算的算法能够有效提高人体姿态关节点的跟踪精度。结论 提出的结合时空信息与深度学习网络的人体姿态跟踪方法能够有效提高人体姿态跟踪的精度,特别是对灵活运动的人体姿态下臂关节点的跟踪精度有显著提高。     

基于单一深度图像的人体姿态实时识别技术研究

为探索更自然、逼真的交互方式,对基于深度图像技术进行研究。介绍当前深度图像技术的应用现状以及主要研究方法;利用深度图像对人体进行识别,包括基于多幅深度图像和基于单一深度图像;对于人体姿态静态追踪,基于当前研究成果将人体部位进行分割处理,以计算机处理速率及鲁棒性为出发点,将随机森林算法应用于单一深度图像中人的定位,并提出改进方法,实现身体部位的识别以及骨骼关节点的空间位置精确标定。通过试验分析对人体深度图像识别速率及精确度方面的改进效果进行验证。     

着装场景下双分支网络的人体姿态估计

目的 人体姿态估计旨在识别和定位不同场景图像中的人体关节点并优化关节点定位精度。针对由于服装款式多样、背景干扰和着装姿态多变导致人体姿态估计精度较低的问题,本文以着装场景下时尚街拍图像为例,提出一种着装场景下双分支网络的人体姿态估计方法。方法 对输入图像进行人体检测,得到着装人体区域并分别输入姿态表示分支和着装部位分割分支。姿态表示分支通过在堆叠沙漏网络基础上增加多尺度损失和特征融合输出关节点得分图,解决服装款式多样以及复杂背景对关节点特征提取干扰问题,并基于姿态聚类定义姿态类别损失函数,解决着装姿态视角多变问题;着装部位分割分支通过连接残差网络的浅层特征与深层特征进行特征融合得到着装部位得分图。然后使用着装部位分割结果约束人体关节点定位,解决服装对关节点遮挡问题。最后通过姿态优化得到最终的人体姿态估计结果。结果 在构建的着装图像数据集上验证了本文方法。实验结果表明,姿态表示分支有效提高了人体关节点定位准确率,着装部位分割分支能有效避免着装场景中人体关节点误定位。在结合着装部位分割优化后,人体姿态估计精度提高至92.5%。结论 本文提出的人体姿态估计方法能够有效提高着装场景下的人体姿态...     

用于视频流人体姿态估计的时空信息感知网络

针对现有二维人体姿态估计方法应用于视频序列时由于图像质量不稳定而导致的估计精度下降和时域不连续的问题,提出一种时空信息感知网络STNet.首先利用卷积模块提取出每帧视频中人体关节点的二维空间热力图,接着利用循环卷积模块对连续帧热力图之间的时间信息进行编码.时空信息的解耦学习策略提升了姿态估计结果的时域连贯性和空间准确性...     

基于空间变换的属性可编辑的人体图像合成

针对现有姿态引导的人体图像合成方法无法灵活地编辑人体外观属性的问题,通过对输入的人体图像进行语义分割得到不同部位的外观属性,替换这些属性即可达到同时编辑人体姿态与外观属性的目的.针对纯卷积结构的生成对抗网络无法很好地生成衣服上的图案的问题,提出了新的空间变换算法对多个源属性的特征图进行空间变换,使衣服上的图案得到了保留...     

基于部位检测的人体姿态识别

为实现较高准确率的基于低分辨率深度图像的人体姿态识别,以Shotton算法为基础,提出了合并部位的方法.利用随机森林检测人体的31个部位,将人体的较小部位合并或者把较小部位划分到相邻的主要部位中去,用均值偏移算法获取各部位关节点的位置.鉴于目前还没有公开的人体姿态深度图像库,改进后的方法利用计算机图形学技术构建了数据集.实验结果表明,改进后的方法提高了低分辨率图像中人体关节点的平均预测准确率,与Shotton算法中要求具有高性能的训练平台相比,该方法在普通PC上就能够很好地运行.     

面向移乘搬运护理机器人的人体姿态视觉识别

针对移乘搬运护理机器人系统对人体姿态检测的高准确性、近距离适应性等要求,提出一种基于RGB-D(RGB-depth)信息的双级卷积神经网络算法.利用第1级网络计算彩色图像中的人体关节像素坐标,将彩色图人体关节坐标映射到深度图坐标,计算关节热图;提出一种卷积神经网络结构,将深度图像和关节热图输入第2级网络,估算3D人体关节位置.根据人体关节点位置,采用图像分割方法进一步计算腋下点.实验结果表明,本文提出的人体姿态识别方法单次计算用时210 ms,在移乘搬运护理机器人应用环境下,人体姿态识别精度达到了91.5%,在近距离环境下人体姿态识别精度达到了90.3%,具备实时、准确的人体姿态全局坐标估算能力.     

基于共形几何代数的三维人体骨架运动序列

为了解决虚拟试衣中人体模型可以动态展示服装效果的问题,提出三维人体骨架动态建模。在基于三维人体模型的骨架自动提取的基础上,采用共形几何代数方法描述人体关节点的运动并通过相邻关节点的位置变化表达不同的人体动作。用关键帧插值法实现人体姿态的序列动作,选择螺旋运动算子实现了基于2D视频图像的3D人体骨架姿态的参数估计,建立了骨架运动模型。三维人体骨架模拟视频动作证实了该方法的高效性。     

面向RGB-D场景解析的三维空间结构化编码深度网络

有效的RGB-D图像特征提取和准确的3D空间结构化学习是提升RGB-D场景解析结果的关键。目前,全卷积神经网络（FCNN）具有强大的特征提取能力,但是,该网络无法充分地学习3D空间结构化信息。为此,提出了一种新颖的三维空间结构化编码深度网络,内嵌的结构化学习层有机地结合了图模型网络和空间结构化编码算法。该算法能够比较准确地学习和描述物体所处3D空间的物体分布。通过该深度网络,不仅能够提取包含多层形状和深度信息的分层视觉特征（HVF）和分层深度特征（HDF）,而且可以生成包含3D结构化信息的空间关系特征,进而得到融合上述3类特征的混合特征,从而能够更准确地表达RGB-D图像的语义信息。实验结果表明,在NYUDv2和SUNRGBD标准RGB-D数据集上,该深度网络较现有先进的场景解析方法能够显著提升RGB-D场景解析的结果。     

基于堆叠深度卷积沙漏网络的步态识别

提出了一种基于堆叠深度卷积沙漏网络的步态识别方法。为了解决人体建模中关节点准确定位的问题，采用基于深度卷积的沙漏网络来提取步态图上的关节点坐标，并计算肘关节与膝关节的角度作为运动特征。为了解决行走速度变化带来的影响，采用动态时间规整（Dynamic Time Warping）对特征序列进行距离计算。通过最近邻分类器对结果进行准确分类。该方法在公共CASIA-B数据集与TUM-GAID数据集上进行了验证并与其他方法进行比较，结果表明该方法有较高的识别率。     

改进的生成对抗网络图像超分辨率重建

近年来,生成对抗网络在约束图像生成方面表现出了较好的潜力,使其适用于图像超分辨率重建。针对基于卷积神经网络的图像超分辨率重建算法存在的特征信息利用率低的问题,基于生成对抗网络框架,提出了残差密集生成对抗网络的超分辨率重建算法。该算法定义生成器网络、判别器网络,通过构建残差密集网络作为生成器网络及PatchGAN作为判别器网络,以解决基于卷积神经网络的超分辨率算法中特征信息利用率低以及生成对抗网络收敛慢的问题。该重建算法在Set5等标准数据集上与主流的超分辨率重建算法进行对比,实验表明,该算法能够有效地提高特征信息利用率,较好地恢复低分辨率图像的细节信息,提高图像重建的质量。     

结合GAN的轻量级模糊车牌识别算法

目的 模糊车牌识别是车牌识别领域的难题,针对模糊车牌图像收集困难、车牌识别算法模型太大、不适用于移动或嵌入式设备等不足,本文提出了一种轻量级的模糊车牌识别方法,使用深度卷积生成对抗网络生成模糊车牌图像,用于解决现实场景中模糊车牌难以收集的问题,在提升算法识别准确性的同时提升了部署泛化能力。方法 该算法主要包含两部分,即基于优化卷积生成对抗网络的模糊车牌图像生成和基于深度可分离卷积网络与双向长短时记忆（long short-term memory,LSTM）的轻量级车牌识别。首先,使用Wasserstein距离优化卷积生成对抗网络的损失函数,提高生成车牌图像的多样性和稳定性;其次,在卷积循环神经网络的基础上,结合深度可分离卷积设计了一个轻量级的车牌识别模型,深度可分离卷积网络在减少识别算法计算量的同时,能对训练样本进行有效的特征学习,将特征图转换为特征序列后输入到双向LSTM网络中,进行序列学习与标注。结果 实验表明,增加生成对抗网络生成的车牌图像,能有效提高本文算法、传统车牌识别和基于深度学习的车牌识别方法的识别率,为进一步提高各类算法的识别率提供了一种可行方案。结合深度可分离卷积的轻量级车牌识别模型,识别率与基于标准循环卷积神经网络（convolutional recurrent neural network,CRNN）的车牌识别方法经本文生成图像提高后的识别率相当,但在模型的大小和识别速度上都优于标准的CRNN模型,本文算法的模型大小为45 MB,识别速度为12.5帧/s,标准CRNN模型大小是82 MB,识别速度只有7帧/s。结论 使用生成对抗网络生成图像,可有效解决模糊车牌图像样本不足的问题;结合深度可分离卷积的轻量级车牌识别模型,具有良好的识别准确性和较好的部署泛化能力。     

一种基于生成式对抗网络的图像数据扩充方法

针对卷积神经网络(CNN)在数据集(训练集)较小时,易发生过度拟合的现象,提出并实现了一种引入Selu激活函数并结合带参数归一化的Dropout方法的深度卷积生成式对抗网络用于图像增强,生成图像实现数据集扩充,从而解决深度学习图像分类研究中因图像数据不足造成的模型表达能力差、训练时易过度拟合的问题。通过裁剪、旋转、插值、畸变变换等扩充图像集的传统图像增强方法往往只能扩充样式单一甚至信噪比较低的图像,与传统图像增强方法扩充图像集不同,使用生成式对抗网络生成的图像明显区别于原始图像,不仅可以得到数量更多,内容更丰富的高质量图像,数据集扩充效率也得以提升。仿真实验表明,该生成式对抗网络得到了质量相对较高的图像,有效地扩充了数据集。     

基于联合一致循环生成对抗网络的人像着色

传统灰度图像着色方法存在颜色失真、效果不佳等问题,已逐渐被深度学习方法取代。目前基于深度学习的人像着色方法主要存在复杂背景下误着色的问题。针对上述问题,提出了联合一致循环生成对抗网络的人像着色方法。该方法在循环生成对抗网络的基础上,采用联合的一致性损失训练模型;生成网络采用U型网络结构（UNet）进行改进,以提高生成图像信息的完整性;判别网络中引入多特征融合的特征提取方式,增强特征对图像的细节表达。最后通过在自建的CASIA-PlusColors高质量人像数据集中的对比实验,验证了该方法对复杂背景中的人像着色有着更好的效果。     

基于自注意力机制的条件生成对抗网络

近年来,越来越多的生成对抗网络出现在深度学习的各个领域中.条件生成对抗网络(Conditional Generative Adver-sarial Networks,cGAN)开创性地将监督学习引入到无监督的GAN网络中,这使得GAN可以生成有标签数据.传统的GAN通过多次卷积运算来模拟不同区域之间的相关性,进而生成图...     

基于动态卷积的多模态脑MR图像生成

近年来, 通过自动生成方法获取多模态MR图像得到了广泛研究, 但仍难以通过一种模态直接生成其他各类模态的图像. 针对该问题, 本文提出了动态生成对抗网络. 新模型通过将生成对抗网络与动态卷积相结合, 同时加入任务标签这一条件, 实现从一种MR模态同时生成其他3种MR模态. 同时为了提高图像生成质量, 进一步提出了多尺度判别策略, 通过融合多个尺度来提升判别效果. 基于BRATS19数据集进行生成验证, 实验结果表明, 新方法不但可以同时生成多种模态的数据, 而且提高了生成图像的质量.     

基于同步压缩和DCGAN的癫痫脑电信号检测方法

脑电信号智能识别是癫痫病检测的重要手段,为更加准确地预测癫痫发作,针对目前的深度学习方法特别是卷积神经网络在脑电信号分类方面存在的一些问题,如算法复杂度过高、样本量太少导致分类效果差等,提出基于傅里叶同步压缩变换和深度卷积生成对抗网络的癫痫脑电信号检测方法。首先同步压缩方法将短时傅里叶变换处理后的信号时频能量进行压缩,使得频谱图像精度更高;其次构建深度卷积生成对抗网络来提取特征;最后实现癫痫发作预测。实验在CHB-MIT脑电数据集上进行,结果表明该方法具有97.9%的检测准确率。使用生成对抗网络有效解决了样本量不足的问题,结合同步压缩处理方法后,具有良好的识别准确性。     

条件生成对抗网络的低照度图像增强方法

目的 在日常的图像采集工作中,由于场景光照条件差或设备的补光能力不足,容易产生低照度图像。为了解决低照度图像视觉感受差、信噪比低和使用价值低（难以分辨图像内容）等问题,本文提出一种基于条件生成对抗网络的低照度图像增强方法。方法 本文设计一个具备编解码功能的卷积神经网络（CNN）模型作为生成模型,同时加入具备二分类功能的CNN作为判别模型,组成生成对抗网络。在模型训练的过程中,以真实的亮图像为条件,依靠判别模型监督生成模型以及结合判别模型与生成模型间的相互博弈,使得本文网络模型具备更好的低照度图像增强能力。在本文方法使用过程中,无需人工调节参数,图像输入模型后端到端处理并输出结果。结果 将本文方法与现有方法进行比较,利用本文方法增强的图像在亮度、清晰度以及颜色还原度等方面有了较大的提升。在峰值信噪比、直方图相似度和结构相似性等图像质量评价指标方面,本文方法比其他方法的最优值分别提高了0.7 dB、3.9%和8.2%。在处理时间上,本文方法处理图像的速度远远超过现有的传统方法,可达到实时增强的要求。结论 通过实验比较了本文方法与现有方法对于低照度图像的处理效果,表明本文方法具有更优的处理效果,同时具有更快的处理速度。     

基于对抗生成网络的蒙特卡罗噪声去除算法

针对现有的蒙特卡罗噪声去除方法存在的高频细节丢失问题,文中提出基于对抗生成网络的蒙特卡罗噪声去除方法.设计对抗网络结构,包括全卷积网络的生成网络和深度卷积网络的判别网络,用于蒙特卡罗噪声的去除.除了加入包括图像像素颜色外的多维辅助特征作为网络输入以外,还采用包含平滑损失在内的新的损失函数和基于法向量方差和梯度大小相似度偏差的图像局部重要性采样技术用于网络训练.实验表明,文中方法在去除蒙特卡罗噪声时不仅可以取得不错的量化指标,而且还保留图像的高频细节特征.     

基于深度学习的图像质量评价方法综述

图像质量评价是对图像或视频的视觉质量的一种度量,主要分析了最近10年图像质量评价算法的研究情况。介绍了图像质量评价算法的衡量指标以及常用的图像质量评价数据集,对图像质量评价方法的分类做了阐述,重点分析了基于深度学习技术的图像质量评价算法。目前,该类算法的基础模型主要包括深度卷积神经网络、深度生成对抗网络和变换器,其性能通常高于传统的图像质量评价算法。描述了基于深度学习技术的图像质量评价算法的原理,重点介绍了基于深度生成对抗网络的无参考图像质量评价算法,通过增强对抗学习强度提高模拟参考图的可靠性。深度学习技术需要海量训练数据的支持,探讨和总结数据集增强的方法,对数字图像质量评价方法的未来研究进行展望。