面向人体动作识别的局部特征融合时间卷积网络

针对3D人体骨架序列动作识别这一问题,提出了一种结合了局部特征融合的时间卷积网络方法.首先,对一个动作中整个骨架序列的所有关节点的空间位置变化进行建模,提取其骨架序列的全局空间特征;然后,根据人体关节点及连接关系的拓扑结构将全局空间特征划分为人体局部空间特征,并将得到的局部空间特征分别作为对应TCN的输入,进而学习各关节内部的特征关系;最后,对输出的各部分特征向量进行融合,学习各部分关节之间的协作关系,从而完成对动作的识别.运用该方法在当前最具挑战性的数据集NTU-RGB+D进行了分类识别实验,结果表明,与已有的基于CNN,LSTM以及TCN的方法相比,其在对象交叉(cross-subject)和视图交叉(cross-view)的分类准确率上分别提高到了79.5%和84.6%.     

基于推理网络的人体动作识别

为更好地对动作进行分类,提出基于推理网络的人体动作识别算法.通过Faster RCNN提取以人为主要区域、以场景信息为附加区域的特征信息,将其输入到LSTM中进行边框回归以及动作分类,通过结合Faster RCNN和LSTM获得动作的空间特征和时间特征,得到更精确的动作分类.在公认的两个数据集上进行实验,U C F-1...     

基于递归神经网络的搏击中人体动作预测

人体动作预测是一个相对较新且活跃的研究领域,因为它有潜力提高机器人和其他机器或人类合作的能力,例如将物体传递给人类、避免碰撞人类等,而将这种技术应用在对抗的相关研究少之又少。本文主要研究基于RGB视觉输入观测人类拳击训练者,借助递归神经网络（RNN）来预测人类搏击动作。在公检法相关人员出于职务需要在身上佩戴面向前方的电子摄像头的背景下,本文设想的产品将通过这个摄像头获取信息,对佩戴人员发出危险预警和观察对象的动作预测。本文研究并比较了六种不同的神经网络结构的性能,提出方案1,包括四个以3D关节数据为输入的模型架构,以及方案2,包括两个以RGB图像为输入的架构。基于本文所有的研究结果,发现了基于少量数据的最有效和最高效的架构。     

基于混合注意力机制的视频人体动作识别

C3D作为一种典型的三维卷积神经网络被应用于视频动作识别任务。针对其存在的特征提取不足、易出现过拟合以及识别准确率较低等问题,提出一种融合混合注意力机制的C3D三维卷积网络模型。在原C3D网络插入由GCNet通道注意力模块和3D-Crisscross空间注意力模块构建的混合注意力模块,这两种注意力网络具有全局上下文建模操作,能够对三维特征建立远程依赖关系,加强网络对视频特征在通道和空间上的特征提取能力,提高模型的分类性能。将所提方法在UCF-101和HMDB-51两个大型视频数据集上进行测试,并与深度学习的其他模型进行比较,结果表明,该方法相对于其他深度学习模型具有相对更高的准确率,在UCF-101和HMDB-51数据集上的识别准确率可以达到96.7%和63.3%,而且与原C3D方法相比在效果上有明显提升。     

基于卷积神经网络的雷达人体动作识别方法

利用雷达来识别人体动作对环境要求较低,且避免了摄像头带来的的隐私问题。针对这种需求,提出一种基于超宽带雷达和深度学习算法的人体动作识别方法。利用超宽带雷达的高距离分辨力,并针对人体动作的动态特性,提取出人体目标的距离-时间二维特征,弥补单一距离特征的不足。针对特征图采用一种经过优化的卷积神经网络进行识别。通过SIR-20高速探地雷达平台进行数据采集,对8种不同的人体动作进行识别,最终达到了平均99.2%的正确识别率,验证了该方法的可行性和有效性。     

基于双向GRU和注意力机制模型的人体动作预测

针对人体动作预测中由于受到运动速度、运动幅度等不确定因素的影响,导致预测的第1帧动作不连续且准确预测时间较短的问题,提出一种基于双向门控循环单元(GRU)和注意力机制的端到端模型——BiAGRU-seq2seq.该模型的编码器部分采用双向GRU结构,使数据从正反2个方向同时输入;解码器部分采用单向GRU结构并加入了注意力机制,使编码器输出编码成一个包含多个子集的向量序列;然后将解码器的输入和输出数据同时送入残差架构中,用来模拟人体运动速度,使预测值更接近真实值.在TensorFlow框架下,利用目前动作捕捉数据最大的公开数据集human3.6m进行人体动作预测实验的结果表明,文中模型不仅能极大地降低短期动作预测的误差,也能较为准确地预测出多帧动作.     

基于PointNet和长短时记忆网络的三维人体动作预测

人体动作预测是计算机视觉和图形学领域的重要任务。现有的方法主要基于人体骨架和视频图像表示,相较于骨架和视频表示,三维几何数据表示人体动作更加直观和形象化。为此提出了一种基于PointNet和长短期记忆(LSTM)网络的三维点云表示的人体动作预测方法。首先,使用改进的PointNet对人体动作序列中的每帧三维点云进行特征提取;其次,通过LSTM学习动作序列的时间信息融合动作序列的时空特征;最后,将时空特征通过全连接神经网络(FC)进行动作预测;此外,还构造了三维点云表示的人体动作序列数据集。实验结果表明,所提方法在预测下一帧三维人体点云坐标时的平均损失值低于10^-3。     

面向时空特征融合的GSTIN动作识别网络

视频动作识别是计算机视觉领域一个十分具有挑战性的课题,主要任务是利用深度学习等视频智能分析技术识别的深层信息推导出视频人体行为动作.通过结合双流卷积神经网络和三维卷积神经网络的结构特点,提出了一种面向时空特征融合的GSTIN(GoogLeNet based on spatio-temporal intergration network).GSTIN中设计了时空特征融合模块InBST(inception blend spatio-temporal feature),提升网络对空间特征与时间特征的利用能力;在时空特征融合模块InBST基础上,构建了适合动作识别的多流网络结构.GSTIN在动作识别数据集UCF101、HMDB51上识别精度分别达到了93.8％和70.6％,这表明GSTIN与其他动作识别网络相比具有较好的识别性能.     

基于深度残差网络的人体行为识别算法研究

针对原始C3D卷积神经网络的层数较少、参数量较大和难以关注关键帧而导致的人体行为识别准确率较低的问题,提出一种基于改进型C3D的注意力残差网络模型;首先,增加原始网络卷积层并采用卷积核合并与拆分操作实现(3×1×7)和(3×7×1)的非对称式卷积核,之后采用全预激活式残差网络结构来增加构建的非对称卷积层,并且在残差块中增加时空通道注意力模块;最后,为展示该算法的先进性和应用性,则将该算法与原始C3D网络以及其他流行算法分别在基准数据集HMDB51和自建的43类别体育运动数据集上相比较;实验结果表明,该算法与原始C3D网络相比,在HMDB51和43类体育运动数据集上分别提高了9.88%和21.61%,参数量比原来降低了38.68%,并且结果也优于其他流行算法。     

基于时域分割的人体行为连续性动作预测仿真

传统人体行为动作预测方法对人体骨架上的所有关键特征映射点包含范围模糊,导致实时处理速度慢,无法有效对连续性动作进行预测,且错位率较高.为此提出一种基于时域分割的人类行为连续性动作预测.首先通过三维空间捕捉技术构建人体骨架模型,通过时域分割确定关节点的位置信息,将任意关节点都视为映射特征点,提取人体的运动数据特征,利用L...     

全卷积多并联残差神经网络

随着人工智能的火热发展,深度学习已经在很多领域占有了一席之地.作为深度学习中一个典型网络--残差神经网络模型自提出之日起就成为了众多研究者的关注点.然而,残差神经网络还有很大的改进空间.为了更好地解决反向传播中梯度减小的问题,本文提出了一种改进的残差神经网络,称为全卷积多并联残差神经网络.在该网络中,每一层的特征信息不仅传输到下一层还输出到最后的平均池化层.为了测试该网络的性能,分别在三个数据集(MNIST,CIFAR-10和CIFAR-100)上对比图像分类的结果.实验结果表明,改进后的全卷积多并联残差神经网络与残差网络相比具有更高的分类准确率和更好的泛化能力.     

基于残差网络的图像超分辨率重建算法

传统的卷积神经网络用到的方法是在稀疏表示的超分辨率图像的基础上学习高/低分辨率图像之间端到端的映射,输入的是高分辨率的图像,输出的是低分辨率的图像,拥有三层卷积层的SRCNN虽然有一定的重建效果,但是感受野较低,因此,提出加深网络结构的方法,此次改进使得后面的网络层拥有更大的感受野,这样结果的像素点可以根据更多的像素点来推断。但是考虑到网络结构加深对传输速率的影响,通过引入局部残差学习和全局残差学习相结合的方法来提高学习率,通过该办法有效地加快了收敛速度,并且通过实验结果验证,与已有的Bicubic、SRCNN和VDSR相比,重建效果在峰值信噪比、结构相似性和视觉效果上均有所提升。     

基于小波域的深度残差网络图像超分辨率算法

单幅图像超分辨率（SISR）是指从一张低分辨率图像重建高分辨率图像.传统的神经网络方法通常在图像的空间域进行超分辨率重构，但这些方法常在重构过程中忽略重要的细节.鉴于小波变换能够将图像内容的"粗略"和"细节"特征进行分离，提出一种基于小波域的深度残差网络（DRWSR）.不同于其他传统的卷积神经网络直接推导高分辨率图像（HR），该方法采用多阶段学习策略，首先推理出高分辨率图像对应的小波系数，然后重建超分辨率图像（SR）.为了获取更多的信息，该方法采用一种残差嵌套残差的灵活可扩展的深度神经网络.此外，提出的神经网络模型采用结合图像空域与小波域的损失函数进行优化求解.所提出的方法在Set5、Set14、BSD100、Urban100等数据集上进行实验，实验结果表明，该方法的视觉效果和峰值信噪比（PSNR）均优于相关的图像超分辨率方法.     

对称式密集连接网络的地基云图分割方法

为了提高地基云图分割的精度，提出一种对称式密集连接卷积神经网络的云图分割方法进行地基云图分割研究。提出的新的网络结构通过普通卷积层提取地基云图特征，通过连续的密集连接块和上采样模块对特征图进一步处理，通过并联方式融合网络浅层和网络深层的特征图从而实现对地基云图精确的分割。其中，密集块中采用跨层连接的方式实现了网络中所用层的特征传递，使得云图特征得到复用，同时一定程度上减轻了训练过程中的梯度消失问题，通过并联浅层网络和深层网络的特征图实现了对地基云图的进一步精确分割。实验结果表明，该方法与其他用于地基云图分割的机器学习方法相比，能够提高地基云图的分割准确率，具有良好的泛化效果。     

基于Elman神经网络的网络流量建模及预测

根据实际网络中测量得到的网络流量数据,建立一个基于Elman神经网络的流量模型,介绍Elman神经网络的架构设计,并提出一种基于正交最小二乘的学习算法,在此基础上对网络流量进行预测。仿真实验结果表明,该模型具有良好的预测效果,相对于传统线性模型及BP神经网络模型具有更高的预测精度和更好的自适应性。     

基于深度残差网络的人脸表情识别

针对深度卷积神经网络随着卷积层数增加而导致网络模型难以训练和性能退化等问题,提出了一种基于深度残差网络的人脸表情识别方法。该方法利用残差学习单元来改善深度卷积神经网络模型训练寻优的过程,减少模型收敛的时间开销。此外,为了提高网络模型的泛化能力,从KDEF和CK+两种表情数据集上选取表情图像样本组成混合数据集用以训练网络。在混合数据集上采用十折（10-fold）交叉验证方法进行了实验,比较了不同深度的带有残差学习单元的残差网络与不带残差学习单元的常规卷积神经网络的表情识别准确率。当采用74层的深度残差网络时,可以获得90.79%的平均识别准确率。实验结果表明采用残差学习单元构建的深度残差网络可以解决网络深度和模型收敛性之间的矛盾,并能提升表情识别的准确率。     

基于残差网络和门控卷积网络的语音识别研究

由于传统循环神经网络具有复杂的结构,需要大量的数据才能在连续语音识别中进行正确训练,并且训练需要耗费大量的时间,对硬件性能要求很大.针对以上问题,提出了基于残差网络和门控卷积神经网络的算法,并结合联结时序分类算法,构建端到端中文语音识别模型.该模型将语谱图作为输入,通过残差网络提取高层抽象特征,然后通过堆叠门控卷积神经...     

基于深度残差收缩网络的HEp-2图像识别

人上皮细胞（HEp-2）检测抗核抗体是诊断自身免疫性疾病的常用方法,HEp-2细胞图像识别对许多自身免疫性疾病的诊疗具有重要意义。针对目前主要采用手工评估方法造成效率低效、劳动强度高等问题,提出一种基于深度残差收缩网络的HEp-2细胞图像分类模型。该模型在深度残差网络基础上进行改进,残差学习模块使用恒等映射方法可以训练更深层次的网络。在每个残差学习模块内部嵌入一个软阈值非线性变换子网络,软阈值用以消除数据中的噪声和冗余信息,这些阈值通过子网络自动学习。实验表明,该方法具有良好的性能,优于其他深度神经网络方法。     

人体运动建模的实时逆运动学算法

人体运动的虚拟仿真及建模是当今计算机图形学研究的一个热点,而逆向运动学方法则是求解人体运动的一项关键技术.为了实现人体运动建模,提出一种新颖的基于人体关节约束的实时逆向运动学算法.首先基于骨骼长度改进了传统的循环坐标下降(CCD)算法,使其生成的运动效果更加流畅自然;然后引入生物分子运动模拟中的SHAKE算法,使短距离运动建模效果更加高效、鲁棒.在此基础上,提出了模拟多个节点同时运动的解析算法,以获得在多个关节点共同作用下的人体运动仿真效果.同运动捕捉的实测数据相比,采用文中算法所得的结果与在视觉效果上非常接近,并通过实验证实了其应用价值.     

基于多尺度残差FCN的时间序列分类算法

时间序列数据广泛存在于我们的生活中,吸引了越来越多的学者对其进行深入的研究.时间序列分类是时间序列的一个重要研究领域,目前已有上百种分类算法被提出.这些方法大致分为基于距离的方法、基于特征的方法以及基于深度学习的方法.前两类方法需要手动处理特征和人为选择分类器,而大多数的深度学习方法属于端到端的方法,并且在时间序列分类...