基于单目视觉的在线人体康复动作识别

为了进一步提高居家监护场景下人体动作识别的可靠性与实时性,更好地辅助出院后的卒中患者进行康复训练,提出一种基于单目视觉的在线人体动作识别算法。融合姿态估计OpenPose与最近邻匹配算法对监控视频流中的目标人体生成动作序列。通过滑动窗口选取原始姿态特征并对其预处理转化为鲁棒性特征,输入到多层LSTM长短时记忆网络中进行康复动作识别。实验结果表明,该方法对活动背景、人体穿着、无关人员的干扰等具有较强的适应能力,能够在线识别连续的康复动作且准确率达90.66%,在居家康复训练场景中有一定的应用价值。     

结合轻量Openpose和注意力引导图卷积的动作识别

现有人体姿态动作识别方法忽视前期姿态估计算法的作用,没有充分提取动作特征,提出一种结合轻量级Openpose和注意力引导图卷积网络的动作识别方法。该方法包含基于shufflenet的Openpose算法和基于不同尺度邻接矩阵注意力的图卷积算法。输入视频由轻量Openpose处理得到18个人体关键点信息,表达为基础时空图数据形式。节点的不同尺度邻居信息对应的邻接矩阵通过自注意力机制计算影响力,将各尺度邻接矩阵加权合并输入图卷积网络提取特征。提取到的鉴别特征通过全局平均池化和softmax分类器输出动作类别。在Le2i Fall Detection数据集和自定义的UR-KTH数据集上的实验表明,动作识别的准确率分别为95.52%和95.07%,达到了预期效果。     

基于人体关节点多特征融合的暴力行为识别

针对目前视频中暴力行为识别算法识别准确率不高的问题,提出一种基于人体关节点多特征融合的暴力行为识别方法。使用YOLO-Pose算法实现人体检测与姿态估计,获取人体关节点位置信息,基于人体结构提取关节点的距离特征和形状特征,基于运动特性提取关节点的动态特征和姿态特征,将所有特征信息进行融合,构建Bi-LSTM行为识别模型实现暴力行为识别分类,并设计行为识别结果稳定器,解决识别过程中因随机干扰导致的行为误判问题。在公开暴力行为数据集Violent-Flows与自制暴力行为数据集Vio-B上验证提出方法的有效性,实验表明,在Violent-Flows数据集与Vio-B数据集上本方法准确率分别达到97.9%与98.5%,高于现有方法。     

一种改进的GRU-InFCN人体行为识别模型

为了克服传统机器学习方法在采用传感器数据进行人体行为识别领域上识别效果对人工特征选取依赖严重、识别准确率不高等问题,提出一种改进的全卷积神经网络和多层循环神经网络并联的深度学习模型(GRU-InFCN),并对传感器数据特征进行自动提取,实现人体动作的识别。该模型通过多尺度卷积神经网络和双层GRU网络(Gated Recurrent Unit,GRU)分别对传感器数据进行特征提取,将特征矩阵在矩阵维度上进行特征拼接再通过Softmax完成特征分类。实验结果表明,在开源人体行为识别(HAR)数据集上采用该方法进行人体行为识别,准确率达到了97.76%。该模型在取得高准确率的同时,避免了复杂的信号预处理和特征工程。     

基于非局部高分辨率网络的人体姿态估计方法

人体姿态估计是计算机视觉中的基础任务,其可应用于动作识别、游戏、动画制作等。受非局部均值方法的启发,设计了非局部高分辨率网络（non-local high-resolution,NLHR）,在原始图像1/32分辨率的网络阶段融合非局部网络模块的,使网络有了获取全局特征的能力,从而提高人体姿态估计的准确率。NLHR网络在MPII数据集上训练,在MPII验证集上测试,PCKh@0.5评价标准下的平均准确率为90.5%,超过HRNet基线0.2个百分点;在COCO人体关键点检测数据集上训练,在COCO验证集上测试,平均准确率为76.7%,超过HRNet基线2.3个百分点。通过3组消融实验,验证NLHR网络针对人体姿态估计在精度上能够超过现有的人体姿态估计网络。     

时空特征局部保持的运动视频关键帧提取

为提高运动视频关键帧的运动表达能力和压缩率,提出柔性姿态估计和时空特征嵌入结合的运动视频关键帧提取技术。首先,利用人体动作的时间连续性保持建立具有时间约束限制的柔性部件铰接人体（ST-FMP）模型,通过非确定性人体部位动作连续性约束,采用N-best算法估计单帧图像中的人体姿态参数;接着,采用人体部位的相对位置和运动方向描述人体运动特征,通过拉普拉斯分值法实施数据降维,获得局部拓扑结构表达能力强的判别性人体运动特征向量;最后,采用迭代自组织数据分析技术（ISODATA）算法动态地确定关键帧。在健美操动作视频关键帧提取实验中,ST-FMP模型将柔性混合铰接人体模型（FMP）的非确定性人体部位的识别准确率提高约15个百分点,取得了81%的关键帧提取准确率,优于KFE和运动块的关键帧算法。所提算法对人体运动特征和人体姿态敏感,适用于运动视频批注审阅。     

基于非局部高分辨率网络的轻量化人体姿态估计方法

人体姿态估计是计算机视觉中的基本任务之一,可应用于动作识别、游戏、动画制作等领域。当前深度网络模型的设计大多通过加深网络以获得更好的性能,结果导致计算资源的需求超出嵌入式设备和移动设备的计算能力,达不到实际应用要求。针对上述问题,提出了一种融合Ghost模块结构的轻量级网络模型,即使用Ghost模块替换原高分辨率网络中的基础模块,从而减少网络模型的参数量。此外,设计了非局部高分辨率网络,即在网络1/32分辨率阶段融合非局部网络模块,使网络具有获取全局特征的能力,从而提高人体姿态估计的准确率,并在保证模型准确率的前提下降低网络参数量。在MPII人体姿态估计数据集和COCO人体姿态估计数据集上的实验结果表明,所提网络模型与原高分辨率网络相比,在网络模型参数量降低40%的情况下,人体姿态估计准确率提升了1.8个百分点。     

基于非局部高分辨率网络的轻量化人体姿态估计方法

人体姿态估计是计算机视觉中的基本任务之一,可应用于动作识别、游戏、动画制作等领域。当前深度网络模型的设计大多通过加深网络以获得更好的性能,结果导致计算资源的需求超出嵌入式设备和移动设备的计算能力,达不到实际应用要求。针对上述问题,提出了一种融合Ghost模块结构的轻量级网络模型,即使用Ghost模块替换原高分辨率网络中的基础模块,从而减少网络模型的参数量。此外,设计了非局部高分辨率网络,即在网络1/32分辨率阶段融合非局部网络模块,使网络具有获取全局特征的能力,从而提高人体姿态估计的准确率,并在保证模型准确率的前提下降低网络参数量。在MPII人体姿态估计数据集和COCO人体姿态估计数据集上的实验结果表明,所提网络模型与原高分辨率网络相比,在网络模型参数量降低40%的情况下,人体姿态估计准确率提升了1.8个百分点。     

基于Kinect骨骼数据的人体动作姿势识别方法

针对现有的复杂背景下人体动作姿势训练与识别中存在识别准确率不高和实时性不强等问题,提出一种基于Kinect骨骼数据的人体动作姿势识别方法。从Kinect获取骨骼姿势特征点数据,计算姿势特征矢量;将当前的实时姿势特征矢量与预设的标准姿势特征矢量进行匹配比较,实时反馈两者姿势的匹配度,达到姿势识别的目的。实验结果表明,该方法能有效地进行人体动作姿势的匹配识别,识别准确率较高、实时性较强,具有良好的可扩展性。     

基于注意力机制的3D DenseNet人体动作识别方法

传统人体动作识别算法无法充分利用视频中人体动作的时空信息,且识别准确率较低。提出一种新的三维密集卷积网络人体动作识别方法。将双流网络作为基本框架,在空间网络中运用添加注意力机制的三维密集网络提取视频中动作的表观信息特征,结合时间网络对连续视频序列运动光流的运动信息进行特征提取,经过时空特征和分类层的融合后得到最终的动作识别结果。同时为更准确地提取特征并对时空网络之间的相互作用进行建模,在双流网络之间加入跨流连接对时空网络进行卷积层的特征融合。在UCF101和HMDB51数据集上的实验结果表明,该模型识别准确率分别为94.52%和69.64%,能够充分利用视频中的时空信息,并提取运动的关键信息。     

Coupled Action Recognition and Pose Estimation from Multiple Views

Action recognition and pose estimation are two closely related topics in understanding human body movements; information from one task can be leveraged to assist the other, yet the two are often treated separately. We present here a framework for coupled action recognition and pose estimation by formulating pose estimation as an optimization over a set of action-specific manifolds. The framework allows for integration of a 2D appearance-based action recognition system as a prior for 3D pose estimation and for refinement of the action labels using relational pose features based on the extracted 3D poses. Our experiments show that our pose estimation system is able to estimate body poses with high degrees of freedom using very few particles and can achieve state-of-the-art results on the HumanEva-II benchmark. We also thoroughly investigate the impact of pose estimation and action recognition accuracy on each other on the challenging TUM kitchen dataset. We demonstrate not only the feasibility of using extracted 3D poses for action recognition, but also improved performance in comparison to action recognition using low-level appearance features.     

基于MobileNetV3与ST-SRU的危险驾驶姿态识别

针对危险驾驶行为引起的交通安全事故频发的现状,提出一种基于MobileNetV3和ST-SRU的危险驾驶姿态识别系统.首先,修改MobileNetV3的网络结构使其适用于人体姿态估计任务,输出关节点的热力图和偏移量图,用来估计J个关节点的二维坐标位置;其次,定义ST-SRU骨架动作识别算法,利用动作的骨架序列数据对动作进行分类.实验结果表明:MobileNetV3姿态估计算法在自建的AI Challenger上肢姿态数据集上测得PCP值(percentage correct parts)达到95.6%,测试1 000次用时仅为5.03 s;利用自建的危险驾驶行为数据集将训练好的姿态估计和动作识别模型移植到嵌入式平台,实现了实时的危险驾驶姿态识别系统.     

基于合成数据的刚体目标姿态追踪网络

现有刚体姿态估计存在数据稀缺、复杂场景下的低鲁棒性及低实时性等问题,为此提出一种基于合成数据的刚体目标位姿追踪网络结构。采用时空间特征融合技术,捕捉时间与空间特征信息,生成具有时空敏感的特征图;利用残差连接学习更为丰富和抽象的优质特征,改善追踪目标的准确性;对稀缺数据进行数据增强,生成符合现实物理特性的复杂合成数据,以此训练深度学习模型,提高模型的泛化性。在YCB-Video数据集中选取7个物体进行实时姿态追踪实验,结果表明,提出的方法相较于同类相关方法,在复杂场景下对刚体姿态估计的更为准确,在实时估计效率上表现最优。     

基于YOLOv3-HM的手部姿态估计方法研究

二维手部姿态估计是人机交互领域的一项关键技术。为增强复杂环境下系统鲁棒性,提高手势姿态估计精度,提出一种基于目标检测和热图回归的YOLOv3-HM算法。首先,利用YOLOv3算法从RGB图像中识别框选手部区域,采用CIoU作为边界框损失函数;然后,结合热图回归算法对手部的21个关键点进行标注;最终,通过回归手部热图实现二维手部姿态估计。分别在FreiHAND数据集与真实场景下进行测试,结果表明,该算法相较于传统手势检测算法在姿态估计精度和检测速度上均有所提高,对手部关键点的识别准确率达到99.28%,实时检测速度达到59 f/s,在复杂场景下均能精准实现手部姿态估计。     

基于深度学习的轻量级和多姿态人脸识别方法

目前基于深度学习的人脸识别方法存在识别模型参数量大、特征提取速度慢的问题,而且现有人脸数据集姿态单一,在实际人脸识别任务中无法取得好的识别效果。针对这一问题建立了一种多姿态人脸数据集,并提出了一种轻量级的多姿态人脸识别方法。首先,使用多任务级联卷积神经网络（MTCNN）算法进行人脸检测,并且使用MTCNN最后包含的高层特征做人脸跟踪;然后,根据检测到的人脸关键点位置来判断人脸姿态,通过损失函数为ArcFace的神经网络提取当前人脸特征,并将当前人脸特征与相应姿态的人脸数据库中的人脸特征比对得到人脸识别结果。实验结果表明,提出方法在多姿态人脸数据集上准确率为96.25%,相较于单一姿态的人脸数据集,准确率提升了2.67%,所提方法能够有效提高识别准确率。     

基于双分支时空步态特征融合的深度学习步态识别

针对现有步态识别方法易受拍摄视角、着装变化影响的问题,提出一种融合二维无肩姿态拓扑能量图(shoulderless pose topological energy maps, SPTEM)和三维局部骨骼步态特征(local skeleton gait features, LSGF)的深度学习步态识别方法.首先,利用轻量级BlazePose姿态估计算法提取步态视频序列中的人体姿态拓扑图以生成SPTEM,在提高检测速度的同时减弱衣物变化带来的影响;然后,引入LSGF以弥补单一能量图特征在多变视角情况下识别准确率较低的不足;最后,提出结合注意力机制的时空特征提取网络模型,并在全连接层将双流特征进行一致融合.在CASIA-B数据集上对所提出方法进行验证,并与当前主流的步态识别方法进行比较,结果表明,所提出方法在跨视角和穿大衣/棉衣条件下的步态识别率都有明显提升.     

基于TLBGA-GRU神经网络的短期负荷预测

短期负荷预测在电网调度安排和电力市场交易中发挥着重要作用,预测精度高,有利于提高发电设备的利用率和经济调度的有效性。为充分挖掘负荷数据中时序性特征的联系,解决神经网络中由超参数的随机选取导致的预测精度下降问题,提出一种基于教与学的遗传算法（TLBGA）和门控循环单元（GRU）神经网络的短期负荷预测方法。利用灰色关联分析法对原始数据进行相关度分析,剔除冗余特征,使输入与输出保持较好的映射关系,在遗传算法中加入一种基于教与学优化的新型变异算子,用于防止其出现早熟收敛问题,从而提高解的质量。在此基础上,运用改进后的TLBGA算法对GRU神经网络模型进行超参数寻优,更新GRU的模型超参数并使其性能达到最佳状态,以提高负荷预测的精度。对欧洲某地区的电力负荷数据集和美国PJM电力市场公开负荷数据集进行预测,结果表明,该方法的预测精度分别达到了97.1%和97.2%,相比反向传播神经网络、循环神经网络及GRU神经网络模型,具有更高的预测精度。