基于便携式传感器数据的GMM-HMM人体姿态识别算法

人体姿态识别在人机交互, 游戏以及医疗健康等领域有着深远意义, 基于便携式传感器进行多种人体姿态高精度的稳定识别是该领域的研究难点. 本文采集了8种姿态的高频传感器数据, 提取原始数据的窗口时域特征组成数据集. 根据人体姿态的传感器数据特点将人体姿态划分为4个阶段, 使用高斯混合模型(Gaussian Mixture Model, GMM)拟合人体姿态的观测序列, 结合隐马尔可夫模型(Hidden Markov Model, HMM), 利用GMM-HMM算法进行姿态识别. 本文对比了不同窗口值下的一阶隐马尔可夫模型(1 Order Hidden Markov Model, 1OHMM)和二阶隐马尔可夫模型(2 Order Hidden Markov Model, 2OHMM)的效果, 当窗口值为8时, 2OHMM的性能最优, 整体召回率达到了95.30%, 平均准确率达到了95.23%. 与其它研究相比, 本文算法能识别的姿态种类较多, 算法识别性能较佳且算法耗时较短.     

基于深度学习的配电高压操作机器人运动控制技术研究

随着人工智能的快速发展,体感控制成为机器人人机交互的热点方向,如何快速且准确地识别人体姿态是完成体感控制的一大难点。此次研究将通过改进后的YOLOv4模型检测人体框架,改进后的堆叠沙漏网络模型识别关节点,以提高人体姿态识别的速度和准确率;并针对机器人上半身手臂运动和下半身步态控制的特点,开发关节点映射算法来对机器人进行体感控制,解决配电高压操作机器人进行人机交互时容易摔倒的问题。结果表明,改进后YOLOv4网络检测人体目标的最好结果为84.37%,改进堆叠沙漏网络模型的收敛损失函数为0.096,PCK值为88.3%;研究模型的识别速度均值较CPN模型提高了21.5 s,表明研究模型在提高人体姿态识别准确率的同时,提高了体感控制的效率,在体感控制领域有一定的研究价值。     

基于关键点亲和场与支持向量机的人体姿态识别

针对传统动作姿态识别仍需物理数据采集设备或深度体感设备进行手工提取特征的问题,提出一种基于关键点亲和场与支持向量机的人体姿态识别方法。以关键点亲和场为核心进行关节点检测,获取各种姿态下的18个关节点坐标信息,使用标准化后的坐标数据对支持向量机模型加以训练,选择不同的高斯核函数进行对比。实现在没有人体深度信息和无穿戴设备的情况下,只使用普通RGB图片便可对人体姿态进行分类识别的效果。实验表明它在KTH数据集、Weizmann数据集中的识别效果良好;在自采集数据集中与带有传感器的方法相比,缩减操作步骤的同时准确率提高了7百分点。另外,还在保持关节点检测不变的情况下,使用随机森林、KNN算法进行姿态分类对比,实验结果证明该方法优于后两者。     

运动场景下的多目标人体姿态估计

为提高群体活动场景下细粒度人体姿态估计的准确率,优化网路中人体识别及姿态估计算法,在现有研究的基础上,提出一种结合多尺度预测以及改进并行注意力模块的多目标人体姿态估计算法。在充分利用不同尺度特征信息的基础上,实现高质量的人体姿态估计;针对运动场景下多目标人体姿态数据集较少,提出一种数据集CUPB Sport Dataset。实验结果表明,该算法在公开基准数据集和自制数据集上分别达到了81.4 mAP和79.7 mAP,验证了该算法在运动场景下针对多目标的高效性。     

基于多传感器数据融合的人体运动模式识别研究

针对单一传感器在人体运动姿态监测中误差较大的问题,提出了一种基于加速度传感器和陀螺仪数据融合的人体运动模式识别方法;该方法使用陀螺仪输出的人体运动信息对加速度传感器采集到的姿态角信息进行修正,采用卡尔曼滤波算法实现多传感器信息的融合,有效提高了姿态角度测量的准确度;根据人体日常的活动状态构建了基于人体姿态角度特征的隐马尔可夫模型实现人体运动模式的识别;实验表明,该方法比采用单一传感器方法识别的准确率高,可以有效区分不同的日常活动行为。     

基于YOLOv5的姿态交互球类陪练机器人

针对当下球类陪练机器人人机交互能力不足的问题,提出一种基于树莓派和YOLOv5目标检测算法的新型人机交互模式,使机器人实现前进、后退、左移、右移、抛球、踢球6种不同的动作;通过对在3种不同环境(室内、室外晴天、室外阴天)下搜集的人体姿态数据集进行标定、训练后,得到6种姿态在3种环境中测试集上的识别准确率分别为:室内96...     

基于迁移学习的人脸姿态分类方法

人脸姿态分类在智能人机交互、虚拟现实、智能控制以及人脸识别等多个领域都有广泛的应用。由于人脸姿态分类过程中存在不同角度间特征重叠率高的问题,导致其分类精度过低。为提高人脸姿态分类的准确率与鲁棒性,提出了基于迁移学习的人脸姿态分类方法。该方法利用卷积神经网络的特征提取和学习能力,对特征进行识别和分类,从而得到单方向人脸姿态的训练参数。利用迁移学习,将卷积神经网络训练好的参数应用于训练两个方向的人脸姿态模型中。使用该方法在CAS-PEAL数据集上进行了实验,最终结果的准确率达到98.7%,并且与AlexNet、VGGNet和ResNet等网络模型做对比实验,得到了更好的人脸姿态分类效果。实验结果表明,所提出的方法显著提高了人脸姿态分类的准确率与鲁棒性。     

轻量型多路特征融合人体姿态估计

基于深度学习的人体姿态估计广泛应用于姿态识别、人机交互等领域. 为了提升人体关键点的检测精度, 很多网络采用运算量、参数量和复杂度不断增加的模型架构, 导致无法直接部署到低算力设备. 为了解决上述问题, 本文提出了一种多路特征注意力融合的轻量型方法. 模型基于HigherHRNet网络进行轻量化设计和训练, 包括: 采用通道拆分和通道混洗, 解决分组卷积后特征层之间存在的信息隔离; 采用线性运算的特征生成方法, 解决不同特征层之间存在的冗余性; 采用融合注意力信息的方法, 缓解因轻量化导致的准确率下降. 在MS COCO数据集上完成了模型的训练、测试、可视化以及消融实验. 实验结果表明本文的轻量化方法在保证直观的检测精度前提下, 能够显著降低人体姿态估计的计算量.     

可穿戴式人体运动捕捉系统

随着计算机科学,传感器技术的飞速发展,可穿戴式设备也逐渐兴起,并融入人类生活当中。无论是国内还是国外,对可穿戴设备的研究一直在进行着。可穿戴设备的功能日新月异,实现了人机交互、跌倒报警等功能。该产品是基于多传感器协作的可穿戴人体姿态捕捉系统,能实时监测并捕捉人体的姿态,对日常生活中诸如跑步、行走、站立、平躺、跌倒等常见动作状态进行识别,实现了对日常活动的监测。     

基于姿态估计与GRU网络的人体康复动作识别

康复锻炼是脑卒中患者的重要治疗方式,为提高康复动作识别的准确率与实时性,更好地辅助患者在居家环境中进行长期康复训练,结合姿态估计与门控循环单元(GRU)网络提出一种人体康复动作识别算法Pose-AMGRU。采用OpenPose姿态估计方法从视频帧中提取骨架关节点,经过姿态数据预处理后得到表达肢体运动的关键动作特征,并利用注意力机制构建融合三层时序特征的GRU网络实现人体康复动作分类。实验结果表明,该算法在KTH和康复动作数据集中的识别准确率分别为98.14%和100%,且在GTX1060显卡上的运行速度达到14.23frame/s,具有较高的识别准确率与实时性。     

航天员虚拟交互操作训练多体感融合驱动方法研究

针对航天员虚拟训练中的人机自然交互问题,基于体态/手势识别和人体运动特性, 提出一种多通道数据融合的虚拟驱动与交互方法。结合Kinect 设备能够完整识别人体姿态特点 及LeapMotion 设备能精确识别手势姿态的优势,提出了基于判断的数据传递方法,在人体关节 识别的基础上对手部关节进行识别与数据处理计算,采用多通道体感识别融合方法将二者结合, 并进行了实验。结果表明,通过采用LeapMotion 和Kinect 对手部识别的判别,当手势在 LeapMotion 识别范围内,能够在实现人体体感识别的基础上增加较为精确的手势识别。此方法 成功实现了人体姿态识别和手势精确识别的结合,可应用于航天员虚拟训练中的人机自然交互 中去。     

人体姿态特征选择方法的研究与实现

针对人体姿态特征问题采用宽度作为人体姿态的基本特征,用均分法和改进的遗传算法对宽度特征进行选择,采用BP神经网络分类器对不同的特征定义方法进行典型人体姿态识别的对比实验。实验结果表明,采用该特征定义和选择方法,以每秒12帧的处理速度可达到90%以上的识别正确率。     

基于ANN/HMM的中国手语识别系统

手语是聋哑人使用的语言。它是由手形动作辅之以表倩姿势为符号构成的比较稳定的表达系统,是一种靠动作／视觉交际的特殊的语言。一方面,手语识别可以作为健全人与聋哑人之间的翻译,为聋哑人提供更好的服务;另一方面,作为人体语言理解的一部分,手语识别可作为人机交互的一种手段。该文实现了基于ANN／HMM的手语识别系统,采用ANN方法建立了关于手形、位置、方向的特征映射器,并在建立手形特征映射器的过程中,给出了多特征多分类器融合算法。实验证明,基于ANN／HMM的手语识别系统是可行及实用的。     

时空域融合的骨架动作识别与交互研究

在人体骨架结构动作识别方法中,很多研究工作在提取骨架结构上的空间信息和运动信息后进行融合,没有对具有复杂时空关系的人体动作进行高效表达。本文提出了基于姿态运动时空域融合的图卷积网络模型(PM-STFGCN)。对于在时域上存在大量的干扰信息,定义了一种基于局部姿态运动的时域关注度模块(LPM-TAM),用于抑制时域上的干扰并学习运动姿态的表征。设计了基于姿态运动的时空域融合模块(PM-STF),融合时域运动和空域姿态特征并进行自适应特征增强。通过实验验证,本文提出的方法是有效性的,与其他方法相比,在识别效果上具有很好的竞争力。设计的人体动作交互系统,验证了在实时性和准确率上优于语音交互系统。     

多模态人机交互综述

多模态人机交互旨在利用语音、图像、文本、眼动和触觉等多模态信息进行人与计算机之间的信息交换。在生理心理评估、办公教育、军事仿真和医疗康复等领域具有十分广阔的应用前景。本文系统地综述了多模态人机交互的发展现状和新兴方向,深入梳理了大数据可视化交互、基于声场感知的交互、混合现实实物交互、可穿戴交互和人机对话交互的研究进展以及国内外研究进展比较。本文认为拓展新的交互方式、设计高效的各模态交互组合、构建小型化交互设备、跨设备分布式交互、提升开放环境下交互算法的鲁棒性等是多模态人机交互的未来研究趋势。     

动态灰度预测算法在体感交互设计中的应用

体感交互应用是通过新型的体感交互设备来进行人机交互操作,在虚拟仿真、项目展示等方面有着重要应用。为解决体感交互过程中由于骨骼抖动导致行为误判的问题,提出了在Kinect与UnrealEngine4成功对接的基础上,加入动态灰度预测算法处理数据,同时利用灵敏度分析对数据量进行优化,在不影响正确率的情况下减少响应时间,提高识别速率。经过实验,该方法相比于移动平均法等过滤器在正确率和效率方面有了较大的提升。     

基于体感交互设备的人体重心计算方法

人体重心是反映人体形态结构和质量分布特征的基本参数,本文探讨利用体感交互设备获取较为精确的重心位置。首先借助体感交互设备Kinect获取人体实时的关节点坐标数据,构建适合于体感交互设备Kinect的人体重心计算的环节模型,结合人体重心计算方法中力矩合成法的改进算法"乘系数法",提出计算人体重心的实时线性计算方法。为验证该方法获得重心的准确性,实验利用平板压力测试系统Footscan提供的同步重心数据作为标准重心数据对该方法进行检验,结果表明本方法的重心计算结果与Footscan有类似的结果,在大幅度动作中有更好的准确性和稳定性。     

基于ZigBee的医疗监护系统的设计与研究

介绍了一种基于ZigBee的医疗监护系统的设计与实现技术。系统集嵌入式、无线传感网络、ZigBee和计算机等技术于一体,设计了一种便携式的生理参数检测终端设备。其可对人体的体温、脉搏和体位等生理信号进行感测．以无线和有线网络相结合的传输方式将生理信号传输至医院监护中心,并最终在PC上进行实时显示和进一步分析,实现远距离的医疗监护功能。该设计打破了当前医疗行业普遍采用的有线设备在使用范围上的局限性。     

基于Kinect跑步机系统

研发了一种基于Kinect的跑步机系统,并提出了跑步系列动作识别算法. 该系统基于Unity游戏引擎、3DSMax、Maya、Photoshop建模和平面设计软件开发,运用微软Kinect体感设备和个人电脑获取人体跑步时各种动作的骨骼点数据,结合运动特征分析研发了基于骨骼绑定的跑步、挥手、跳跃、蹲下各种动作的识别算法,通过对人体动作的识别从而实现人机交互的跑步健身游戏娱乐运动. 实验数据表明基于骨骼绑定的动作识别算法的有效性,该跑步机系统硬件设备体积小,它通过人的肢体动作而不是鼠标键盘来操作跑步机软件,同时结合了跑步健身和游戏娱乐等功能,部分代替了传统跑步机的作用,具有很好的体感交互效果和实用价值,研究成果可以用于更多的人机互动应用领域.