基于Kinect跑步机系统

研发了一种基于Kinect的跑步机系统,并提出了跑步系列动作识别算法. 该系统基于Unity游戏引擎、3DSMax、Maya、Photoshop建模和平面设计软件开发,运用微软Kinect体感设备和个人电脑获取人体跑步时各种动作的骨骼点数据,结合运动特征分析研发了基于骨骼绑定的跑步、挥手、跳跃、蹲下各种动作的识别算法,通过对人体动作的识别从而实现人机交互的跑步健身游戏娱乐运动. 实验数据表明基于骨骼绑定的动作识别算法的有效性,该跑步机系统硬件设备体积小,它通过人的肢体动作而不是鼠标键盘来操作跑步机软件,同时结合了跑步健身和游戏娱乐等功能,部分代替了传统跑步机的作用,具有很好的体感交互效果和实用价值,研究成果可以用于更多的人机互动应用领域.     

基于实时视频感知的虚拟体育交互系统

针对疫情常态化背景下,传统体育项目受场地、器材等限制,市场上相关产品价格昂贵、可扩展性不足等问题,提出了一种基于实时视频感知的虚拟体育交互系统.该系统设计视频数据采集模块和人体关节点提取模块,结合OpenPose获取人体的关节点坐标,实时捕捉人体手势以及肢体动作.动作语义理解模块包括运动动作理解和绘图动作理解.前者根据运动中肢体关节点的相对位置关系,识别运动动作语义.后者将手腕部关节点绘图动作轨迹生成为草图图像,使用AlexNet进行识别分类,解析为对应的绘制动作语义.该模型在边缘端设备的分类准确率为98.83%.采用基于Unity设计的草图游戏应用作为可视化交互界面,实现在虚拟场景中的运动交互.该系统使用实时视频感知交互方式实现居家运动健身,无需其他的外部设备,具有更强的参与度和趣味性.     

面向沉浸式多人射击游戏的分布式设备驱动系统设计与实现

沉浸式多人射击游戏利用高度沉浸的画面及蓝牙体感交互设备来提升游戏体验。单台PC同时连接的蓝牙体感交互设备数量有限,不能满足沉浸式游戏娱乐项目多达几十位玩家同时游戏的要求。采用多个设备连接节点,设计并实现一个分布式设备驱动系统对交互设备进行分布式管理。系统在应用VRPN的基础上引入设备服务器节点来负责与游戏通信,降低了游戏与多个设备连接节点通信带来的开发复杂度;通过定义数据映射层实现游戏逻辑与交互设备类型的低耦合。实验结果表明应用该系统对游戏性能影响很小,能保证玩家与游戏的实时交互。     

体感交互在大型触摸屏环境中的应用与研究

大型触摸屏环境带来高沉浸感的触控体验,然而当用户离大屏幕过近时体验效果欠佳。为改善其交互体验,引入体感交互技术,基于用户与屏幕的距离提出2种交互模式。通过设计并实现一套测试系统,将体感交互技术应用到大型触摸屏环境中。利用该系统进行用户测试,并对测试结果进行统计学分析。测试结果显示,体感交互技术能有效减少大型触摸屏环境体验效果欠佳的局限性。体感交互技术与大型触摸屏环境的结合有利于改善公共空间的交互体验。     

姿势序列有限状态机动作识别方法

肢体动作分析与识别是实现体感交互的重要前提.为提高用户自然动作识别的效率与通用性,提出姿势序列有限状态机方法.首先,以用户为中心建立肢体节点坐标系,将描述用户动作的肢体节点数据从设备空间变换到用户空间,并建立三维网格划分模型,以尽可能消除用户个体差异;其次,在肢体节点坐标系定义肢体节点特征向量,借助关节点空间运动矢量、关节点运动时间间隔、关节点空间距离描述肢体动作特征,对预定义肢体动作序列进行采样分析;最后,采用关节运动正则表达式表示肢体动作轨迹,构造姿势序列有限状态机,实现对预定义动作的在线识别.针对17种预定义动作的实验结果表明,文中方法识别率高,具有良好的扩展性和通用性,能够满足体感交互应用需求.     

一种以体感技术实现人机交互的PC游戏控制系统

引入最新的健身型体感游戏理念,开发一种感知人体手脚动作的人机交互体感游戏系统,使用压力传感器感应玩家的脚步动作、加速度传感器感应手部动作,并把感应的动作编码成运动指令,发送给计算机处理并显示。最后完成了软硬件调试,系统成功实现了体感交互方式,玩家从中收获了较好的健身性、趣味性和普适性。     

基于双阶段网络的交互式目标分割算法

针对已有多数交互式分割方法交互方式单一、预测结果精度较低的问题,构建一种基于双阶段网络的目标分割模型ScribNet,以实现更完整和精细的交互式目标分割。采用灵活涂画的交互方式,通过编码形成交互指导信息。设计骨架随机性仿真算法,实现大数据下的模拟交互操作。在传统分割模型中引入预测优化模块,形成双阶段网络结构,以充分利用交互指导信息。在COCO和PASCAL数据集上的实验结果表明,与DEXTR、GrabCut等方法相比,ScribNet模型的分割精度较高。     

基于动作检测的交互模式研究与应用

目前的大屏幕显示设备一般为用户提供间接的交互模式，因为交互设备采用的是面向桌面系统的指点设备，这些设备并不能提供最优的交互方式。好的交互方式应允许用户直接和屏幕交互，交互方式的设计符合用户的直观感受，用户可以快速自然地完成交互任务。本文介绍了基于动作检测的交互模式，并介绍了实验模型的实现方案。     

基于多传感器的机器人遥操作人机交互系统

为了增强机器人人机交互系统的自然性,提出了基于多种传感器的非接触式人机交互系统设计方案,系统通过检测操作者手部动作和手部位置姿态的变化实现机器人的遥操作。研制了肌电传感器,获取手臂上一对拮抗肌上的表面肌电信号,并以此来判断机器人操作者的部分手部动作;利用Kinect体感设备和惯性测量单元获取手臂三维位置和姿态角信息。通过网络将人手的动作及位置姿态发送至机器人控制系统,以完成对机器人的控制。系统综合多种传感器的优点,极大减小了传统接触式交互方式对操作者运动范围的限制,实现了自然交互,实验表明了其有效性。     

基于多点触摸的交互手势分析与设计*

提出了基于多点触摸的交互手势分析与设计方法。引入触摸手势元动作,采用接触面类型和状态及运动方式描述触摸手势,给出了简单触摸手势的统一描述框架,并提出了交互手势与交互任务的映射规则,将手势定义和手势意图联系起来。向交互设计者提供一种系统化和标准化的方法,提高了交互手势设计的通用性。