基于Kinect骨骼信息的机械臂体感交互系统的设计与实现

提出一种基于人体骨骼信息的机械臂体感交互方式。首先利用Kinect传感器获取图像景深数据,并通过骨骼追踪技术处理景深数据,以匹配人体的各个部分,进而建立人体各个关节的3D坐标。然后利用3D坐标值计算出人体腰、肩、肘和腕4个关节的转动角度,人体的这4个关节与四自由度机械臂的4个关节一一对应。最后将计算结果转换成控制指令通过串口发送给机械臂的控制器,实现体感交互。实验表明,该方法能够有效地控制机械臂的转动以及抓取物件。     

基于Kinect的人体三维重建方法

通过Kinect体感仪,实现人体三维重建.使用Kinect体感仪,扫描获取人体三维数据,利用深度数据转换算法实现二维顶点的三维化,再通过红外相机姿态跟踪算法进行顶点集配准,求解出相机每次的相对位移与转动角度,实现相机姿态跟踪,并将每次拍摄到的点集转换到同一全局坐标系下,使用晶格化显示集成算法将点云集成到提前划分好精度及尺寸的体素晶格中,最后利用投影映射算法获得可视化的人体三维立体模型.使用Kinect体感仪及三脚架等辅助设备方便快捷地获取人体三维重建结果,并通过3D打印技术对模型进行输出.该研究实现了人体三维重建中人体扫描、处理、重建、输出全流程.     

航天员虚拟交互操作训练多体感融合驱动方法研究

针对航天员虚拟训练中的人机自然交互问题,基于体态/手势识别和人体运动特性, 提出一种多通道数据融合的虚拟驱动与交互方法。结合Kinect 设备能够完整识别人体姿态特点 及LeapMotion 设备能精确识别手势姿态的优势,提出了基于判断的数据传递方法,在人体关节 识别的基础上对手部关节进行识别与数据处理计算,采用多通道体感识别融合方法将二者结合, 并进行了实验。结果表明,通过采用LeapMotion 和Kinect 对手部识别的判别,当手势在 LeapMotion 识别范围内,能够在实现人体体感识别的基础上增加较为精确的手势识别。此方法 成功实现了人体姿态识别和手势精确识别的结合,可应用于航天员虚拟训练中的人机自然交互 中去。     

基于Kinect的体感虚拟鼠标研究与开发

利用微软Kinect体感设备进行骨骼数据采集,开发出一款利用手势动作控制计算机的体感虚拟鼠标软件。并在开发过程中设计并提出一种基于RGB-D信息的人体手势动作检测及识别方法来处理Kinect输出的彩色影像和深度影像。该方法分别利用DBSCAN与K-means聚类算法获取手势操作特征中的位置信息和方向信息来识别手势操作,实验结果证明了该方法的可行性。借助基于该方法开发的虚拟鼠标软件,用户只需要做出一些简单的手臂动作即可操作虚拟鼠标完成对计算机的控制。     

基于Kinect体感传感器的老年人跌倒自动检测

跌倒是独居老人最主要的意外风险之一,为快速有效获取跌倒信息,使老年人得到及时救助,提出一种基于Kinect体感传感器的人体跌倒自动检测方法,利用Kinect深度图像技术获取人体深度图像前景图,建立前景图三维包围盒,通过实时计算的三维包围盒的长、宽、高数值以及该数值的变化速度,判断人体跌倒是否发生。利用遮挡融合算法,解决了人体躯干被障碍物部分遮挡时,跌倒事件的检测和判定。在室内居家环境下进行了26种测试场景实验,检测误报率为2.0%~6.0%,漏报率为0~4.0%。该方法可以较为准确地实现人体跌倒自动检测。     

基于Kinect的跨平台人机交互系统的研究和实现

借助Kinect体感摄像头分析捕获的实时场景深度数据,跟踪识别人体骨架关键信息,并做出相应的立体交互.利用OpenSceneGraph三维引擎进行渲染,以实现逼真的3D增强现实交互效果.针对庞大的实时视频数据流,有选择性地提取少量目标骨架的关节信息,同时去除冗余的背景图像,大大优化了系统性能.     

基于深度学习的体感交互方法

随着微软2017年10月份宣布永久停产Kinect产品，目前体感交互领域急需一种Kinect的替代品。本文采用普通单目摄像头实时读取视频流，用Faster-RCNN网络检测人体位置并且框出，改进非极大值抑制算法，引入线性加权函数将IOU大于阈值的检测框分数减低而不是变成零。其次，根据得到的检测框送入人体关键点检测CPM网络，输出人物全身骨骼点坐标位置，将Center Loss引入以增加关键点的类内特征的内聚性和类间的差异性。最后，按照模板匹配法根据识别结果生成体感交互的控制指令。本文方法降低了对专业设备的依赖，简化了体感交互的复杂度，对促进体感普及以及拓展人机交互使用范围都具有重要价值。     

动态灰度预测算法在体感交互设计中的应用

体感交互应用是通过新型的体感交互设备来进行人机交互操作,在虚拟仿真、项目展示等方面有着重要应用。为解决体感交互过程中由于骨骼抖动导致行为误判的问题,提出了在Kinect与UnrealEngine4成功对接的基础上,加入动态灰度预测算法处理数据,同时利用灵敏度分析对数据量进行优化,在不影响正确率的情况下减少响应时间,提高识别速率。经过实验,该方法相比于移动平均法等过滤器在正确率和效率方面有了较大的提升。     

基于Kinect跑步机系统

研发了一种基于Kinect的跑步机系统,并提出了跑步系列动作识别算法. 该系统基于Unity游戏引擎、3DSMax、Maya、Photoshop建模和平面设计软件开发,运用微软Kinect体感设备和个人电脑获取人体跑步时各种动作的骨骼点数据,结合运动特征分析研发了基于骨骼绑定的跑步、挥手、跳跃、蹲下各种动作的识别算法,通过对人体动作的识别从而实现人机交互的跑步健身游戏娱乐运动. 实验数据表明基于骨骼绑定的动作识别算法的有效性,该跑步机系统硬件设备体积小,它通过人的肢体动作而不是鼠标键盘来操作跑步机软件,同时结合了跑步健身和游戏娱乐等功能,部分代替了传统跑步机的作用,具有很好的体感交互效果和实用价值,研究成果可以用于更多的人机互动应用领域.     

基于动作评价算法的体感舞蹈交互系统

广场舞是群众参与度极高的体育锻炼、娱乐社交的方式,针对广场舞活动的特点以及实际实施中存在的问题,研究分析并改进动作评价算法,对Kinect实时捕捉的人体骨骼动作序列进行评价,设计并集成一套基于Kinect的面向基层公共文化服务的广场舞体感交互应用系统。该技术充分发挥数字化体感交互体验的作用,用户在参与过程中能够充分调动身体主观能动性,为基层群众文化活动提供了新的活动方式以及极大的便利性。     

虚拟化云计算数据中心资源节能调度算法研究

针对当前云计算数据中心资源调度过程耗时长、能耗高、数据传输准确性较低的问题,提出基于VR沉浸式的虚拟化云计算数据中心资源节能调度算法。构建云计算数据中心资源采样模型,结合虚拟现实(virtual reality,VR)互动装置输出、转换、调度中心资源,提取中心资源的关联规则特征量,采用嵌入式模糊聚类融合分析方法三维重构中心资源,建立虚拟化云计算数据中心资源的信息融合中心,采用决策相关性分析方法,结合差异化融合特征量实现对数据中心资源调度,实现虚拟化云计算数据中心资源实时节能调度。仿真结果表明,采用该方法进行虚拟化云计算数据中心资源节能调度的数据传输准确性较高,时间开销较短,能耗较低,在中心资源调度中具有很好的应用价值。     

基于实体分割的飞机燃油液面位置确定方法

在飞机燃油系统方案设计阶段,快速准确地确定特定油面角和剩余油量情况下的燃油液面位置是判断燃油系统设计方案在重心方面可行性的关键环节。针对最大截面位于重心附近的飞机油箱中燃油液面位置的确定,提出了基于重心处截面面积计算分割步长,通过与燃油液面保持平行的分割平面对燃油实体模型进行分割,通过设置精度阈值控制分割精度的燃油液面位置确定方法。以某型无人机机翼油箱为仿真对象,仿真验证表明上述方法在保证计算精度的情况下,确定燃油液面位置的效率明显优于定步长切片法。仿真结果表明,所提方法能够在飞机燃油系统方案设计阶段,提高燃油液面位置的确定精度和效率,进而提高判断设计方案在重心方面可行性的精度和效率。     

基于神经网络的人体动作识别方法

人体动作识别一直是计算机视觉领域的研究重点。为了提高人体动作识别的准确度,本文提出一种基于神经网络的加权识别方法。首先利用ViBe算法提取人体运动前景,计算前景重心,然后将轮廓重心距作傅里叶变换获得傅里叶描述子,最后利用本文提出的基于神经网络的加权识别方法进行分类。实验结果表明,本文方法的识别率在89%以上。     

基于层次分析的客服中心实时数据流自动监测方法

为了提高客服中心的智能管理和信息调度能力,结合大数据分析方法进行客服中心实时数据监测和自动采集设计。提出一种基于模糊规则特征量挖掘和层次分析聚类的客服中心实时数据流自动监测方法。建立客服中心的网格分布结构模型并进行客服中心实时数据流监测统计特征分析,进行客服中心实时监测数据属性集的向量量化特征分解,对客服中心实时数据采用信息融合和模糊层析性分析方法实现信息融合,进行关联数据自适应特征提取,挖掘客服中心实时监测数据信息流的正相关性特征量。在层次性聚类算法基础上采用自回归分析进行客服中心实时数据流的模糊聚类和信息预测,提高客服中心实时数据监测的准确性,同时降低了客服服务中心数据流监测的风险。仿真结果表明,采用该方法进行客服中心实时数据监测的聚类性较高,预测性较好,能降低数据聚类的误分率,提高了客服中心实时数据监测能力。     

全方位机器人的重心位置预测与轨迹跟踪控制

针对全方向移动机器人存在非线性动态强耦合、实时重心偏移及难以实现高精度跟踪控制的问题, 本文提 出一种基于长短期记忆(LSTM)神经网络的重心位置在线预测的轨迹跟踪控制法. 首先, 建立考虑重心偏移的动力 学模型并基于LSTM神经网络训练构建其对比模型; 其次, 基于模型对比法实时估计重心偏移参数, 再基于张神经 网络(ZNN)对估计的重心偏移参数进行预测以减小估计过程引起的滞后; 最后, 基于非线性动态反馈解耦法设计数 值加速度控制算法, 且基于离散系统极点配置法分析了系统的稳定性. 仿真结果验证了所提方法相对于数值加速 度控制器与自适应控制器因能在线预测重心偏移参数完成高精度动态解耦实现控制精度的提高. 实际实验中, 所 提控制算法相比数值加速度控制及模型预测控制, 其跟踪精度明显提高, 这表明所提控制算法可显著减小重心偏移 对跟踪控制精度的影响.     

基于改进深度信息的手势分割与定位

针对基于Kinect深度信息分割的手势往往包含手腕易造成后续手势误识别的问题,提出一种改进深度信息的手势分割与定位算法。首先,基于深度信息阈值限定在实验空间中检测出手势二值图;然后,根据普通手势特征,提出基于手势端点检测和可变阈值算法分割出准确手势。为得到稳定的分割效果,对分割手势进行形态学处理,最后选取基于手势重心坐标和最大内切圆圆心坐标的联合手势定位法定位手势。实验结果表明,该手势分割方法比已有分割方法更准确可靠,联合手势定位比Kinect软件开发工具包骨骼数据定位和手势重心定位稳定,无奇异点。     

一种基于降采样后关键点优化的点云配准方法

针对工件点云数据多而导致点云配准耗时长的问题,提出一种基于降采样后关键点优化的点云配准方法。计算点云若干体素的重心,利用kd-tree快速遍历重心的邻近点来代替该体素;提出自适应的点云平均距离计算方法,对降采样后的点云提取ISS3D关键点,并采用基于球邻域的边界点判断方法对其优化;对优化后的关键点进行FPFH特征描述,利用SAC-IA求解近似变换阵,使用ICP算法精配准而解得工件的精确位姿信息。实验结果表明,相较于其他四种配准算法,配准精度分别提高了96.9%、98.1%、93.3%和3.5%,配准速度分别提高了77.2%、77.7%、76.9%和85.4%,表明了该方法的有效性。     

Affective experience modeling based on interactive synergetic dependence in big data

Affective computing is important in human–computer interaction. Especially in interactive cloud computing within big data, affective modeling and analysis have extremely high complexity and uncertainty for emotional status as well as decreased computational accuracy. In this paper, an approach for affective experience evaluation in an interactive environment is presented to help enhance the significance of those findings. Based on a person-independent approach and the cooperative interaction as core factors, facial expression features and states as affective indicators are applied to do synergetic dependence evaluation and to construct a participant’s affective experience distribution map in interactive Big Data space. The resultant model from this methodology is potentially capable of analyzing the consistency between a participant’s inner emotional status and external facial expressions regardless of hidden emotions within interactive computing. Experiments are conducted to evaluate the rationality of the affective experience modeling approach outlined in this paper. The satisfactory results on real-time camera demonstrate an availability and validity comparable to the best results achieved through the facial expressions only from reality big data. It is suggested that the person-independent model with cooperative interaction and synergetic dependence evaluation has the characteristics to construct a participant’s affective experience distribution, and can accurately perform real-time analysis of affective experience consistency according to interactive big data. The affective experience distribution is considered as the most individual intelligent method for both an analysis model and affective computing, based on which we can further comprehend affective facial expression recognition and synthesis in interactive cloud computing.     

基于扫描点云数据的零部件边缘轮廓提取技术

针对目前大型零部件边缘轮廓线提取效率低的问题,提出一种基于扫描点云数据的零部件边缘轮廓提取技术.该技术从边缘轮廓线的形成方式出发,通过分析边缘轮廓线垂直截面线的分布特征,定义了模式向量表征屋脊型和折线直线-直线相交型截面线.提取过程主要包含截面线数据的获取、截面线类型的识别和边缘轮廓线数据的提取这3个步骤.为获取边缘轮廓线的截面线数据,构造了初始边缘轮廓线,并沿初始轮廓线构造垂直万向切片.万向切片与网格化点云数据的交点即为截面线数据.定义了基于相邻点法向夹角的模式向量,用以识别截面线的类型.针对折线型和屋脊型截面线数据提出拟合求交法和重心计算法提取其上的边缘轮廓线数据点.开展试验验证提取技术的有效性和精度,结果表明所述方法的边缘轮廓线提取准确度可达到±0.2 mm.