基于Kinect的体感虚拟鼠标研究与开发

利用微软Kinect体感设备进行骨骼数据采集,开发出一款利用手势动作控制计算机的体感虚拟鼠标软件。并在开发过程中设计并提出一种基于RGB-D信息的人体手势动作检测及识别方法来处理Kinect输出的彩色影像和深度影像。该方法分别利用DBSCAN与K-means聚类算法获取手势操作特征中的位置信息和方向信息来识别手势操作,实验结果证明了该方法的可行性。借助基于该方法开发的虚拟鼠标软件,用户只需要做出一些简单的手臂动作即可操作虚拟鼠标完成对计算机的控制。     

基于体感交互设备的人体重心计算方法

人体重心是反映人体形态结构和质量分布特征的基本参数,本文探讨利用体感交互设备获取较为精确的重心位置。首先借助体感交互设备Kinect获取人体实时的关节点坐标数据,构建适合于体感交互设备Kinect的人体重心计算的环节模型,结合人体重心计算方法中力矩合成法的改进算法"乘系数法",提出计算人体重心的实时线性计算方法。为验证该方法获得重心的准确性,实验利用平板压力测试系统Footscan提供的同步重心数据作为标准重心数据对该方法进行检验,结果表明本方法的重心计算结果与Footscan有类似的结果,在大幅度动作中有更好的准确性和稳定性。     

虚拟维修训练中的手势识别

为在虚拟维修训练中实现更加自然高效的人机交互,增强维修训练人员的沉浸感,提出一种基于Kinect深度图像和骨骼数据的手势识别方法。通过对维修样机和维修资源的维修特征进行研究,建立基于维修特征的维修动作集合,定义维修操作的常用手势库;在分析和构建手势识别系统流程的基础上,结合Kinect深度图像和骨骼数据实现手势图像的分割,基于形态学闭运算完成手势分割图的预处理,采用Zernike矩的方法实现对常用手势的识别。将该方法应用于机械设备的虚拟维修训练中,结果验证了该方法的可行性和有效性。     

VR技术在变电站仿真培训系统中的应用研究

为研究虚拟现实(VR)技术在变电站仿真培训系统中的优势,并分析应用前景,创新性地设计一种结合多种技术的330 kV变电站沉浸式仿真培训系统。该系统包括三维VR引擎技术、多通道视频输出技术、虚拟人驱动技术、Kinect体感交互和漫游技术。在分析系统总体架构的基础上,重点介绍多通道视频输出技术和Kinect体感的交互虚拟技术。330 kV变电站沉浸式仿真培训系统能够显示三维立体逼真效果图,同时能模拟人物的转向和漫游。330 kV变电站沉浸式仿真培训系统引入VR技术后,互动性和真实性更强。Kinect体态识别技术的最佳捕捉范围为2.0～3.5 mm。200次抽样数据中,识别准确率最高和最低的动作分别为左手朝胸部挥动作和手握拳动作,相应的样本数为32和18,识别准确率分别为97%和80%。试验收集到的真实数据能够为今后虚拟式仿真培训系统的完善提供支持。     

基于Kinect虚拟文物互动展示系统的设计与实现

利用Kinect的局部骨骼追踪技术,捕获人体数据、彩色数据和深度数据,对采集到的数据进行分析,描绘出手的轮廓并且根据深度信息识别出手势的意思,做逻辑处理后,通过Kinect设备将信息发送给PC,形成操作命令映射到虚拟文物上,虚拟文物会进行相应的动作,比如移动、放大、旋转等。测试结果表明,系统工作稳定可靠,体验者能够通过体感交互技术较好地对虚拟文物进行控制。虚拟文物互动展示系统突破了传统文物的展示方式,使观众积极参与到展览之中。     

基于Leap Motion的虚拟课堂手势交互方法

随着虚拟现实技术的飞速发展, Leap Motion等体感传感器出现并被广泛地应用在人机交互中.针对Leap Motion体感控制器在识别范围边缘识别率低且识别速度慢的问题提出了一种基于深度神经网络的Leap Motion手势交互方法.该方法在定义的交互手势基础上,设计了三维交互系统并应用到虚拟场景中.系统首先通过Leap Motion进行数据捕捉,对获取到的红外图像采用深度神经网络进行特征提取并实现对手势的分类识别,然后结合Leap Motion获取的手部坐标前后帧的变化来判断动态手势,最终结合动态手势完成虚拟场景中的交互功能.经过实验验证,本文手势识别方法无论是在识别速度还是识别精度上都优于Leap Motion自带的手势识别方法,同时在Leap Motion识别范围边界处仍能保持较高的识别率.     

连续隐马尔科夫的静态手势识别法

首次将连续型隐马尔科夫模型应用于静态手势识别中,根据该方法的特点,选用手型轮廓像素点坐标值序列作为静态手势的数据特征. 采用微软公司的Kinect体感设备提取并追踪手势,为几种常用的静态手势训练HMM模型库,并使用该模型库进行静态手势识别实验. 实验将该方法与使用SVM方法进行对比,结果表明这种方法的识别率高,训练模型所需样本少,简单灵活.     

基于Kinect与Unity3D的增强现实应用的设计与实现

增强现实(Augmented Reality,AR)是虚拟现实技术的一个重要分支,它强调的是真实与虚拟的无缝融合。传统的增强现实应用普遍存在设备昂贵、技术繁杂等问题。利用Kinect实时获取人体彩色图像数据、深度图像数据与骨骼关节点数据的强大功能,在Unity3D中设计与实现了一个利用手势交互控制、实时抠图并自动拍照的增强现实应用。应用测试结果表明:该应用可以很好地实现手势交互控制操作,实时合成使用者和其所选择的虚拟背景图片。同时,结合AR游戏,可以让更多的人以较低的成本体验增强现实技术带来的乐趣,具有较好的现实意义与推广性。     

基于体感技术的手势追踪与识别

体感技术使人们更直接的通过自己的肢体动作与电脑设备产生互动,减小了鼠标、键盘等传统输入设备带来的束缚。使用Kinect 体感设备,对体感关键技术及 Kalman滤波器算法进行了深入的研究,并在此基础上提出了一种基于骨骼坐标的手势识别算法。最后详细阐明了基于 Kinect 的手势追踪与识别系统的具体设计与实现方法。     

基于Kinect骨骼数据的静态三维手势识别

手势作为一种自然、直观的交流方式,在人机交互领域得到越来越广泛的应用。研究的手势是指手与臂形成的一种空间三维姿势,现有方法对该种手势识别的准确性不高且实时性不强。在Kinect体感摄像机获取的人体手部关节点三维坐标基础上,提出一种计算手部角度进行静态三维手势识别的新方法。该方法通过计算手部多个位置的夹角来获取手部形态特征,然后与参考的静态手势特征做匹配识别。实验表明,该方法能够判断和识别当前静态手势与参考手势是否匹配,比现有方法具有更好的识别准确性和更强的实时性。     

基于Kinect角度测量的姿势识别算法

人体姿势识别在医疗康复等领域中有着重要的作用。为了提高姿势识别的准确率,提出了一种利用Kinect测量角度的人体姿势识别方法。首先,利用Kinect获取人体关节点的空间坐标。然后,通过两点法计算角度的大小并定义人体姿势库。最后,与姿势库进行角度匹配实现姿势识别。实验结果表明：此方法能够实时准确地识别人体姿势,并且可以通过组建不同的姿势库来识别更多的姿势。     

基于Kinect手势识别的应用与研究

为解决当前智能家居系统操作繁琐的问题,同时为获得更简单的控制方式,并增加用户的体验感受,研究了基于Kinect骨骼信息的手势识别技术,并将其融入至智能家居的人机交互系统中。在该系统中,用户可以自定义手势动作或语音实现家居设备的智能控制。使用了一种基于加权动态时间规整的模板匹配手势识别算法。通过Kinect的深度摄像头获取手势深度图像和骨骼图像数据,并采用加权动态时间规整算法进行识别。实验表明使用该算法实现手势识别是可行且有效的,且其最佳识别位置是在Kinect的正前方2～2.5m处,识别准确率达到96%左右。     

基于傅立叶描述子和HMM的手势识别

针对家庭服务机器人平台中人机交互的问题,提出基于视觉的手势识别作为人与机器人交互的方式,研究利用傅立叶描述子对手势形状进行描述,并结合支持向量机和隐马尔可夫模型分别对静态手势和动态手势进行分类,实现了静态手势和动态手势的识别。该系统基于新型传感器Kinect,在图像分割阶段结合图像深度信息,可以有效的将手势区域提取出来,在一定范围内具有较强的鲁棒性,特征提取阶段基于傅立叶描述子,使手势识别具有旋转、缩放、平移不变性。针对七种常见静态手势和四种动态手势进行测试,平均识别率分别达到98.8%和96.7%,实验结果表明该系统具有较高的准确度。     

基于Kinect的动态手势识别研究

针对人机交互领域中基于视觉的传统动态手势识别方法准确率不高、易受不同强度光照影响等问题,对动态手势识别方法进行了研究;首先利用Kinect传感器采集的深度图像对手势进行分割,并基于矩和链码进行手势质心与手势轨迹特征的计算,再利用动态时间规整算法进行手势轨迹特征识别,最后将识别结果传输给六足机器人进行人机交互实验,实现了动态手势对六足机器人的控制;实验结果证明:该方法识别准确率最高可达97%,且不易受光照影响,具有较强的鲁棒性,同时也满足了人机交互需求。     

基于隐马尔可夫模型的动态手势识别研究

随着虚拟现实技术的飞速发展，人们迫切需要一种自然友好的字符输入方式，于是越来越多的研究人员投入到动态手势的研发当中。本文基于隐马尔可夫模型（HMM）搭建了一套动态手势识别系统。这套系统通过Leap Motion采集动态手势数据，并能够识别36个字母和数字的手势（数字0-9和字母A-Z）。经过大量实验表明，该系统有着很强的鲁棒性，识别单独手势的识别率能够达到93.2%。     

基于Kinect的动态手势识别

针对现有的动态手势识别率低,识别手势少等不足,利用Kinect设备提出了动态手势识别算法.首先利用Kinect捕获人的手部区域,采用基于像素分类的指尖检测算法找到指尖的个数,并以左右手的手指个数作为动态手势的开始和结束;对人手的运动轨迹进行分析,针对运动轨迹的运动方向的变化,提取了该动态手势的运动方向变化角度作为特征;采用隐马尔科夫模型训练和识别各个手势.实验结果表明:方法能够识别16个大写手写英文字母,且效果较好.     

基于Kinect的手术辅助系统研究

针对手术室无菌环境要求非常高的现实需求,以及传统鼠标键盘等人机交互方式存在的需要定期消毒且无法在手术过程中进行操作等客观限制,对目前手术室中人机交互存在的问题进行了分析,提出了一套基于Kinect自然人机交互技术的手术辅助系统。该系统包括一个病人资料库、一套Windows系统下基于Kinect自然人机交互技术的控制程序及一套Kinect手术辅助系统硬件。实验结果表明通过Kinect可以收集操作者的手势、动作、声音等,并将其转化为操作系统可以理解的命令,对手术辅助系统进行相关操作,从而辅助手术进行。该系统对于改善手术条件、节省手术时间、缓解病患痛苦具有一定帮助。     

基于Kinect骨架信息的交通警察手势识别

针对现有的手势识别算法识别率低、鲁棒性弱的问题,提出一种基于Kinect骨架信息的交通警察手势识别方法。从Kinect深度图像中预测人体骨架节点的坐标位置,将节点的运动轨迹作为训练和测试的特征,结合距离加权动态时间规整算法和K-最近邻分类器进行识别。实验表明,在参数最优的情况下,该方法对八种交通警察手势的平均识别率达到98.5%,可应用于智能交通等领域。     

基于Kinect的民族弓弦乐器虚拟演奏系统

利用Kinect相机结合增强现实技术和手势识别方法设计并实现了一个弓弦乐器虚拟演奏系统——以二胡为例.将Kinect获取的现实场景和虚拟乐器融合在一起绘制成增强现实场景.通过Kinect得到的深度数据和贝叶斯肤色模型将用户的左手分割出来,并再次绘制在增强图像上形成新的图像,从而解决虚拟演奏场景中的虚实遮挡问题.利用基于反向动力学和马尔可夫模型的三维虚拟手势拟合方法,对演奏过程中的左手手势进行识别,并结合右手的运动状态完成乐器的虚拟演奏.     

Kinect平台上使用机器学习的非接触式GUI操控方式

触摸屏的出现使人们逐渐摒弃鼠标和键盘,而触摸操作的不便和局限性也随之显现,非接触式操作凭借其独特的优势正逐渐成为未来人机交互方式的新潮流。针对现有的非接触式操作方式存在的手势定义不合理,方法复杂难解,识别精度低等许多问题,提出了使用“抓”和“放”这两个手势的非接触式操控方式RemoteControl,用户可在三维空间中做出操控动作来完成大部分基础图形用户界面（graphical user interface,GUI）操作。RemoteControl使用支持向量机（support vector machine,SVM）和随机森林来从手部图像中识别出手的形状。实验结果表明RemoteControl的操控动作识别取得了较高的精确度。