虚拟显微白内障手术系统人机交互接口设计

基于虚拟现实技术的显微白内障手术仿真训练系统对显微环境下眼科手术操作培 训具有重要的意义。为此,设计并搭建了一套具有高度沉浸感的虚拟显微白内障手术训练系统 的软硬件环境。硬件部分系统以 HTC Vive,Geomagic Touch X 为硬件基础,设计手术器械转换 接口以搭建高保真手术操作环境;软件部分采用基于位置动力学方法(position-based dynamics) 模拟手术过程中眼角膜软组织的变形、穿刺及缝合操作,并采用 GPU 并行计算对手术仿真过程 进行加速。最后,实验结果表明该系统可以实现自然的显微眼科手术人机交互环境,使年轻医 师获得高沉浸感的真实手术训练体验,从而达到一定的培训效果。     

基于Kinect手势识别的应用与研究

为解决当前智能家居系统操作繁琐的问题,同时为获得更简单的控制方式,并增加用户的体验感受,研究了基于Kinect骨骼信息的手势识别技术,并将其融入至智能家居的人机交互系统中。在该系统中,用户可以自定义手势动作或语音实现家居设备的智能控制。使用了一种基于加权动态时间规整的模板匹配手势识别算法。通过Kinect的深度摄像头获取手势深度图像和骨骼图像数据,并采用加权动态时间规整算法进行识别。实验表明使用该算法实现手势识别是可行且有效的,且其最佳识别位置是在Kinect的正前方2～2.5m处,识别准确率达到96%左右。     

面向数字化陈展的自然人机交互技术研究

针对目前博物馆数字化陈展系统交互行为单一不自然,且开发成本高,可重复利用率低的问题,通过在XNA全屏环境下整合Wiimote的高精准度定位技术和WPF中InkCanvas控件的轨迹识别功能,开发了一套基于自然人机交互理念的数字化陈展系统,使用户可以通过不同的手势运动变换来对数字藏品进行相应的陈展操作。详细分析了Wiimote捕捉红外点位置的原理和与计算机的通信机制。实践证明,该系统的操作识别率高,成本低,可扩展性强,具有一定的实用价值。     

机器人辅助内镜手术系统的设计与开发

机器人应用于外科手术中，通过医生和机器人系统的合理分工和有机配合，可以提高 手术质量、改善医生工作条件、实现远程手术等．本文以纤维内镜手术为研究对象，针对术 中X射线对医护人员身体健康造成伤害的现状，设计了机器人辅助内镜手术系统，使医生可 以远程控制手术室的操作器完成内镜和手术器械的操作，实现诊断和治疗的目的．文章详细 介绍了系统的研制背景、总体设计、内镜操作器子系统原型样机设计及实验，并结合系统开 发对医疗外科机器人的人机交互接口、安全性及临床应用等问题进行了讨论．     

基于Leap Motion的手术室无干扰交互技术

在手术室中,传统人机交互技术很大程度上依赖于鼠标、键盘、触摸屏等输入设备,但这种接触式交互有导致患者感染的风险.而虚拟操作人机交互过程采用计算机视觉来获取手势信息,在交互的自然性与成本上有很大的优势,是现如今人机交互领域发展的主要趋势.本文介绍了一种基于Leap Motion的手势控制技术,利用AR技术和Leap Motion设备,使得手术过程中医生无需接触手术设备,在非接触式设备的帮助下使医生能彻底远离因接触设备给手术带来的干扰和手术风险.实验表明,相比于传统的接触式交互技术,基于Leap Motion的手术室无干扰交互技术在一定程度上减少了接触式交互所带来的手术感染风险并增加了医生操作的易用性.     

虚拟维修训练中的手势识别

为在虚拟维修训练中实现更加自然高效的人机交互,增强维修训练人员的沉浸感,提出一种基于Kinect深度图像和骨骼数据的手势识别方法。通过对维修样机和维修资源的维修特征进行研究,建立基于维修特征的维修动作集合,定义维修操作的常用手势库;在分析和构建手势识别系统流程的基础上,结合Kinect深度图像和骨骼数据实现手势图像的分割,基于形态学闭运算完成手势分割图的预处理,采用Zernike矩的方法实现对常用手势的识别。将该方法应用于机械设备的虚拟维修训练中,结果验证了该方法的可行性和有效性。     

基于Kinect跑步机系统

研发了一种基于Kinect的跑步机系统,并提出了跑步系列动作识别算法. 该系统基于Unity游戏引擎、3DSMax、Maya、Photoshop建模和平面设计软件开发,运用微软Kinect体感设备和个人电脑获取人体跑步时各种动作的骨骼点数据,结合运动特征分析研发了基于骨骼绑定的跑步、挥手、跳跃、蹲下各种动作的识别算法,通过对人体动作的识别从而实现人机交互的跑步健身游戏娱乐运动. 实验数据表明基于骨骼绑定的动作识别算法的有效性,该跑步机系统硬件设备体积小,它通过人的肢体动作而不是鼠标键盘来操作跑步机软件,同时结合了跑步健身和游戏娱乐等功能,部分代替了传统跑步机的作用,具有很好的体感交互效果和实用价值,研究成果可以用于更多的人机互动应用领域.     

一种基于三维建图和虚拟现实的人机交互系统

以提高人机共融水平为目的,以救援机器人为背景,提出并实现基于三维建图和虚拟现实(VR)技术的人机交互系统.在该系统中,救援机器人基于多线激光雷达和惯性测量单元(IMU)实时构建环境的三维点云地图,并将建图结果增量式地表示为3D-NDT地图,实时传输至操作台的虚拟现实系统中可视化;同时,操作人员利用虚拟现实系统的交互设备生成机器人的控制指令,控制机器人运动,构成一个完整的人在回路的人机交互系统.该系统在将机器人环境实时在虚拟现实中可视化的基础上,可以给操作人员以极强的沉浸感,有利于操作人员更直接地理解机器人所处环境.此外,该系统作为一种新的人机交互方式,为提高人与机器人的自然交互水平提供了新思路,对促进人机交互技术的发展具有重要意义.     

具有力反馈的虚拟膝部手术系统

基于计算机的外科手术仿真系统已被广泛用于医疗教育、手术训练、手术计划,还被作为术中的辅助手段。随着具有力反馈设备在虚拟膝部手术中的应用,拓展了体数据可视化技术在医学实践中的应用范围,使医务人员不但能看到而且可以触摸并可以使用各种虚拟手术器械对三维虚拟人体膝部进行切割,修补,嫁接等操作。该文介绍了虚拟膝部手术系统的组成部分,主要包括：图像数据的获取和分割,三维模型的重建及人机交互操作,并详细说明每一部分的技术要点及其所采用的疗法。     

基于Kinect的康复医疗系统的应用研究

肢体障碍患者人群的日益增多,社会上对康复训练的需求也显得越来越急迫,但传统康复训练存在的不足之处,使得患者难以接受必要的康复治疗。本设计研究基于Kinect结合人机交互和虚拟现实技术,通过Kinect深度摄像机对人体的关节部位及动作进行捕捉和识别,以游戏化的方式代替枯燥无聊的传统训练模型,从而设计康复交互系统,达到满足患者康复训练的需求。该系统及其研究的相关理论方法可为应用新技术的康复训练的相关研究提供一种新思路。     

基于Kinect的虚拟展馆游览系统的设计与实现

针对现有三维虚拟展览馆游览系统交互方式用户体验不理想的现状,提出一种基于Kinect的虚拟展馆游览系统。该系统重点研究了利用Kinect骨骼追踪技术实现对体验者身体动作的解析和利用四元数插值对骨骼动画的控制。在功能上,实现了站在Kinect前的体验者通过不同的姿势,对虚拟展馆三维场景中虚拟人物的动作、姿态、位置、朝向的控制。实验结果表明,体验者能够通过体感交互技术较好地实现对虚拟人物姿态的控制并方便地进行虚拟场景游览。     

航天员虚拟交互操作训练多体感融合驱动方法研究

针对航天员虚拟训练中的人机自然交互问题,基于体态/手势识别和人体运动特性, 提出一种多通道数据融合的虚拟驱动与交互方法。结合Kinect 设备能够完整识别人体姿态特点 及LeapMotion 设备能精确识别手势姿态的优势,提出了基于判断的数据传递方法,在人体关节 识别的基础上对手部关节进行识别与数据处理计算,采用多通道体感识别融合方法将二者结合, 并进行了实验。结果表明,通过采用LeapMotion 和Kinect 对手部识别的判别,当手势在 LeapMotion 识别范围内,能够在实现人体体感识别的基础上增加较为精确的手势识别。此方法 成功实现了人体姿态识别和手势精确识别的结合,可应用于航天员虚拟训练中的人机自然交互 中去。     

基于Kinect的动态手势识别研究

针对人机交互领域中基于视觉的传统动态手势识别方法准确率不高、易受不同强度光照影响等问题,对动态手势识别方法进行了研究;首先利用Kinect传感器采集的深度图像对手势进行分割,并基于矩和链码进行手势质心与手势轨迹特征的计算,再利用动态时间规整算法进行手势轨迹特征识别,最后将识别结果传输给六足机器人进行人机交互实验,实现了动态手势对六足机器人的控制;实验结果证明:该方法识别准确率最高可达97%,且不易受光照影响,具有较强的鲁棒性,同时也满足了人机交互需求。     

基于Kinect的手势跟踪概述

综述了当前基于Kinect手势跟踪的几种代表性方法:基于轮廓和特征匹配运动目标跟踪算法、均值漂移跟踪算法、连续自适应均值漂移跟踪算法、卡尔曼滤波跟踪算法以及粒子滤波跟踪算法,分析其特点及相互关系,详细探讨了各方法的优缺点.最后对手势跟踪发展趋势作出了展望.     

基于肌肉感知的手势交互模型

在人机交互技术由以计算机演化为以人为中心的背景下,通过感知肌肉活动的手势识别方法,因其可穿戴性、隐式交互性和可靠性的特点在近几年得到了人机交互研究领域的高度关注.但目前的相关研究缺乏统一的语义分析模型和系统模型支持研究和开发.为此,分析讨论了交互手势的分类并归纳总结出适合肌肉感知方法的输入原语,提出基于肌肉感知的手势交互语义分析模型和分层处理的系统结构模型,旨在提高该类型交互应用的研究和开发工作效率.最后分析了办公室环境下的操作手势交互应用场景,给出了该语义分析模型和分层系统结构模型的应用实例.     

基于PLC的煤矿副井操车控制系统的设计

针对基于单片机或集成电路的煤矿操车控制系统存在使用繁琐、维护不便、易发生误动作等缺点,提出了一种基于PLC的煤矿副井操车控制系统设计方案,介绍了该系统的结构、控制方案、控制过程以及核心闭锁关系。该系统井口和井底操作台内分别安装一套操车PLC设备,利用PLC接收井口或井底操车设备的位置信号和车房的控制信号,以控制操车设备的运行。实际运行结果表明,该系统性能稳定可靠,保障了煤矿的安全生产。     

基于kinect的手指定位

为了实现更加自然的人机交互方式,利用微软的kinect体感设备提出一种实时手指定位方法。本方法首先利用ki-nect的关节点信息获取包含手部的区域,然后在此区域利用肤色颜色模型来提取出人的手部区域,并利用canny方法提取出手部的边缘信息,最后利用手部边缘曲线的曲率来判断手指的指尖。本方法能快速准确的定位手指位置,为进一步进行手指动作的识别做基础。