一种基于Leap Motion的直观体交互技术

Leap Motion系统可高精度实时检测并跟踪手掌、手指的位置和速度等信息,为大屏幕、远距离体交互提供有效途径。通过观察用户手势远距离操控现实环境中的物体,该文设计易于理解的体交互操作手势;借助对Leap Motion传感器工作区域的远近场划分,建立合理的物理空间和信息空间映射关系;针对利用深度相机的手部姿态解算问题,结合Leap Motion传感器的特点,提出一种结合手掌法向和指尖向量的空间姿态算法;结合大屏幕体交互的任务特点,设计了支持连续数据流的非接触式体交互原型系统;最后通过用户实验对原型系统进行评估。结果表明,和传统的2D体交互比较,该文算法的用户体验和表现更为自然、直观和高效。     

基于Leap Motion手语语音转换的设计与实现

文章介绍了基于Leap Motion手语语音转换的原理以及在实际中如何实现应用,其能够将手语手势翻译成所需语言,并且以语音的形式传递消息,实现为聋哑人"发声"的目的。Leap Motion手语语音转换的硬件部分采用Leap Motion体感控制器,能够实时采集人手指的坐标、加速度、方向等动态手势的运动信息。软件采用Unity 3D三维引擎,提供了开发手势识别的SDK,并给出了一些基本手的模型,在Unity 3D中完成由手势到文字,再到语音的转换。     

基于Leap Motion的工业智能装配系统设计

针对常规人机交互方式(手动编程、示教器等)难以实现装配动作高自由度输入的问题,本文提出基于Leap Motion手势交互传感器的智能装配系统构建方案,用以指导机械臂装配动作的自动实现。首先对Leap Motion传感器进行性能测试实验,构建最佳工作空间与运动轨迹描述,随后搭建ResNet-50架构的深度卷积神经网络,对预定的动态手势进行分类识别并映射到装配动作。实验结果证明,该系统满足了轻巧、便携与非接触式测量的需求,实现了复杂灵活的装配动作复现,装配效率大幅提升。     

基于Leap Motion的手势识别及在大型结构件虚拟安装中的应用

体感控制器Leap Motion因其追踪精度高、手势交互性好的优点被广泛运用于各类虚拟安装。将Leap Motion手势识别应用于高集成度大型结构件的高精度虚拟安装，可实现虚拟手对安装过程的交互控制。设计了一种基于加权卡方距离的模糊K最近邻结点(KNN)分类方法实现虚拟手势分类，根据手势特征的重要性赋予不同权值，可进一步提高分类准确率，测试结果表明改进分类方法识别准确率达到92.7%,比传统分类算法提高5.3%。使用三种手势进行发动机部件的虚拟安装实验，结果表明手势识别在安装过程中取得了良好的效果，可提升现实安装过程的质量和效率，对于提升大型军品的制造和安装水平具有重要意义。     

智慧新装备

惠普推出体验电脑用手势控制 4月17日,Leap Motion宣布,已经与惠普签署协议,将自己的技术引入到惠普电脑中。Leap Motion是体感控制传感器开发者,它的技术可以让用户用手势与电脑互动。     

基于多空间光调制器拼接的空间悬浮全息真三维显示

全息技术是实现空间悬浮真三维（3D）显示的重要方法。空间光调制器（SLM）作为当前唯一的实时动态全息真3D图像投射仪器，像素量、分辨率等不足限制了其在空间悬浮真三维显示领域的应用。研究多SLM拼接实现高分辨低噪声的空间悬浮真3D显示，首先通过菲涅耳层析法结合空间坐标变换技术，计算获得3D物体360°视角的高分辨率全息图；然后将每张全息图分为相同分辨率的4幅图，加载到阵列式拼接的4个SLMs上，滤除一阶之外的光束后，再现出完整的具有高信息容量高分辨率的全息3D实像；最后利用超声雾化介质进行承载，实现实时动态空间悬浮真3D显示。另外，利用时间平均法对重建像进行噪声抑制研究，实验结果证明该方法可有效地提升空间悬浮全息显示图像的质量。     

基于3D体感技术的动态手势识别

提出了一种基于3D体感机Kinect的图像处理手势识别算法,通过深度图像和骨骼图像的方法实现动态手势识别。首先在Kinect提供的骨骼图像中20个骨点中,选取2个离手部最近的骨骼点,通过追踪这两个骨骼点的位置来实现对手部的追踪,再通过判断手部的深度（即其相对于摄像头的距离）的变化来实现动态手势识别。     

基于Kinect深度图像的指尖识别及手势判定

在基于微软Kinect体感设备开发的交互应用系统中,使用传统的鼠标、键盘等交互设备难以达到理想的效果。针对这种情况,提出一种基于指尖识别的手势判定方法。采用Kinect传感器获取图像的深度信息,通过OpenNI的内置模块获取手心的位置信息,使用最近邻法实现手部的分割并对手形进行提取;并采用射线求交法优化Graham Scan算法获取凸包点集合,利用轮廓分析法从凸包点中识别出指尖。在此基础上,结合指尖数目和面积比例实现对“抓取”手势的判定。实验结果表明,该方法能有效地识别抓取动作的手势,且具有良好的鲁棒性。     

基于计算机视觉的3D手势交互系统

随着计算机的广泛发展,键盘、鼠标等传统的人机交互方式很难满足用户自然、便捷的交互需求。研究手势建模、人手跟踪和手势交互系统的应用成为热点趋势。提出了一种简化的2D人手模型,该模型将人手建模为掌心点和5根手指,同时设计了一种基于粒子群优化(PSO)算法的人手跟踪方法,通过建模人手的生理和运动学约束关系,实现了基于2D/3D人手模型的PSO人手跟踪,该手势交互系统框架更具适用性和扩展性,融合了语义和反馈信息,提高了人手跟踪的鲁棒性和手势识别的准确度。     

基于液晶多层屏的3D显示系统和算法设计

为了获得真3D的显示效果,我们采用多层屏显示具有深度信息的衰减图的方法来实现。整个显示系统包括多层液晶显示模块、多路显示驱动模块和高亮度背光模块。多层3D图像采集和处理过程包括:架设相机对模型进行多个角度的拍摄,对这些投影图进行几何光学处理得到包含所有光线路径的稀疏矩阵,再通过最小二乘法拟合实际光场得到相应的衰减图,最后通过软件将衰减图输送到三层液晶屏显示系统进行显示。实验表明:重构出来的图像均方差为71.5,信噪比接近30dB,效果较好。最后实验结果证明我们的显示系统具有良好的3D效果。     

基于Leap Motion手势控制的智能家居辅助控制系统研究

如今智能家居概念逐渐普及并且已经发展应用到生活的多个方面。针对残疾人士及儿童缺乏人机交互的缺陷,对智能家居使用方式进行创新以及进一步开发。首先,展示以KEA128作为单片机的下位机系统设计与实现;然后,选择蓝牙无线网络通信技术作为通信桥;最后,详细介绍Leap Motion实现原理、手势定义设计及其具体实现。文章介绍了本系统在智能家居的基础上进行的应用创新,提供更智能化的生活。实验证明,智能家居环境中可以应用Leap Motion作为新型控制模式。     

自动虚拟试衣系统的设计与实现

目前网络服装类购物快速发展,虚拟试衣应运而生,但现有的虚拟试衣系统试衣效果不够真实,交互操作能力差。针对这些试衣系统的不足之处,利用Kinect的人体识别的功能,结合Unity3D对3D渲染的强大支持,设计了一种基于Unity3D平台实现的虚拟试衣系统,实现了自动虚拟试衣,手势识别,背景切换等功能。此虚拟试衣系统具有真实度高,手势隔空操作,自动化程度高,后期开发和维护方便的优点。     

多种手势对应同一语义的柔性映射交互算法的研究

针对智能交互界面中手势识别错误导致交互界面变化错误和手势不识别两个基本问题,本文设计并实现了基于手势交互的智能教学界面,该系统可以通过获取教师的手势信息与教师进行交互.主要创新点在于提出了多种手势对应同一语义的柔性映射交互算法.本文选取了14种自然交互手势,分析了对应同一语义的多种手势之间的共同特征.实验结果显示,该算法能够有效降低用户负荷.该算法已经用于一个基于手势交互的智能教学系统界面中.     

可切换光栅式裸眼3D电视系统的设计

提出一种可切换光栅式裸眼3D电视系统的设计,详细阐述了系统的原理、硬件及关键技术的实现.系统通过TV模块将电视信号处理成1 080p@120 Hz的图像信号,由裸眼3D模块生成多个视点图像并交织为3 840 ×2 160@30 Hz的合成图像,经过帧频转换后驱动裸眼3D屏幕实现高清晰度裸眼3D显示,以及采用独立的Barrier panel来形成可切换屏障光栅,能够兼容超高清晰度2D显示.     

基于Leap Motion的手工雕塑网页应用设计

文中设计了一种基于Leap Motion的手工雕塑网页应用。该应用使用Leap Motion采集用户手部运动,然后将运动信息交给3D动画处理部分进行模型处理加工,最后雕塑结果按照WebGL标准通过HTML5的Canvas元素呈现在Web浏览器中。该应用可在不同的操作系统上运行,大大降低了体验手工雕塑的成本,有望得到推广。     

基于光学的真三维触控定位与识别方法研究

通过介绍真三维显示技术与无标记空间定位原理,提出了真三维两点触控实现方法,搭建了真三维两点触控定位与识别系统。针对真三维空间定位绘制、空间两点跟踪和手势识别问题,研究了真三维两点触控交互方法。实验证明,在不需要佩戴任何标记和传感器的条件下,基于光学的空间两点触控方法与系统能够满足真三维显示的人机交互要求,且环境光的变化不干扰人机交互的操作。     

基于USBD12和加速度计的空中键鼠

设计基于USBD12和加速度计的空中键鼠,通过手势在空中的动作便可控制鼠标的移动。设计的研发调试过程中,采用了加速度传感器数据采集、USB设备gadget层HID设备、LCD-NOKIA5110显示、AVR单片机熔丝位的配置、蓝牙模块、手势动作识别算法、菜单与UI界面等模块的软、硬件调试,接收端有一个USB口,插入PC后被识别为一个标准HID人体学输入设备,无须驱动,即插即用。用户的操作达到可动态交互的目的。采用动作手势识别算法,蓝牙模块等实现了通过手势在空中的动作便可控制鼠标的移动,通过按键进行对键盘的操作,并且不需要连接线,通过蓝牙与插在电脑上的接收端相连接通信,达到动态交互的目的。     

基于Leap Motion手势交互的虚拟装配培训的研究

由于大型机械装备不便移动、观察内部构造困难,而国内现有的传统大型装备的实物装配训练受场地、时间、培训效率的约束,已越来越不能满足培训需求。近十年来陆续出现的虚拟装配培训系统又往往不够真实,模拟操作困难,对装配过程的具体操作内容只能用鼠标代替。针对这些问题,提出一套集直观性、交互性、系统性于一体的功能框架,设计出360°成像装置及基于Leap Motion的手势交互系统,最终实现了一种针对大型机械设备的虚拟装配培训装置的开发。     

基于深度摄像头的VR家庭影院手势交互

基于VR家庭影院的深度摄像头技术,提出了一种新颖的手势交互系统理论,实现了手势控制影院相关功能。创建一个综合的手势轮廓信息数据库以及对应的手部标记图,在这个数据库中通过随机森林算法分类,以此在深度轮廓信息中识别手部信息,最后在已识别出的手部信息基础上,通过手势交互生成控制命令。在真实手势上测试系统,从五个不同的对象上获得的平均识别率为98.0%。用户可以通过手势来控制VR家庭影院的菜单选择换台,调节音量等。     

微型仿生扑翼飞行器机载单目视觉系统的设计

近年来仿生扑翼飞行器利用视觉系统自主飞行成为一个具有广泛前景的研究方向,然而,其有限的带载能力对视觉传感器的类型、尺寸和重量提出了严格要求。目前商用图像处理模块的尺寸和重量较大,且需要回传图像信息至地面控制系统处理,文章旨在设计一款轻量化机载单目视觉系统,帮助微型仿生扑翼飞行器获取外界信息并实现智能自主的飞行。相比于其他图像处理模块,此系统以国产高算力芯片K210为核心进行设计,可脱离电脑端完成图像处理,尺寸仅为2.2 cm×2.3 cm,重量仅为3 g,内部兼容轻量化网络模型实现分类识别,通过串口进行信息交互,控制扑翼飞行器实现手势识别和目标追踪。