笔式几何学习系统的设计与实现

基于现有的几何学习软件存在着交互方式不自然,不智能的缺点,设计并实现了一个笔式几何学习系统,用以模拟初中几何教学过程中,教师出题,学生答题的情境.笔式几何学习系统运用约束求解技术动态展示几何属性,运用草图识别技术将草图识别为几何图形,通过笔手势帮助用户更加方便地操作使用软件.评估表明,用户以笔交互的方式进行书写、绘图和操作,体现了和谐自然的人机交互模式.     

运动传感驱动的3D直观手势交互

为了使手势交互方式较少受到场地和光线的限制,提出利用加速度传感器作为输入设备进行手势识别的方法.对每种手势只要求用户做一次示范表演,通过添加噪声等手段来提高训练数据生成的自动化程度;将训练数据经过预处理和特征提取之后用于训练机器学习模型(隐马尔科夫模型和支持向量机).在包含70种手势的测试集上进行实验,平均识别率超过90%;并开发了幻灯片手势控制和手势拨号2个基于手势的人机交互原型系统,结果表明文中方法能够显著地提升用户在人机交互中的体验.     

支持概念设计的特征手势建模

给出了特征手势的概念并且建立了特征手势库，描述了基于特征手势的建模过程；进一步讨论了特征手势内部的约束建立和求解算法以及上下文感知技术，通过与传统建模和交互方式的对比，验证了特征手势建模的方便性．文中算法以用户为中心，给出了自然简便的设计工具，改善了人机交互方式．     

基于多通道交互技术的计算机辅助需求分析系统的研发

近年来,人机交互向着认知系统方向发展,以便提供自然与有效的交互原则。认知系统依靠来自多个传感器的数据的处理和融合算法的结合,通过动态地适应外界环境来改善人机交互体验。本原型作品在现有的面向问题的计算机辅助软件需求工程(Computer-Aided Requirements Engineering,CARE)工具的基础上,以及在人机交互理论和设计原则的指导下,针对需求展示的场合,提出了一种基于手势操作的自然交互方式,并在追踪识别手势的过程中运用多通道技术辅助追踪,从而大大加快了追踪与识别的速度,提高了精确度,提供了更好的用户体验。     

基于空中手势的跨屏幕内容分享技术研究

在多屏幕环境中，实现跨屏幕内容分享的现有技术忽视了对空中手势的利用.为验证空中手势，实现并部署了一套跨屏幕界面共享系统，支持使用空中手势完成屏幕间界面内容的实时分享.根据一项让用户设计手势的调研，实现了"抓-拖拽"和"抓-拉-放"两种空中手势.通过对两种手势进行用户实验发现：用空中手势完成跨屏幕内容分享是新颖、有用、易于掌握的.总体上，"抓-拖拽"手势用户感受更好，但"抓-拉-放"手势对于复杂情景的通用性更好；前者更适合近屏场景，推荐在屏幕相邻且间距不大、操作距离近时使用；后者更适合远屏场景，推荐在目标屏幕间有间隔屏幕或相距较远时使用.因此，将两种手势相结合使用更为合理.     

基于多点手势识别的人机交互技术框架

提出了一种基于机器视觉的多点手势识别方法及其人机交互技术框架。指尖跟踪和手势识别服务程序通过一个普通的摄像机捕获用户手的运动,对多个指尖目标进行实时检测和跟踪,在指尖跟踪结果基础上利用BP神经网络实现多点手势识别,并根据指尖跟踪和手势识别结果构造相应的消息(包括低级指点消息和高级手势消息)发送给客户端应用程序,客户端响应消息并进行相应的处理。该框架可以帮助开发人员的在应用程序中增加类似iPhone多点触摸控制的多点手势识别控制功能,实现更加自然的人机交互,提高用户操作体验。     

概念设计中基于笔式手势的交互计算研究

基于笔式手势的自然交互是支持概念设计创新的有效方式.提出了一种笔式手势的层次概念模型,结合基于约束的自由勾画和上下文感知技术描述了手势设计方式,进一步讨论了手势内部的约束建立和求解算法;基于手势应用的范式,给出了概念设计中特征手势建模的应用实例,通过与传统建模和交互方式的对比,验证了特征手势建模的方便性.给出一个自然、高效的方法,以基于手势的方式来完成概念设计构思过程,采用笔式交互快速自然地记录下设计思路,所实现的系统方便了用户的创新设计,改善了人机交互模式.     

面向协同装配的混合现实手眼交互技术研究

针对MR协同装配工作中存在的复杂人机交互问题,提出一种基于眼动追踪和手势识别的多通道交互方法。采用注视线检测和注视点检测对目标物体进行预选取。通过手势识别完成对候选目标物体的确认和相关操作。实验结果表明,该方法能实现对遮挡、微小尺寸、远距离目标对象的选取和操作。同时,协同装配实验验证了该方法在协同工作中的可行性。     

基于摄像头的近距手势识别系统的设计

随着电子技术的不断发展,人机交互方式也在得到转变,手势识别作为其中一项典型应用正吸引越来越多人的关注,本文即在嵌入式平台上通过相关算法实现了基本的手势动作识别。文中利用摄像头进行手势图像数据采集,采用STM32作为微处理器,对图像进行差影分割、噪声去除等处理,完成了近距离范围内对运动手势的实时定位和基本识别,并在此基础上对游戏俄罗斯方块进行了控制,实现了手势识别技术在人机交互中的应用,很好得体现出手势操作的便利性和全新用户体验。     

基于智能手机传感器与触摸屏的手势交互技术

由于以图像为手势信息载体的交互方式易受环境影响,设计实现了一种基于智能手机触摸屏与内置传感器的手势交互方案。首先通过手机内置MEMS传感器及触摸屏获取手势信息;然后分析手势的运动学特征,实时提取手势的信息(角速度、加速度、触摸屏数据),利用多变量决策树分类器完成对手势分类与识别;最后给出了一个原型系统。实验结果表明,该方案满足实时人机交互需求。     

Multi-Modal Interaction of Human and Home Robot in the Context of Room Map Generation

In robotics, the idea of human and robot interaction is receiving a lot of attention lately. In this paper, we describe a multi-modal system for generating a map of the environment through interaction of a human and home robot. This system enables people to teach a newcomer robot different attributes of objects and places in the room through speech commands and hand gestures. The robot learns about size, position, and topological relations between objects, and produces a map of the room based on knowledge learned through communication with the human. The developed system consists of several sections including: natural language processing, posture recognition, object localization and map generation. This system combines multiple sources of information and model matching to detect and track a human hand so that the user can point toward an object of interest and guide the robot to either go near it or to locate that object's position in the room. The positions of objects in the room are located by monocular camera vision and depth from focus method.     

基于Leap Motion的手势识别在虚拟交互中的研究*

针对虚拟场景中的自然手势交互进行了研究,提出了基于Leap Motion的动态指尖手势轨迹识别方法。首先借助Leap Motion设备采集指尖在场景中运动时产生的坐标并同时对数据进行预处理,然后从这一系列坐标中找出起始和结束位置并提取出有效的手势轨迹,再进行轨迹优化和手势初步分类,基于加权欧氏距离将轨迹和手势模板进行相似度计算,得到识别结果。采集200组手势数据进行实验,结果证明提出的方法具有很高的识别率,将方法应用在手势交互系统中,实现使用自然手势和虚拟物品进行交互,增加了交互乐趣,改善了交互体验。     

图像识别的静态手势识别与动态跟踪系统设计

本文研究了图像手势识别和增强现实技术,设计了可以进行静态手势识别和动态跟踪的系统,通过提前录入不同手势,利用皮肤颜色对图像进行OSTU自适应阈值划分,建立二值化图像,与已知的手势进行匹配,以得到手势结果。实验结果表明,准确率达到96.8%,识别速度达到0.55 s。动态跟踪利用检测每帧图像中手部的位置进行定位和捕捉,图像捕捉帧数达到28帧/s,对手势静态识别和动态跟踪实现了人机之间的良好交互。     

用于口型识别的实时唇定位方法

在许多应用于有噪声环境下的语音识别系统中,唇读技术能有效地降低噪声的影响,通过视觉 通道来补充仅取决于听觉通道的信息量,从而提高语音识别系统的识别率.该文提出了一种有 效和稳健的唇定位跟踪方法,以满足不用特殊标识物和规范性照明就能对信息进行有效提取 的应用需求.该方法首先用肤色模型查找脸;然后用迭代算法搜索脸部区域内的眼睛;再根据 眼睛的位置来确定脸的大小和位置,并对脸的下半部分采用彩色坐标变换法将唇从肤色中明 显地区分出来;最后,用可变模板将上下唇的内外轮廓描述出来.     

基于DSP的车牌识别系统研究

介绍了一种基于TMS320DM6437硬件平台,运用数字图像处理的知识来实现汽车车牌的自动识别功能。对目前使用的车牌预处理、车牌定位技术与字符分割等算法进行了实验分析。     

支持多模态交互的桌面增强显示系统

传统的显示设备在受限的物理空间内难以向用户呈现大量画面和复杂内容,而AR头戴式显示设备通过将三维的可视化内容悬浮显示在用户眼前,在不占用额外物理空间的条件下可增强真实世界的画面显示,呈现形式更为丰富的内容。设计AR虚拟空间与真实电脑画面虚实融合的桌面增强显示系统。通过基于二维码识别的空间定位技术将真实电脑画面映射至虚拟空间内,实现交互空间的统一,同时构建窗口布局计算模型使得系统可以根据用户自定义参数自动生成窗口并设置其布局。在此基础上,利用蓝牙通信、网络传输、操作系统底层映射和结合视线检测的语音识别等技术支持手势、键鼠和语音的多模态交互方式,设计鼠标移动策略以扩展鼠标在三维空间下的多种操作模式。实验结果表明,与隔空手势交互、鼠标交互等传统交互方式相比,该系统在处理常见电脑任务时平均耗时节省10%~30%,具有较高的交互效率,且在跨窗口连续移动和瞬间跳转时能够正确显示鼠标位置。     

一种新的手势运动数据重定向方法

提出了一种新的重新定向手势运动数据的方法.它把通过运动捕获设备捕获的手势数据重新定向到具有不同大小和比例的虚拟人模型上,从而生成与原运动含义相同且真实自然的动画.首先通过手势特征分析在人体上选择关键敏感点和次关键敏感点,然后利用提出的基于空间相对位置的方法确定重定向后敏感点的位置,最后采用改进的逆运动学方法实现了手势运动的重定向.实验表明,提出的方法使得中国手语合成系统的可懂度提高30%以上.     

信息系统的可存活性

可存活性是用来表明系统在面对蓄意攻击、故障失效或偶发事故时仍能完成其任务的能力.可存活性要求系统具有四个关键性质:抵抗性、识别性、恢复性、适应和演化性质.目前对于可存活性的研究可以分为分析和实现两个方面.可存活性的分析一般通过建模的方法,对原有系统的可存活性进行度量,找到系统的薄弱环节.可存活性的实现一般通过体系结构的设计改进或者重新配置的方法,来提高系统的可存活能力.无论是分析还是实现的研究,方法多样,但是却有着很大的局限性.     

基于HMM的嵌入式语音交互在AmI中的应用

环绕智能的一个重要目的是实现人与环境的交互更加自然。该文通过语音识别技术体现环绕智能环境中的自然交互的理念,系统采用隐马尔可夫模型实现语音识别,同时为了保证嵌入式环境下交互的实时性,采用IP核来设计与实现算法,并进行仿真验证。实验数据表明系统具有较好的性能,对语音识别在环绕智能环境中的应用研究有一定的理论和实践意义。     

人体姿态识别算法在视觉人机交互中的应用

针对当下视觉人机交互应用中所面临的识别过程复杂,交互效率低等一系列问题,提出了一种基于人体构造的姿态识别算法。利用该算法和软硬协同的设计思想,在FPGA平台上实现了一套运用视觉感知进行交互的机器人控制系统。图像采集模块获取双摄像头的画面,图像预处理模块完成降噪和冗余帧的去除,关节识别模块实现对人体皮肤和关节处颜色标记的检测;得到的关节位置信息送入软核,运用空间向量模型识别出肢体动作。最终将识别结果编码后通过蓝牙传输给远端机器人。实际测试表明,该算法能快速准确地识别出绝大部分基本的肢体动作,机器人能实时跟随人体简单运动。