基于视觉的手势界面关键技术研究

针对视觉手势界面存在的问题,提出了一套行之有效的解决方案.首先,为了解决视觉手势交互中的MidasTouch问题,以人类注意的信息加工模型为理论依据提出了一个可扩展的视觉手势交互模型,该模型将手势交互过程分为选择性处理、分配性处理和集中处理3个不同阶段;然后,基于该模型提出了一个视觉手势识别框架,并结合认知心理学从手势检测、跟踪和识别3个方面对该框架的各个组成模块的关键技术进行了阐述,其中手势检测模块和识别管理模块能够辅助系统在复杂的背景中滤除掉不相关信息而选择性地搜索人手并根据上下文信息对手势识别任务重定向,从而避免了系统时刻都处于激活状态并对所有的手势动作都进行识别分析,有效解决了Midas Touch问题.文中介绍了使用该方法实现的IEToolkit手势界面工具平台,并基于一个视觉手势交互系统进行了实验测试与评估,结果验证了文中方法的可用性.     

基于视觉的手势识别技术

近年来计算机已经成为人们日常生活的一部分,人们与计算机的交互也日益成为科研领域的热点.基于视觉的手势识别是实现新一代人机交互所不可缺少的一项关键技术,而手势识别的研究也可促进手语识别的发展,从而消除健全人与聋哑人之间的交流障碍,使他们能获得健全人的正常生活,帮忙他们参加社会的各项活动.文中介绍了手势识别方法的发展、手势识别的技术难点,具体阐述了基于视觉的手势识别系统原理和组成,手势的建模以及在手势识别中常用的技术方法.     

基于视觉的手势识别技术

近年来计算机已经成为人们日常生活的一部分,人们与计算机的交互也日益成为科研领域的热点。基于视觉的手势识别是实现新一代人机交互所不可缺少的一项关键技术,而手势识别的研究也可促进手语识别的发展,从而消除健全人与聋哑人之间的交流障碍,使他们能获得健全人的正常生活,帮忙他们参加社会的各项活动。文中介绍了手势识别方法的发展、手势识别的技术难点,具体阐述了基于视觉的手势识别系统原理和组成,手势的建模以及在手势识别中常用的技术方法。     

自拍相机运动手势交互界面的设计与实现

随着智能移动终端的发展及摄像镜头的小型化,自拍变得越来越流行。如何设计新型自拍交互方法使得用户在自拍过程中能够自由、实时地控制相机是自拍相机交互界面的关键问题。提出利用基于视觉的运动手势交互界面的新方法,使自拍过程中用户只要挥一挥手臂就可以实现与自拍相机的交互功能。使用手势交互的方法,用户可以把相机放在任意的平台上,自由地摆出各种自拍姿态,增加了自拍的丰富性,提高了用户体验。主要提出挥手及画圈两种交互手势,通过组合应用可以实现丰富高效的自拍交互控制功能,如快门控制、白平衡,曝光度等。手势的识别利用相机摄像的实时图像进行处理,采用稀疏光流算法来识别运动手势。用户评估实验表明,所提出运动手势自拍交互界面具有较好的交互效率以及良好的用户满意度,两种手势的识别效率约为85%。     

基于计算机视觉的手势检测识别技术

对以计算机视觉为基础的手势检测识别技术展开综述,回顾手势检测识别技术的发展过程,介绍该技术的研究难点和研究动态,在此基础上着重归纳以计算机视觉为基础的手势检测识别技术的主要过程,介绍手势识别的主要方法并分析该技术近年的发展趋势。     

基于视觉的动态手势识别概述

基于计算机视觉的动态手势识别是最直观、最自然的人机交互方式之一。简单回顾了手势识别技术的发展历程;从手势检测和分割、手势跟踪、特征提取和识别算法四个方面对动态手势进行阐述,梳理并归纳了几种代表性的算法,详细探讨了各算法的优缺点;介绍了动态手势识别的应用领域,并展望了今后的发展趋势。     

基于计算机视觉技术的手势识别方法

基于计算机视觉技术设计手势识别算法。采集手势图像并进行预处理,进行图像分割和特征提取,与已建立的手势模型库进行匹配,得到最终识别结果。实验证明该设计的手势识别系统能够识别基础的人机交互手势,识别准确率高,稳定性好。     

视觉手势识别综述

随着计算机视觉的发展和人机交互的需要,手势识别研究取得了蓬勃的发展。然而,很少有对手势识别进行全面分析、总结、评述的相关综述研究。 针对这一问题, 就基于计算机视觉的手势识别技术的发展现状展开综述, 系统地分析和梳理了近三十年来基于计算机视觉的手势识别技术,按照手势识别的流程,将手势识别分为检测分割、分析和识别3个主要步骤,并对每个步骤分别进行评述,总结归纳其适用范围及优缺点。最后对手势识别进行总结展望。     

基于计算机视觉的可变形手势跟踪算法改进研究

手势是人们最为常用的、最为自然的表达方式,人机交互的方式迎合了社会的需要。其成本低、适用性强、操作方便,也符合了人们的要求,得到了越来越广泛的关注。传统的手势跟踪算法仅停留在静态的手势跟踪上,当手势变形移动时,会导致跟踪目标从摄像头等设备的视野中消失,导致手势目标消失。本文对传统的CAMSHIFT算法进行了进一步的改进,并对可变形的手势图像的预处理及特征提取做出了研究。有效去除小的零值噪声点和提高了手势跟踪的准确率,这个算法对系统的资源要求不高,并且在仿真实验中有体现出了很好的鲁棒性。仿真实验表明,本文提出的方法有效的解决了一些不确定性问题,能够广泛应用。     

基于手机手势识别的媒体控制界面

提出一种能够识别通过手机示意的自然手势、进而控制媒体播放的通用型人机界面。用户通过挥动个人的手机表达操作意图,由手机内置三轴加速度传感器获取相应的手势数据,采用动态时间弯曲等多种算法对用户的手势进行识别,实现对多媒体播放的通用控制。实验结果表明,该界面对手机的几种通用手势均能获得较高的识别率,能在实际应用中对媒体进行简单、方便的控制。     

基于视觉的投影- 摄像机指尖触控系统

文章提出了一种基于视觉的投影交互方法,通过判断用户手指与其在屏幕上投射阴影的融合程度来检测投影屏幕上是否有触控事件发生。为提升系统的鲁棒性,在检测阶段,将手指与其阴影同时从相机图像中分割出来,进而采用一种线性模型判断方法来判定手指与其阴影的融合程度,如果判定触碰事件发生,则通过指尖位置检测来判断触控的具体位置。该方法不需要用户使用任何辅助工具,即可用手指在投影屏幕上直接与显示画面实现交互操作。     

Gesture Recognition Summarization

Gesture recognition is an important research in the field of human-computer interaction. Hand Gestures are strong variable and flexible, so the gesture recognition has always been an important challenge for the researchers. In this paper, we first outlined the development of gestures recognition, and different classification of gestures based on different purposes. Then we respectively introduced common methods used in the process of gesture segmentation, feature extraction and recognition. Finally, the gesture recognition was summarized and the studying prospects were given.     

融合手势识别和终端用户评估的交互控制

基于RGB图像的手势识别因其对设备要求低、采集数据方便等在人机交互领域得到广泛的应用.在RGB图像的手势识别与交互过程中,一方面由于RGB的手势图像在采集过程中存在光照影响导致利用肤色信息进行手势分割的效率较低,另一方面用户对交互手势的认知与设计师设计的手势有差异,导致用户交互体验反馈较差.针对这两个问题我们进行了系统性的优化:首先把用户的认知与交互手势设计原则联系起来建立手势共识集;其次进行手势图像的色彩平衡处理,利用椭圆肤色模型分割手势区域;然后将二值化手势图像输入到Mobile Net-V2轻量化卷积神经网络进行手势识别率的计算.手势的终端用户主观评价与手势识别技术结合可以较系统地为交互任务进行手势设计,减少用户在实际交互过程中的认知偏差,提高交互系统的可用性和效率.     

一种模型驱动的交互式信息可视化开发方法

设计与实现面向领域应用的交互式信息可视化软件十分困难.缺乏统一的开发方法与支撑工具箱,为非专家用户提供对层次、网络、多维等数据类型的统一支持,对各种可视化技术与交互技术的统一支持,以及对信息可视化任务的统一支持针对此问题,提出了一种模型驱动的交互式信息可视化开发方法Daisy.首先,提出了交互式信息可视化界面模型IIVM(interactive information visualization interface model);然后,提出了基于IIVM的交互式信息可视化开发方法Daisy,讨论了该方法的两个核心技术:IIVM建模与描述文件生成方法、系统自动生成方法.同时。给出了Daisy工具箱,包括Daisy建模工具、Daisy系统自动生成工具以及运行时框架与组件库.最后,给出了该开发方法与工具箱的应用实例.实例表明,该方法能够为交互式信息可视化开发的统一支撑方法问题提供一种有效的解决方案.     

动态手势理解与交互综述

近年来,手势作为一种输入通道,已在人机交互、虚拟现实等领域得到了广泛的应用,引起了研究者的关注.特别是随着先进人机交互技术的出现以及计算机技术(特别是深度学习、GPU并行计算等)的飞速发展,手势理解和交互方法取得了突破性的成果,引发了研究的热潮.综述了动态手势理解与交互的研究进展与典型应用:首先阐述手势交互的核心概念,...     

基于视觉的多特征手势识别

手势是一种自然直观的交互方式,基于视觉的手势识别是实现新一代人机交互的关键技术。本文在已有的手势识别技术基础上,从手势分割及手势表示两方面着手,提出了一种单目视觉下的手势识别方法。利用颜色特征检测肤色区域,成功分割出人手;利用人手的轮廓及凸缺陷检测指尖,再利用指尖的数目和方位来表示一个手势,进而结合轮廓长度和面积等几何特征完成手势识别。传统的指尖检测方法需要遍历并扫描手掌外轮廓,计算量大,本文通过凸缺陷检测指尖,减少了计算量,提高了指尖检测的速度。实验结果表明,本文的方法具有很好的鲁棒性及实时性,能适应环境的变化。     

MTBuilder:一个多触点交互桌面界面工具

针对基于WIMP范式的图形用户界面工具不能解决多触点交互桌面的多指手势识别、界面组件朝向等问题,提出基于自然用户界面通用隐喻OCGM(objects,containers,gestures and manipulations)的多触点交互桌面界面工具箱——MTBuilder.首先用层次化多触点数据表示模型存储多触点数据,然后对多指手势识别器进行动态管理以加速识别处理,最后基于OCGM设计并实现界面组件库.通过多人信息浏览、城市规划等原型系统的开发和实验评估可以看出,MTBuilder能够为交互桌面界面构造与快速原型系统开发提供强有力的支持.     

基于智能手机传感器与触摸屏的手势交互技术

由于以图像为手势信息载体的交互方式易受环境影响,设计实现了一种基于智能手机触摸屏与内置传感器的手势交互方案。首先通过手机内置MEMS传感器及触摸屏获取手势信息;然后分析手势的运动学特征,实时提取手势的信息(角速度、加速度、触摸屏数据),利用多变量决策树分类器完成对手势分类与识别;最后给出了一个原型系统。实验结果表明,该方案满足实时人机交互需求。     

连续形变图像的追踪识别算法及其在手势识别系统中的应用研究

提出了一种连续形变图像的追踪识别算法，通过引入网格等基本概念，建立了一套基本理论，通过揭示网格与连续形变之间的内在联系，避免了传统方法中复杂的拓扑分析．该算法把追踪与识别过程有机地统一起来，既具有一定的理论基础，叉可以灵活地满足工程中不同的精度需要．最后讨论了该算法在手势识别系统中的应用．实验表明，算法取得了令人满意的灵活性、适应性和时间复杂度．