MTBuilder:一个多触点交互桌面界面工具

针对基于WIMP范式的图形用户界面工具不能解决多触点交互桌面的多指手势识别、界面组件朝向等问题,提出基于自然用户界面通用隐喻OCGM(objects,containers,gestures and manipulations)的多触点交互桌面界面工具箱——MTBuilder.首先用层次化多触点数据表示模型存储多触点数据,然后对多指手势识别器进行动态管理以加速识别处理,最后基于OCGM设计并实现界面组件库.通过多人信息浏览、城市规划等原型系统的开发和实验评估可以看出,MTBuilder能够为交互桌面界面构造与快速原型系统开发提供强有力的支持.     

基于视觉的互动游戏手势界面工具箱

分析了视觉手势的交互特征,提出了非接触型设备交互模型,基于数据流图方法建立了支持连续信息输入的数据流模型来描述视觉手势信息的处理流程,基于"paint-view-correct"隐喻构建了手势界面开发工具IEToolkit.系统的主要特点包括:使用插件设计思想提供了可扩展的接口,方便开发人员对系统进行扩展:实现了对平台...     

基于多重触控的多通道视觉界面信息传达仿真

多通道视觉界面信息操作手势多样化,为满足不同用户需求,提出一种基于多重触控的多通道视觉界面信息传达方法.使用神经网络对原子手势建模,引入逻辑、时序和空间关系描述符分析组合手势架构,运用BP网络分类器检测原子手势,触发组合手势模型转移,实现多重触控手势识别;定义交互界面与程序主体功能不同路径,划分交互设备与信息处理过程,实现多通道信息整合与交互控制;最后将初始数据材料变换成信息模式,变量删除网络界面,把所有删除变量安置在删除树内组建连接树,将观测变量似然函数进行势更新,完成视觉界面信息传达全部过程.仿真结果表明,人机交互自然性有效提高,可为用户提供更加多元化网络服务.     

基于手势识别的人机交互技术

文章将现有人机交互方法与基于计算机视觉交互方法进行了对比,列举了该交互技术的优点及可行性,并提出了一种利用摄像头采集手势进行人机界面交互的方法,研究了并进一步实现了基于图像的手势分析、识别等关键技术.通过一系列实验结果表明,基于文中技术实现的一套系统能够实时地跟踪手的运动,并识别出手势结果,实现实时的人机手势交互.     

基于自然手势跟踪的直接操作型三维人机交互范式

针对自然手势单通道条件下建立统一交互模型的难点问题和关键问题,该文提出一种基于二级行为模型的3D手势跟踪和交互方法,实现了一种基于自然手势的直接操作型3D人机交互界面范式原型系统.首先,建立了二级行为模型,然后,以行为模型为基础,设计并实现了一种基于行为模型的三维人机交互界面范式.文中主要创新点在于:建立了基本手势库的二级行为模型;用"令牌环"技术捕捉用户的交互意图;建立"多选一"的交互模型;用"替身"技术解决人手模型与不同物体的抓取过程中的多样性和复杂性问题,建立了抓取和释放操作的统一范式并提出了相关算法.文中算法在多个交互型虚拟装配平台上得到了验证.实验结果表明,与现有相关算法相比较,文中算法在时间开销和跟踪精度等方面得到了明显改善.     

适用于机器人视觉的手势识别系统

手势是一种高效的人机交互和设备控制的方式,基于视觉的手势识别是人机交互、模式识别等领域的一个富有挑战性的研究课题。文章提出并实现了一个可用于与机器人交互的静态手势检测和识别系统。该系统用摇动检测的方法定位人手;用基于现场采样得到的肤色模型进行手的分割;用简化并改进的CAMSHIFT算法对手势进行跟踪;最后用模式识别的方法提取简单特征进行识别。实验证明,该系统快速、稳定而有效。     

面向智能电视的隐式手势交互建模与算法

针对基于视觉的智能电视手势交互中用户认知负荷和操作负荷较重的问题,提出融合显式交互和隐式交互的手势交互算法.通过对基于视觉的智能电视手势交互场景分析,首先建立了基于用户行为和智能电视状态的多层次上下文模型,实现上下文的数据融合与特征提取;其次设计并实现了CDL-DFCM推理模型和显隐信息融合的隐式交互模型,识别交互情景事件并感知用户意图;最后实现用户与智能电视的隐式交互.实验结果表明,与现有算法相比,该算法在操作准确率、时间开销和手势移动距离等方面得到了明显改善,并有效地提升了用户体验.     

UIDT:一种基于摄像头的用户界面模型

为了弥补WIMP界面模型对视觉交互描述的不足,提出一种基于视觉交互的用户界面模型．首先在分析和总结视觉交互过程的基础上,以活动理论为基础,提出一种以用户为中心、面向任务和基于事件驱动的用户界面模型;然后描述了该模型的组成结构及其相互关系;最后给出了一个基于此模型的视频手势交互系统实例．实验结果表明,该模型能够有效地支持视觉交互设计,使用户界面满足可用性要求．     

基于自适应遗传算法的手势识别

基于小样本库的手势识别是先进人机交互研究中的一个重要分支.根据Tortoise人手模型训练手势模式库并结合交互者的具体手部特征进行手形训练,生成适用于特定交互者的手势模式库.在交互过程中,根据来自一个或多个同步摄像头的视频信息进行基于自适应遗传算法的手势识别.实验结果表明,在环境光照基本稳定的条件下,文中算法可以实现鲁棒的实时手势识别.     

基于傅立叶描述子和HMM的手势识别

针对家庭服务机器人平台中人机交互的问题,提出基于视觉的手势识别作为人与机器人交互的方式,研究利用傅立叶描述子对手势形状进行描述,并结合支持向量机和隐马尔可夫模型分别对静态手势和动态手势进行分类,实现了静态手势和动态手势的识别。该系统基于新型传感器Kinect,在图像分割阶段结合图像深度信息,可以有效的将手势区域提取出来,在一定范围内具有较强的鲁棒性,特征提取阶段基于傅立叶描述子,使手势识别具有旋转、缩放、平移不变性。针对七种常见静态手势和四种动态手势进行测试,平均识别率分别达到98.8%和96.7%,实验结果表明该系统具有较高的准确度。