基于用户行为分析的手势跟踪方法

人手结构的高维性而导致粒子滤波跟踪方法中采样数目非常庞大,是实现运动人手的实时性跟踪研究的主要障碍之一.以降低粒子数目为目标,以行为分析和建模为切入点,提出一种手势跟踪方法.首先分析操作者在手势操作过程中的行为特征,建立人手运动的动态模型;其次,研究动态模型的基本特征,并给出一种描述方法;然后,建立人手运动的时段模型,分析了手势状态的时间-空间关系.在此基础上,提出了状态变量微观结构的概念,重点给出了基于状态变量微观结构的手势跟踪算法;最后,设计和完成了实验,并与相关参考文献方法的实验结果进行对比.结果表明,采用该算法,用少量粒子就可以得到比较精确的跟踪结果.提出的核心算法已经用于一个基于自然手势交互的三维虚拟装配原型系统.     

沉浸式所触即所得网络可视分析方法

沉浸式网络可视化在空间沉浸、用户参与、多维感知等方面具有天然的优势。受用户与日常物体交互方式所启发,基于所触即所得(WYTIWYG)的理念提出一种沉浸式网络可视分析方法来挖掘网络特征和关联模式。首先提出手势舒适度评估模型来指导手势动作设计,并引入窗口状态模型来优化手势识别稳定性。此外,将网络分析交互需求与手势动作语义绑定,定义沉浸式网络手势交互范式。与真实世界中抓取交互类似,用户可利用自然交互手势在沉浸式环境下执行移动、高亮、布局维度变换、边绑定等操作。最后,案例研究验证了方法的有效性。     

面向智能电视的隐式手势交互建模与算法

针对基于视觉的智能电视手势交互中用户认知负荷和操作负荷较重的问题,提出融合显式交互和隐式交互的手势交互算法.通过对基于视觉的智能电视手势交互场景分析,首先建立了基于用户行为和智能电视状态的多层次上下文模型,实现上下文的数据融合与特征提取;其次设计并实现了CDL-DFCM推理模型和显隐信息融合的隐式交互模型,识别交互情景事件并感知用户意图;最后实现用户与智能电视的隐式交互.实验结果表明,与现有算法相比,该算法在操作准确率、时间开销和手势移动距离等方面得到了明显改善,并有效地提升了用户体验.     

以多模型融合为特征的三维手势跟踪算法

三维手势跟踪是基于手势交互中的一个基础性研究课题,要实时、高精度地实现三维手势跟踪是一个具有挑战性的热点问题.为提高三维人手跟踪的精确度,提出一种基于多模型融合状态预测的粒子滤波跟踪算法.首先通过对基于数字手套的虚拟烤箱系统进行实验,结合人手的行为理解和描述建立了基于认知实验的人手运动状态预测模型;其次对人手跟踪过程中的数据建立人手运动模型,将Sigma点原理应用到人手模型数据上,得到基于局部分析预测模型;最后将这2个模型按照其与当前帧图像的相似度进行融合,得到粒子滤波过程中的状态预测模型.与退火算法相比较的实验结果表明,在运行时间基本相同的情况下,该算法通过改善粒子滤波过程中状态预测的精度提高了人手跟踪过程中的精度.     

概念设计中基于笔式手势的交互计算研究

基于笔式手势的自然交互是支持概念设计创新的有效方式.提出了一种笔式手势的层次概念模型,结合基于约束的自由勾画和上下文感知技术描述了手势设计方式,进一步讨论了手势内部的约束建立和求解算法;基于手势应用的范式,给出了概念设计中特征手势建模的应用实例,通过与传统建模和交互方式的对比,验证了特征手势建模的方便性.给出一个自然、高效的方法,以基于手势的方式来完成概念设计构思过程,采用笔式交互快速自然地记录下设计思路,所实现的系统方便了用户的创新设计,改善了人机交互模式.     

基于视觉的手势界面关键技术研究

针对视觉手势界面存在的问题,提出了一套行之有效的解决方案.首先,为了解决视觉手势交互中的MidasTouch问题,以人类注意的信息加工模型为理论依据提出了一个可扩展的视觉手势交互模型,该模型将手势交互过程分为选择性处理、分配性处理和集中处理3个不同阶段;然后,基于该模型提出了一个视觉手势识别框架,并结合认知心理学从手势检测、跟踪和识别3个方面对该框架的各个组成模块的关键技术进行了阐述,其中手势检测模块和识别管理模块能够辅助系统在复杂的背景中滤除掉不相关信息而选择性地搜索人手并根据上下文信息对手势识别任务重定向,从而避免了系统时刻都处于激活状态并对所有的手势动作都进行识别分析,有效解决了Midas Touch问题.文中介绍了使用该方法实现的IEToolkit手势界面工具平台,并基于一个视觉手势交互系统进行了实验测试与评估,结果验证了文中方法的可用性.     

基于Leap Motion的三维手势交互系统研究

手势识别的快速发展及体感设备的不断更新为三维手势交互提供了灵感,基于Leap Motion 手势识别和最邻近算法,建立了一种三维手势交互系统。首先对手势设计理论和交互手 势设计原则进行研究,基于此设计手势功能和建立手势库,并将手势库分为 8 种手势;其次进 行手势特征提取,建立手指关键点模型,获取手势特征的角度特征;然后计算 KNN 算法和 SVM 算法的手势识别效率,KNN 改进算法取得较好的识别效率;最后,设计三维交互系统,手势分 类为 4 个模块,每个模块有 2 个手势任务;20 名测试者中提取 1 600 组手势数据,并进行总采 集样本关节点均值的数据分析;设计三维交互系统模块,在 Unity3D 中创建的三维交互系统中 导入 1 600 组手势数据,根据自定义的 8 种手势驱动虚拟手完成交互设计过程,完成用户体验 分析和手势识别效率统计。通过研究发现,基于 Leap Motion 手势识别具有较高的识别效率, 三维手势交互系统富有创新性。     

Post-WIMP环境下笔式交互范式的研究

提出了一种在Post-WIMP环境下的笔式交互范式：PIBG．PIBG范式采用纸笔隐喻，与WIMP范式相比，承载应用信息的交互组件由Window变为Paper和Frame，用户的交互动作由鼠标的点击变为笔的手势．对PIBG范式中静态的界面形式和动态的交互手势进行了研究和设计．结合认知心理学，从信息呈现和交互方式两个方面对该范式的特点进行了阐述．利用GOMS模型，从界面呈现方式、手势的效率、用户满意度三个方面对该范式进行了心理学评估．从评估结果可以看出，PIBG范式通过模拟日常纸笔环境，利用用户原有的知识，可以明显地减轻认知负担，提高操作效率．     

MTBuilder:一个多触点交互桌面界面工具

针对基于WIMP范式的图形用户界面工具不能解决多触点交互桌面的多指手势识别、界面组件朝向等问题,提出基于自然用户界面通用隐喻OCGM(objects,containers,gestures and manipulations)的多触点交互桌面界面工具箱——MTBuilder.首先用层次化多触点数据表示模型存储多触点数据,然后对多指手势识别器进行动态管理以加速识别处理,最后基于OCGM设计并实现界面组件库.通过多人信息浏览、城市规划等原型系统的开发和实验评估可以看出,MTBuilder能够为交互桌面界面构造与快速原型系统开发提供强有力的支持.     

一种面向实时交互的变形手势跟踪方法

变形手势跟踪是基于视觉的人机交互研究中的一项重要内容.单摄像头条件下,提出一种新颖的变形手势实时跟踪方法.利用一组2D手势模型替代高维度的3D手模型.首先利用贝叶斯分类器对静态手势进行识别,然后对图像进行手指和指尖定位,通过将图像特征与识别结果进行匹配,实现了跟踪过程的自动初始化.提出将K-means聚类算法与粒子滤波相结合,用于解决多手指跟踪问题中手指互相干扰的问题.跟踪过程中进行跟踪状态检测,实现了自动恢复跟踪及手势模型更新.实验结果表明,该方法可以实现对变形手势快速、准确的连续跟踪,能够满足基于视觉的实时人机交互的要求.     

虚拟制造环境中虚拟手的行为构造

为了实现虚拟制造环境中智能高效的虚拟手,改善目前主流的依赖对用户手抓握动作跟踪的状况,提出一种适用于虚拟制造环境的虚拟手自主行为构造方法.通过在虚拟手结构模型上增加感知环设计,构建虚拟手的感知能力;结合文中提出的虚拟手三阶段感知算法实现虚拟手的自适应行为机制,极大地减轻了操作者的认知和操作负载;通过构造虚拟手手势集和手势状态转换模型,实现了虚拟手在复杂零件表面的连续抓握操作.文中还重点研究了复杂零件表面虚拟手的连续抓握的行为机制和相关算法.实验结果表明,文中的虚拟手具有很好的几何真实感和行为真实感;提出的方法具有良好的可用性、可靠性和实时性.     

基于视觉的互动游戏手势界面工具箱

分析了视觉手势的交互特征,提出了非接触型设备交互模型,基于数据流图方法建立了支持连续信息输入的数据流模型来描述视觉手势信息的处理流程,基于"paint-view-correct"隐喻构建了手势界面开发工具IEToolkit.系统的主要特点包括:使用插件设计思想提供了可扩展的接口,方便开发人员对系统进行扩展:实现了对平台...     

实物交互在言语康复训练中的应用

为解决传统基于WIMP界面范式的言语康复训练系统难以被人工耳蜗植入(CI)儿童熟练掌握和使用等问题,提出基于实物交互的言语康复训练系统.采用Kinect跟踪CI儿童易操作的玩偶来实现人机交互,并针对玩偶较小的特点对实物跟踪算法进行优化;通过该算法并结合CI儿童典型的言语康复训练过程,设计并实现了相应的言语康复训练任务.通过CI儿童的使用情况和康复训练师的问卷调查.证明了文中系统的可行性和有效性.     

基于手势识别的人机交互技术

文章将现有人机交互方法与基于计算机视觉交互方法进行了对比,列举了该交互技术的优点及可行性,并提出了一种利用摄像头采集手势进行人机界面交互的方法,研究了并进一步实现了基于图像的手势分析、识别等关键技术.通过一系列实验结果表明,基于文中技术实现的一套系统能够实时地跟踪手的运动,并识别出手势结果,实现实时的人机手势交互.     

基于混合现实交互界面的下颌运动仿真系统

针对传统医学可视化仿真系统中交互界面和交互技术的缺点,基于视觉跟踪技术采用实物模型设计和实现了一个基于混合现实界面的下颌运动仿真系统。通过对物理界面元素、虚拟界面元素以及交互隐喻的分析,为混合现实环境下的交互技术建立了一个具有通用性的分类体系。物理与虚拟的界面元素之间通过语义映射将用户的操作从物理世界映射到虚拟空间中,从而为用户提供一种更为直观、自然的交互方式。     

基于混合自动机的Post-WIMP界面的建模

Post-WIMP界面作为继当前的主流界面范式——WIMP界面后的下一代界面范式,它和WIMP界面有着很大的不同,通过使用虚拟现实、语音交互、手势交互等技术,它能够提供更加自然高效的交互方式.然而,它却难以构造.为了有效地构造Post-WIMP界面,在构造之前不考虑实现细节,而在一个抽象的层次上描述它是一个较好的方法.首先,分析了Post-WIMP界面的交互本质,交互混合性是Post-WIMP界面一个最为重要的特点.从形式化系统的角度分析Post-WIMP界面,通过将Post-WIMP界面抽象为混合系统能够更为准确和严格地分析Post-WIMP界面的特性.混合自动机是用于描述混合系统的形式化工具,将Post-WIMP界面建模为一组相互协作的混合自动机.设计了一基于混合自动机理论的半形式化语言LEAFF作为Post-WIMP界面的描述工具.LEAFF通过结合文本描述和图形描述描述Post-WIMP界面中的交互行为,能够准确地反映交互中的控制关系、时序关系.给出了对两个典型Post-WIMP界面——虚拟现实交互和笔式交互的描述实例,同时讨论了Post-WIMP界面中交互并行性的描述、交互实时性的验证和从描述到实际交互系统构造的转换.     

基于优化目的的人机界面知识化表示方法

对一种新的人机界面操作和交互行为的知识化表示方法进行了介绍和分析。以语义网络为基础,通过对人在界面操作中的知识作业过程及交互行为进行分析研究,建立了一种带距离标识的基于面向对象的语义网络的界面知识化表示方法,提供了人机界面特征集定义、推理规则和交互描述模型。该表示方法从界面语义模型和心理语义模型的角度描述了交互,能够正确地描述人机界面的语义知识特征。并以手机短信界面为例说明了该方法的有效性和必要性。     

基于手绘草图的概念设计工具研究与设计*

从认知心理学的角度,研究了概念设计的过程,探讨性地指出辅助设计工具应当以灵感为中心。阐述了适合概念设计过程的新的设计方法和交互技术,并介绍了基于手势的草图技术及新一代交互范式——PIBG交互范式。全面分析了约束捕捉、约束求解等关键问题,最后在此基础上给出智能图板系统的设计与实现,为用户提供了一种自然和谐的界面。     

基于传感器多模式调度的智能目标跟踪算法

智能目标具有反跟踪的特性,其运动状态的改变与跟踪传感器的工作模式相关.为了实现对智能目标的有效跟踪,文中提出一种基于传感器多模式调度的交互多模型跟踪算法.首先,为智能目标构建混合多模型集,描述其与传感器模式相关的智能运动特性;其次,提出一种传感器多模式调度策略,综合考虑了一步预测的目标跟踪误差、二步预测的目标运动趋势误差以及传感器模式的辐射代价3方面因素,据此构建传感器多模式调度的目标函数;最后,将传感器多模式调度与交互多模型跟踪算法相结合,通过"模式调度→交互跟踪→模式调度"的闭环结构,提高了对智能目标跟踪的自适应性.仿真结果表明,与选择固定传感器模式的方法和基于近视策略的传感器模式调度方法相比,文中方法实现了对智能目标的持续精确跟踪.     

基于多重触控的多通道视觉界面信息传达仿真

多通道视觉界面信息操作手势多样化,为满足不同用户需求,提出一种基于多重触控的多通道视觉界面信息传达方法.使用神经网络对原子手势建模,引入逻辑、时序和空间关系描述符分析组合手势架构,运用BP网络分类器检测原子手势,触发组合手势模型转移,实现多重触控手势识别;定义交互界面与程序主体功能不同路径,划分交互设备与信息处理过程,实现多通道信息整合与交互控制;最后将初始数据材料变换成信息模式,变量删除网络界面,把所有删除变量安置在删除树内组建连接树,将观测变量似然函数进行势更新,完成视觉界面信息传达全部过程.仿真结果表明,人机交互自然性有效提高,可为用户提供更加多元化网络服务.