MTBuilder:一个多触点交互桌面界面工具

针对基于WIMP范式的图形用户界面工具不能解决多触点交互桌面的多指手势识别、界面组件朝向等问题,提出基于自然用户界面通用隐喻OCGM(objects,containers,gestures and manipulations)的多触点交互桌面界面工具箱——MTBuilder.首先用层次化多触点数据表示模型存储多触点数据,然后对多指手势识别器进行动态管理以加速识别处理,最后基于OCGM设计并实现界面组件库.通过多人信息浏览、城市规划等原型系统的开发和实验评估可以看出,MTBuilder能够为交互桌面界面构造与快速原型系统开发提供强有力的支持.     

基于手势识别的人机交互发展研究

近年来手势识别技术的快速发展,基于手势识别技术的人机交互应用系统的建立使得人机交互的发展前景广阔.从手形、手势和手形手势的建模出发,介绍了模板匹配、特征提取、神经网络和隐马尔可夫模型4种手势识别的方法,并且综述了基于手势识别技术人机交互的发展,详细介绍了3类人机交互系统：漫游型系统、编辑型系统和操作型系统.     

复杂背景下基于傅立叶描述子的手势识别

人的手势是人们日常生活中最广泛使用的一种交流方式。由于在人机交互界面和虚拟现实环境中的应用,手势识别的研究受到了越来越广泛的关注。但是目前基于单目视觉的手势识别技术中,手势分割要求背景简单或者要求识别者戴着笨重的数据手套。而该文结合了运动信息和基于KL变换的肤色模型,在复杂背景下进行手势分割,与传统的基于RGB肤色模型的手势分割相比,在复杂背景环境下得到了很好的分割效果。在对分割的手势区域进行预处理后,该文使用了一种归一化的傅立叶描述子进行手势的特征提取,相比传统的傅立叶描述子更加准确,最后采用了传统的三层BP网络作为模式识别器,手势训练集和测试集的识别率分别达到了95．9％和95％。     

三维手绘CAD系统的设计与表达

描述了一个基于手绘草图的三维设计系统,并给出了该系统的体系结构．该系统采用以草绘手势规则和草图语义自动机为基础的设计与表达的思路,描述了草图语义的获取、表达和理解方法,从而较好地支持了早期的三维产品概念设计．该系统以手写笔和手写板为交互输入设备,能够自然、高效地进行一些复杂的三维实体和三维场景设计．     

基于力度无关鲁棒特征的肌电手势识别方法

为了减小肌肉收缩力变化对肌电信号模式识别的影响,提出了DCSP特征。该特征首先通过CSP算法得到最大化类与类之间距离的空间投影矩阵,然后对投影后的新信号进行差分和归一化处理,最终通过非相关线性判别分析将数据投影到类内距离最小、类间距离最大的低维空间而得到。在两个数据集上验证基于DCSP特征的肌电手势识别正确率,第1个数据集包含10名完整肢体受试者的数据,第2个数据集包含9名上肢截肢者的数据。在识别率测试的4个方案中,DCSP特征的识别正确率均高于CSP特征,在全部力训练,全部力测试的方案上取得最高的识别率(数据集1:95.83%,数据集2:86.93%),相比CSP特征(数据集1:89.01%,数据集2:70.03%),分类准确率分别提升6%和16%。在特征空间分布的2个测试方案上,DCSP特征比CSP特征都具有更小的类内距离和更大的类间距离。相比较于其他研究的识别正确率,DCSP特征比现有的力度鲁棒特征提升了约5%(数据集1)和8%(数据集2),并且性能不依赖于分类器类型。     

利用双目视觉视频的实时三维裸手手势识别

为了解决三维裸手手势识别算法识别率低、易受类肤色物体干扰的问题,提出一种利用双目视觉视频的三维裸手手势识别算法．首先依据双目视觉原理推导出三维空间内手势深度与手势面积的关系,基于此关系对三维手势进行快速识别．为进一步降低算法复杂度,根据极线约束规则提出一种只计算手势质心匹配点的立体匹配算法．实验结果表明,与现有算法相比,所提算法性能在处理速度、识别准确率、鲁棒性方面均有明显提高．同时,提出的算法具有较强的开放性,可进一步根据需求定义、添加需识别的三维手势．     

结合手势二进制编码和类-Hausdorff距离的手势识别

针对目前动态手势识别方法受手势旋转、平移、缩放的影响,并解决手势识别的实时性问题,提出一种基于手势二进制编码和类-Hausdorff距离模板匹配的手势识别方法.首先,把分割好的手势图像进行标准化处理,求出标准化图像中的手势主方向,建立二维手势直角坐标系,提取空间手势特征;其次,根据前五帧手势图像中手势像素点个数的变化量识别出动态手势类型;然后,用手势二进制描述子从动态手势类型中再筛选出可能的候选手势集合;最后,用类-Hausdorff距离模板匹配方法从候选手势集合中识别出最终手势.主要创新点在于：提出的动态手势类型识别和手势二进制描述子匹配的方法,大大缩短了动态手势识别的时间;提出的结合手势主方向的类-Hausdorff距离方法,不仅对旋转、平移和缩放手势具有不变性,而且对区分度较小的手势也具有较高的识别准确率.实验结果表明,在光照相对稳定的条件下,该方法能够实时准确的实现动态手势识别,总体识别率达到95%以上,对发生缩放的手势识别率能达到92%以上,对发生旋转的手势识别率能达到87%以上.本文算法已经在一个基于手势的人机交互界面中得到应用.     

基于CM-DTW算法的智能手机动态手势身份认证

针对DTW算法在手势身份认证中存在的问题，提出了一种基于约束多维DTW算法（Constraints Multi-dimension Dynamic Time Wrapping，CM-DTW）的智能手机动态手势身份认证方法.该方法利用手机内置传感器获取代表用户生物行为特征的手势数据，通过Sakoe-Chiba窗约束下的DTW算法选择合法用户的候选模板集，采用线性升降采样归一化候选模板得到一个标准模板.该方法与DTW算法相比，不仅提高了身份认证的时间效率，并且保证了用户身份认证的准确率.     

基于RBF神经网络的人体运动跟踪与姿态预测

本文采用径向基函数神经网络进行人体运动跟踪与人体姿态预测，利用采集的运动数据对本文提出的运动跟踪与姿态预测方法进行性能评估，给出部分测试和比较实验结果，实验结果表明，基于径向基函数神经网络的人体运动跟踪与人体姿态预测方法是可行的。     

面向肌电信号的虚拟现实提线木偶动画研究

泉州提线木偶属于首批中国非物质文化遗产，是中华传统文化的实现形式之一.然而，由于木偶体积庞大，携带与操作不便，直接限制了其受众群体.为了实现提线木偶的有效传承与保护，设计了基于手势识别的虚拟现实提线木偶动画方案，构建了基于MYO臂环肌电信号的人体生理信号控制动画原型系统，应用两个用户实验验证了算法的高精确性与易操控性.首先，通过低通滤波与平滑实现多通道肌电信号数据的信号处理.其次，提取八通道时域特征与时频域特征，并通过线性判别器将其降维为六维特征向量，实现特征间关联性消除与算法鲁棒性增强.最后，构造多分类支撑向量机实现特征向量，确定手势识别结果.实验验证算法离线动作平均识别准确率为95.59%，实时动作平均识别准确率达到90.75%，在1.1s左右完成手势识别.面向提线木偶任务，构造了两个用户体验任务，普通用户人群中，木偶动作识别率较高，用户使用意愿、易学性等方面，系统性能亦显著高于真实木偶操控；专业用户在承认系统可用性的同时，具有较高的接受度.用户任务表明该设计满足了手势识别实时性和准确性的要求，具有良好的交互性和趣味性.相关研究可以广泛地应用于计算机动画等类似的系统，对于体验和保护提线木偶具有现实意义.