基于线性判别分析和自适应K近邻法的手势识别

基于小容量数据集的手势识别是人机交互技术研究中的一个重要课题。本文提出了一种基于线性判别分析和自适应K近邻法的手势识别方法。首先,应用高斯背景建模方法从包含目 标交互者的训练视频集中提取各类手型图像,并调整到相同尺度来构建手势训练集。然后,通过改进的线性判别分析对训练数据进行特征提取。最后提出一种自适应K近邻法对实时交互过程中得到的手型信息进行分类和识别。应用上述方法自建小型手势库进行实验和比较分析,结果显示与现有的手势识别算法相比,本文方法具有更高的识别率。     

基于Leap Motion的三维手势交互系统研究

手势识别的快速发展及体感设备的不断更新为三维手势交互提供了灵感,基于Leap Motion 手势识别和最邻近算法,建立了一种三维手势交互系统。首先对手势设计理论和交互手 势设计原则进行研究,基于此设计手势功能和建立手势库,并将手势库分为 8 种手势;其次进 行手势特征提取,建立手指关键点模型,获取手势特征的角度特征;然后计算 KNN 算法和 SVM 算法的手势识别效率,KNN 改进算法取得较好的识别效率;最后,设计三维交互系统,手势分 类为 4 个模块,每个模块有 2 个手势任务;20 名测试者中提取 1 600 组手势数据,并进行总采 集样本关节点均值的数据分析;设计三维交互系统模块,在 Unity3D 中创建的三维交互系统中 导入 1 600 组手势数据,根据自定义的 8 种手势驱动虚拟手完成交互设计过程,完成用户体验 分析和手势识别效率统计。通过研究发现,基于 Leap Motion 手势识别具有较高的识别效率, 三维手势交互系统富有创新性。     

基于随机投影的加速度手势识别

针对手势交互中手势信号的相似性及不稳定性,设计并实现了一种基于随机投影(RP)的加速度手势识别方法.识别系统包含训练阶段和测试阶段:训练阶段运用动态时间规整(DTW)和近邻传播(AP)算法对训练集中的每一个手势迹创建样本中心;测试阶段先通过计算未知手势迹与样本中心的距离找出候选姿势迹,然后用RP算法将候选手势迹和未知手势迹投影到低维子空间,把识别问题转换成l₁-minimization问题来对未知的手势迹进行识别.在采集的2400个数据样本上进行了基于特定人和非特定人的实验,结果表明所提算法分别取得了98.41%和96.67%的识别率,该方法能够有效识别加速度手势动作.     

虚拟维修仿真中手势识别的研究与应用

虚拟维修训练仿真要求良好的逼真性和沉浸感,对训练操作者的动作意图能高效地转化.将手势识别技术应用于虚拟维修仿真作为的获取可以有效满足这种要求.通过装备维修动作的建模研究分析定义了能够体现动作意图的必需手势;之后采用模糊神经网络技术实现对手势的识别并建立基于手势识别的虚拟手交互控制机制.还重点对神经网络的构建以及学习算法进行了介绍,并在现有适用度计算方法的基础上结合网络实际提出了适用度的平均求解法.最后将基于手势识别的虚拟手交互控制方法应用于具体维修训练仿真中并证明了方法的可行性和高效性.     

基于视觉的手势界面关键技术研究

针对视觉手势界面存在的问题,提出了一套行之有效的解决方案.首先,为了解决视觉手势交互中的MidasTouch问题,以人类注意的信息加工模型为理论依据提出了一个可扩展的视觉手势交互模型,该模型将手势交互过程分为选择性处理、分配性处理和集中处理3个不同阶段;然后,基于该模型提出了一个视觉手势识别框架,并结合认知心理学从手势检测、跟踪和识别3个方面对该框架的各个组成模块的关键技术进行了阐述,其中手势检测模块和识别管理模块能够辅助系统在复杂的背景中滤除掉不相关信息而选择性地搜索人手并根据上下文信息对手势识别任务重定向,从而避免了系统时刻都处于激活状态并对所有的手势动作都进行识别分析,有效解决了Midas Touch问题.文中介绍了使用该方法实现的IEToolkit手势界面工具平台,并基于一个视觉手势交互系统进行了实验测试与评估,结果验证了文中方法的可用性.     

融合手势识别和终端用户评估的交互控制

基于RGB图像的手势识别因其对设备要求低、采集数据方便等在人机交互领域得到广泛的应用.在RGB图像的手势识别与交互过程中,一方面由于RGB的手势图像在采集过程中存在光照影响导致利用肤色信息进行手势分割的效率较低,另一方面用户对交互手势的认知与设计师设计的手势有差异,导致用户交互体验反馈较差.针对这两个问题我们进行了系统性的优化:首先把用户的认知与交互手势设计原则联系起来建立手势共识集;其次进行手势图像的色彩平衡处理,利用椭圆肤色模型分割手势区域;然后将二值化手势图像输入到Mobile Net-V2轻量化卷积神经网络进行手势识别率的计算.手势的终端用户主观评价与手势识别技术结合可以较系统地为交互任务进行手势设计,减少用户在实际交互过程中的认知偏差,提高交互系统的可用性和效率.     

基于YOLOv3的手势识别算法

随着手势识别技术和人机交互技术的不断进步,出现了很多人机交互的汽车控制方式。手势交互具有便捷、直观、形象的特点,能够改善传统的方向盘控制模式。基于此,设计基于YOLOv3的手势识别算法。该算法通过优化训练方式调整非极大值抑制（Non-Maximum Suppression,NMS）阈值,进一步提高了手势识别算法的性能。     

复杂背景下的手势分割与识别

目前在基于单目视觉的手势识别中,手势分割技术几乎都是基于简单的背景或者要求 手势者带有特殊颜色的手套,给人机交互增加了一定的限制.本文融合人手颜色信息和手势运 动信息,两次利用种子算法对复杂背景下的手势进行分割.根据分割出的手区域大大加速了运动 特征参数的提取,并结合手区域的形状特征,建立手势的时空表观模型.识别时,采用独立分布的 多状态高斯概率模型,进行时间规整.手势训练集和测试集的识别率分别为97.8%和95.6%.     

基于DTW的交警指挥手势识别方法

对于日益成熟的无人驾驶技术,如何快速准确地识别交警的手势成为无人驾驶领域中一个重要的研究内容。本文提出一种基于DTW算法的交警指挥手势识别方法。首先,使用Kinect传感器获取人体关节点数据并根据交警手势特点进行预处理,建立训练模板库;接着深入分析了该模板库的两个特征：类内高内聚性和类间低耦合性,由此给出交警指挥手势识别的实现步骤。实验结果表明,该方法能自动识别各种交警指挥手势,具有识别准确度较高、实时性较强、稳定性好的特点。     

连续交互空间下的混合手势交互模型

分析了触控交互技术在移动手持设备及可穿戴设备应用的应用现状及存在的问题;基于交互动作的时间连续性及空间连续性,提出了将触控交互动作的接触面轨迹与空间轨迹相结合,同时具有空中手势及触控手势的特性及优点的混合手势输入方法;基于连续交互空间的概念,将混合交互手势,空中手势、表面触控手势进行统一,建立了包括空中层、表面层、混合层的连续交互空间分层处理模型;给出了统一的信息数据定义及数转换流程;构建了通用性的手势识别框架,并对轨迹切分方法及手势分类识别方法进行了阐述.最后设计了应用实例,通过实验,对混合交互手势的可用性及连续空间分层处理模型的可行性进行了验证.实验表明,混合手势输入方式同时兼具了表面触控输入及空中手势输入的优点,在兼顾识别效率的同时,具有较好的空间自由度.     

Post-WIMP环境下笔式交互范式的研究

提出了一种在Post-WIMP环境下的笔式交互范式：PIBG．PIBG范式采用纸笔隐喻，与WIMP范式相比，承载应用信息的交互组件由Window变为Paper和Frame，用户的交互动作由鼠标的点击变为笔的手势．对PIBG范式中静态的界面形式和动态的交互手势进行了研究和设计．结合认知心理学，从信息呈现和交互方式两个方面对该范式的特点进行了阐述．利用GOMS模型，从界面呈现方式、手势的效率、用户满意度三个方面对该范式进行了心理学评估．从评估结果可以看出，PIBG范式通过模拟日常纸笔环境，利用用户原有的知识，可以明显地减轻认知负担，提高操作效率．     

城市道路交通事故信息系统空间数据库设计

有效的空间数据库存储结构是实现以集成型数据管理方式为基础的应用系统的关键问题之一.它将决定整个系统的功能和效率.按照为用户的数据视图建模、定义实体及其关系、选择地理表达方式、匹配到Geodatabase元素、组织Geodatabase结构和制定数据库存储方案等六个步骤对城市道路交通事故信息系统之空间数据库进行了规范化设计.设计所得的空间数据库接近于其逻辑数据模型.分析结果表明,该设计方法有利于优化实现城市道路交通事故信息系统的系统功能.     

基于多源信息融合的手势智能交互系统

利用表面肌电信号（surface ElectroMyoGraphy， sEMG）设计了一个提高分类准确性和快速性的识别系统，用于捕获手势动作并进行人机交互.首先，基于无线肌电测量系统和飞行器自主搭建了智能交互平台；接着，采用滑动时间窗的方法对原始sEMG信号设计短时能量阈值进行信号活动段始末点的确定，从而抑制了动作刚执行时趋势段对识别结果的影响；然后，利用时域统计分析对sEMG信号进行特征分析，并提出了一种融合加速度特征信息和sEMG信号的方法来建立5种手势的分类模型.与仅使用sEMG信息源的方式相比，此方法提高了识别准确率.最后，手势控制飞行器运动的实验证明了本方法的可行性和有效性.     

Information Filtering Using User's Context on Browsing in Hypertext

Browsing is one of the most popular ways to gather information in database with hypertext structure. In order to support a user to browse, modeling of the user's interests is one of the most important issues. Although there are several promising methods to infer the interests from the user's browsing behavior, they assume that the interests are consistent during the browsing. However, the user's interests are often strongly dependent on the local context of the browsing. This paper describes a method to model the user's shifting interests from the browsing history. An information filtering method using the model of the interests has been implemented. We call it ‘context-sensitive filtering’. The results of an experimental evaluation, by real users' browsing for an encyclopedia in CD-ROM format, are also reported. This revised version was published online in July 2006 with corrections to the Cover Date.     

一种基于手绘草图的三维建模方法研究

研究一种基于手绘草图进行三维建模的方法。将用户界面分为手势区、轮廓区、控制区、信息提示区等。根据手势区输入的手势以及控制区输入的控制信息,对轮廓区输入的二维信息构建三维模型。采用模板匹配的方法识别用户手势,采用容差环的方法识别用户输入的物体轮廓,根据生成的三维数据之间的分层信息构建物体表面三角网格,对物体进行三维建模。     

基于XML的通用查询子系统实现技术及应用

提出了一种基于XML的通用综合查询子系统的实现技术，目的是解决目前各种信息化系统中的查询子系统不能通用的缺点。方法是体系结构采用现在流行的3层体系结构模型，界面层基于XML，使用JSP技术；中间层起着枢纽作用，使用JavaBean技术；数据层用来存储数据。结果表明此系统除有着通用性强、移植性好等优点外，还有着对用户需求、数据库表（诸如表字段、表字段数据类型等）等改变适应性极强的优点。此子系统已得到广泛的应用。     

基于人机互动系统情感分析计算研究

由于人的情感包含大量的信息,特别是面部的表情与手势图像中存在大量干扰信息,造成了情感计算正确率下降,为此提出了一种从用户的面部表情与手势中系统地分析情感线索的方法。对面部表情与手势进行分析是感情丰富的人机交互系统的基本组成部分,采用非语言线索算法来判断用户的感情状态。从图像序列中提取与表情相关的特征,通过智能法则系统分析用户的情感状态,得到的感情信息最终与用户的真实反映相适应。最后采用基于主体接口技术来处理如沮丧或愤怒等特定的情绪状态。实验结果表明,提出的方法能够准确地分析计算出用户的情感信息。     

异构数据源数据集成的研究

对象代理模型可以作为数据集成的一种通用数据模型。通过建立代理对象和源对象,查询处理的对应关系也能够较好地实现,应用可以将不同的、对于代理对象的查询处理翻译成对于局部数据源源对象的查询处理,也可以把对局部数据源的查询结果以用户应用想要的方式返回。对象代理模型可在Smalltalk环境中实现。本文讨论如何在Smalltalk
k环境中实现基于对象代理模型的异构信息源的集成。     

基于多兴趣Agent的信息检索模型的研究

基于agent的信息检索系统在海量网络信息检索中已经得到广泛的应用.提出了一个基于多兴趣agent新的信息检索模型,该模型对查询信息进行了兴趣预测并生成了用户兴趣项权重向量.实验表明,模型在预测用户兴趣的效果和推荐搜索信息的准确率方面比传统的单兴趣Agent检索系统IRHOIA有一定的改善.     

基于视觉的互动游戏手势界面工具箱

分析了视觉手势的交互特征,提出了非接触型设备交互模型,基于数据流图方法建立了支持连续信息输入的数据流模型来描述视觉手势信息的处理流程,基于"paint-view-correct"隐喻构建了手势界面开发工具IEToolkit.系统的主要特点包括:使用插件设计思想提供了可扩展的接口,方便开发人员对系统进行扩展:实现了对平台...