连续交互空间下的混合手势交互模型

分析了触控交互技术在移动手持设备及可穿戴设备应用的应用现状及存在的问题;基于交互动作的时间连续性及空间连续性,提出了将触控交互动作的接触面轨迹与空间轨迹相结合,同时具有空中手势及触控手势的特性及优点的混合手势输入方法;基于连续交互空间的概念,将混合交互手势,空中手势、表面触控手势进行统一,建立了包括空中层、表面层、混合层的连续交互空间分层处理模型;给出了统一的信息数据定义及数转换流程;构建了通用性的手势识别框架,并对轨迹切分方法及手势分类识别方法进行了阐述.最后设计了应用实例,通过实验,对混合交互手势的可用性及连续空间分层处理模型的可行性进行了验证.实验表明,混合手势输入方式同时兼具了表面触控输入及空中手势输入的优点,在兼顾识别效率的同时,具有较好的空间自由度.     

基于PNN的手势识别

为了实现人体手势姿态识别的目标,选用氯化银(AgCl)贴片电极作为信号传感端,通过采集前臂表面肌电(SEMG)信号,经信号放大、滤波等前期处理,再经活动段检测、降噪等信号处理后,提取伸食指、握拳、伸腕、屈腕4种手势的均方根值和积分EMG值作为特征向量,送入概率神经网络(PNN)中进行训练识别,实现人体手势识别.实验结果表明:PNN对前臂SEMG信号的模式识别的正确率可达到97.62％,将PNN应用于手势识别系统具有可行性.     

基于多源信息融合的手势智能交互系统

利用表面肌电信号（surface ElectroMyoGraphy， sEMG）设计了一个提高分类准确性和快速性的识别系统，用于捕获手势动作并进行人机交互.首先，基于无线肌电测量系统和飞行器自主搭建了智能交互平台；接着，采用滑动时间窗的方法对原始sEMG信号设计短时能量阈值进行信号活动段始末点的确定，从而抑制了动作刚执行时趋势段对识别结果的影响；然后，利用时域统计分析对sEMG信号进行特征分析，并提出了一种融合加速度特征信息和sEMG信号的方法来建立5种手势的分类模型.与仅使用sEMG信息源的方式相比，此方法提高了识别准确率.最后，手势控制飞行器运动的实验证明了本方法的可行性和有效性.     

基于卷积神经网络的表面肌电信号手势识别

在当前科学技术快速发展的大背景下,通过应用卷积神经网络原理,能够将表面肌电信号的手势通过一维多通道的方式识别出来,避免在前期采用复杂的方法对表面信号进行预处理以及对信息采用手工提取方法所花费的时间.基于此,以右手为活动手,分析了握拳、向左、向右以及展拳4种手势时的表面肌电信号.将不同手势的肌电信号进行标记,生成信号长度不同的8通道信号训练集和测试集,并借助卷积神经网络的相关原理分析了卷积状态下的采样.借助相关研究后通过卷积神经网络的应用,能够实现卷积神经网络表面肌电信号的高效处理,从而实现对手势信号的识别,且识别率能够满足具体使用需求,因此其在实际工作中应用是有价值的.     

基于稀疏表示的联合多通道肌电信号手势识别

为了改善传统肌电信号手势识别过程的复杂性,将稀疏表示用于表面肌电信号手势识别。针对不同的动作模式下对表面肌电信号提取的特征总是有较大的差异,稀疏表示的过程可以将差异放大,从而改善分类效果。本文首先采集不同手势的多通道表面肌电信号,然后将多通道信号进行切割;通过求解测试样本在训练矩阵下的稀释表示,达到分类识别的目的,并通过实验仿真验证了算法的可行性和优越性。     

一种基于DSP的实时手势交互系统

设计了一种基于DSP的实时手势交互系统,该系统包含多通道无线传感器模块、信号接收及处理模块和手势应用模块.多通道无线传感器模块可直接穿戴于人体,采集并无线发送与手势动作有关的表面肌电(surface electromyography,sEMG)和加速度(Acceleration,ACC)信号,信号接收及处理模块无线接收...     

基于深度神经网络的sEMG手势识别研究

为了提高表面肌电信号（sEMG）手势识别算法的准确性,并解决人为提取大量特征具有局限性的问题,提出了一种基于深度神经网络的手势识别方法。将MYO臂环采集到的8通道sEMG数据,采用活动段分割的方法探测到有效动作;设计出一种融合卷积神经网络（CNN）和长短时记忆（LSTM）网络的神经网络;实验的结果表明手势识别准确率为91.6%,验证了提出的方案高效可行。     

动态手势理解与交互综述

近年来,手势作为一种输入通道,已在人机交互、虚拟现实等领域得到了广泛的应用,引起了研究者的关注.特别是随着先进人机交互技术的出现以及计算机技术(特别是深度学习、GPU并行计算等)的飞速发展,手势理解和交互方法取得了突破性的成果,引发了研究的热潮.综述了动态手势理解与交互的研究进展与典型应用:首先阐述手势交互的核心概念,...     

概念设计中基于笔式手势的交互计算研究

基于笔式手势的自然交互是支持概念设计创新的有效方式.提出了一种笔式手势的层次概念模型,结合基于约束的自由勾画和上下文感知技术描述了手势设计方式,进一步讨论了手势内部的约束建立和求解算法;基于手势应用的范式,给出了概念设计中特征手势建模的应用实例,通过与传统建模和交互方式的对比,验证了特征手势建模的方便性.给出一个自然、高效的方法,以基于手势的方式来完成概念设计构思过程,采用笔式交互快速自然地记录下设计思路,所实现的系统方便了用户的创新设计,改善了人机交互模式.     

基于HMM-FNN模型的复杂动态手势识别

复杂动态手势识别是利用视频手势进行人机交互的关键问题.提出一种HMM-FNN模型结构.它整合了隐马尔可夫模型对时序数据的建模能力与模糊神经网络的模糊规则构建与推理能力,并将其应用到复杂动态手势的识别中.复杂动态手势具备两大特点:运动特征的可分解性与定义描述的模糊性.针对这两种特性,复杂手势被分解为手形变化、2D平面运动与Z轴方向运动3个子部分,分别利用HMM进行建模,HMM模型对观察子序列的似然概率被作为FNN的模糊隶属度,通过模糊规则推理,最终得到手势的分类类别.HMM-FNN方法将高维手势特征分解为低维子特征序列,降低了模型的复杂度.此外,它还可以充分利用人的经验辅助模型结构的创建与优化.实验表明,该方法是一种有效的复杂动态手势识别方法,并且优于传统的HMM模型方法.     

基于体感技术的手势追踪与识别

体感技术使人们更直接的通过自己的肢体动作与电脑设备产生互动,减小了鼠标、键盘等传统输入设备带来的束缚。使用Kinect 体感设备,对体感关键技术及 Kalman滤波器算法进行了深入的研究,并在此基础上提出了一种基于骨骼坐标的手势识别算法。最后详细阐明了基于 Kinect 的手势追踪与识别系统的具体设计与实现方法。     

基于视线跟踪和手势识别的人机交互

提出一种新的基于视线跟踪和手势识别的交互方式用于远距离操作计算机。系统通过摄像头采集用户的图像,利用图像识别算法检测人眼和手指的位置,由人眼和指尖的连线确定用户指向屏幕的位置,通过判别用户手势的变化实现各种操作,达到人机交互的目的。实验结果表明,该交互方式可以较好地定位屏幕和判断用户的操作,实现自然、友好的远距离人机交互。     

运动传感驱动的3D直观手势交互

为了使手势交互方式较少受到场地和光线的限制,提出利用加速度传感器作为输入设备进行手势识别的方法.对每种手势只要求用户做一次示范表演,通过添加噪声等手段来提高训练数据生成的自动化程度;将训练数据经过预处理和特征提取之后用于训练机器学习模型(隐马尔科夫模型和支持向量机).在包含70种手势的测试集上进行实验,平均识别率超过90%;并开发了幻灯片手势控制和手势拨号2个基于手势的人机交互原型系统,结果表明文中方法能够显著地提升用户在人机交互中的体验.     

基于Leap Motion的三维手势交互系统研究

手势识别的快速发展及体感设备的不断更新为三维手势交互提供了灵感,基于Leap Motion 手势识别和最邻近算法,建立了一种三维手势交互系统。首先对手势设计理论和交互手 势设计原则进行研究,基于此设计手势功能和建立手势库,并将手势库分为 8 种手势;其次进 行手势特征提取,建立手指关键点模型,获取手势特征的角度特征;然后计算 KNN 算法和 SVM 算法的手势识别效率,KNN 改进算法取得较好的识别效率;最后,设计三维交互系统,手势分 类为 4 个模块,每个模块有 2 个手势任务;20 名测试者中提取 1 600 组手势数据,并进行总采 集样本关节点均值的数据分析;设计三维交互系统模块,在 Unity3D 中创建的三维交互系统中 导入 1 600 组手势数据,根据自定义的 8 种手势驱动虚拟手完成交互设计过程,完成用户体验 分析和手势识别效率统计。通过研究发现,基于 Leap Motion 手势识别具有较高的识别效率, 三维手势交互系统富有创新性。     

基于手势识别的人机交互技术

文章将现有人机交互方法与基于计算机视觉交互方法进行了对比,列举了该交互技术的优点及可行性,并提出了一种利用摄像头采集手势进行人机界面交互的方法,研究了并进一步实现了基于图像的手势分析、识别等关键技术.通过一系列实验结果表明,基于文中技术实现的一套系统能够实时地跟踪手的运动,并识别出手势结果,实现实时的人机手势交互.     

基于手势的交互式虚拟环境

交互式虚拟现实系统能够为用户提供直观自然的用户接口。使用手势,用户可以更加高效地与虚拟环境进行交互。但随着系统中识别手势的增多,正确手势的识别率和系统的性能会跟着下降。文章提出用交互状态解决手势识别率和系统性能下降问题,并给出了实现方案。     

基于动态手势的人机交互系统的研究与设计

该系统是一个基于手势手套、无线中继控制站、上位机端等部分组成的包含手势采集、传输、识别控制及处理的系统;手势手套主要由弯曲传感器、陀螺仪加速度计、电阻电压转换电路和无线通信模块组成,来实现手势信息的采集、去噪、前压缩、解算等功能,并通过无线通信将实时手势信息交付给上一层;无线中继端将其与多种传感器电路、显示屏、摄像头、通信接口和常用的工业控制接口等集成到一块上,采集其他传感器信息结合前级的手势信息,在短时间深度上对多种信息进行融合并通过控制算法输出给控制器件;上位机主要负责手势信息的建模还原和更长时间序列上和多维度的信息处理;网络云端可以实现手势信息的大数据处理、匹配和远程交互等功能。经实际检测达到了理想的设计要求。