基于Kinect手势识别的应用与研究

为解决当前智能家居系统操作繁琐的问题,同时为获得更简单的控制方式,并增加用户的体验感受,研究了基于Kinect骨骼信息的手势识别技术,并将其融入至智能家居的人机交互系统中。在该系统中,用户可以自定义手势动作或语音实现家居设备的智能控制。使用了一种基于加权动态时间规整的模板匹配手势识别算法。通过Kinect的深度摄像头获取手势深度图像和骨骼图像数据,并采用加权动态时间规整算法进行识别。实验表明使用该算法实现手势识别是可行且有效的,且其最佳识别位置是在Kinect的正前方2～2.5m处,识别准确率达到96%左右。     

基于双DSP结构的动态手势红外遥控系统

为了在红外遥控系统中实现手势交互,设计了一种基于双DSP结构的具有动态手势视觉识别功能的红外遥控系统。针对手势识别图像算法的复杂性,系统采用了一种流水线式的动态图像处理模式并提出了一种基于双端口RAM通信的双DSP图像处理硬件系统结构。结构前级负责实时采集图像数据及手势图像预处理,后级结合以帧差法为核心的手势识别算法负责动作识别处理,从而节省单DSP需要的等待时间,手势图像处理任务同步进行,加快动态图像处理的速度。另外,双DSP结构使得系统资源得到有效分配,复杂处理算法同步运行,再配合自学习红外遥控模块实现红外遥控功能。实验结果表明,系统一次手势动作的最短识别时间为1.5 s,动作识别的准确率达到93.75%,具有良好的稳定性和可操作性。     

一种时空多尺度适应的手势识别方法研究

手势交互作为一种自然便捷的交互方式,在智能家居和智能交通等领域具有日益广泛的应用前景。由于手势行为发生的速度、空间约束和用户差异的影响,同一语义手势表现出具有不同时间和空间尺度的多形态特征,这给保障手势识别的准确率带来了挑战。提出了一种基于动态时间规整DTW(Dynamic Time Warping)方法的时空多尺度手势识别方法SDTW(Spatial-Temporal Dynamic Time Warping),该方法通过对空间形态数据进行分箱操作来达到适应一定程度空间尺度变化的能力。因此,SDTW方法不仅具备DTW方法的时间尺度适应性,而且扩展了空间尺度适应性。文中实现了一个基于智能手机加速度传感设备的SDTW手势识别原型系统。实验测试验证了所提方法能够有效提升手势识别的准确率。     

多点触摸手势分析及识别算法的研究

针对目前多点触控系统缺乏对触摸手势含义的理想描述和解析,提出了一种通用的多点触摸手势分析与设计框架,研究了高性能的算法合理解析并优化多点触控指令,使其更符合用户的思维与认知。设置触点位移和时间函数双阈值来提高触点识别的精确性,防止突增杂点的误判断,减缓过快操作产生的抖动;采用RAF神经网络模型解决动态手势识别的问题,并引入基于欧氏距离函数的聚类统计量作为网络的特征参数,大大提高了多点触摸手势识别的效率和精确度。     

体感手环控制幻灯片翻页方法及装置设计

针对课堂教学中教师需要手握激光笔遥控PowerPoint幻灯片翻页的问题,提出了体感手环控制幻灯片翻页的方法,设计了基于MPU6050传感器的体感手环教学控制装置,该装置采用体感无线手环和教学接收装置组成的无线数据传输控制结构,重点研究并提出了手势动作定义、手势信号感知与预处理和手势特征提取等算法,并通过该装置的设计和测试,进行算法有效性和准确率的验证。实验结果显示,系统能够有效识别向左或向右一挥的手势动作,能够可靠控制PowerPoint幻灯片向上或向下翻页,实现设计效果。     

基于动态时间规整的手势加速度信号识别

为了提高基于加速度传感器的动态手势识别算法的性能,本文采用了动态时间规整(DTW)识别算法。通过该算法计算测试模板和参考模板的相似度,从而得出识别结果。为了验证该方法,建立了一套手势加速度无线采集系统,并采集了41个志愿者的手势信息。实验结果表明,该方法手势平均识别率在97%以上。与HMM识别算法相比,DTW识别算法在识别的准确率上比HMM识别算法更具优势。     

基于视线跟踪和手势识别的人机交互

提出一种新的基于视线跟踪和手势识别的交互方式用于远距离操作计算机。系统通过摄像头采集用户的图像,利用图像识别算法检测人眼和手指的位置,由人眼和指尖的连线确定用户指向屏幕的位置,通过判别用户手势的变化实现各种操作,达到人机交互的目的。实验结果表明,该交互方式可以较好地定位屏幕和判断用户的操作,实现自然、友好的远距离人机交互。     

基于深度学习算法的可穿戴设备手势识别系统设计

研究了基于深度学习算法的可穿戴设备手势识别系统设计。以智能手表为例,利用可穿戴设备的加速度传感器进行数据采集,通过在执行不同手势时三轴加速度数值的不同以及执行时长的差异,使用TensorFlow以及CNN神经网络实现手势识别。实验结果表明该系统对交互手势的识别有着良好稳定的识别率,准确率达到97%以上,并且系统的各项性能指标都较好。所提出的手势识别系统还可以应用到数字签名、个人安全或用户标识等其他领域。     

面向肌电信号的虚拟现实提线木偶动画研究

泉州提线木偶属于首批中国非物质文化遗产，是中华传统文化的实现形式之一.然而，由于木偶体积庞大，携带与操作不便，直接限制了其受众群体.为了实现提线木偶的有效传承与保护，设计了基于手势识别的虚拟现实提线木偶动画方案，构建了基于MYO臂环肌电信号的人体生理信号控制动画原型系统，应用两个用户实验验证了算法的高精确性与易操控性.首先，通过低通滤波与平滑实现多通道肌电信号数据的信号处理.其次，提取八通道时域特征与时频域特征，并通过线性判别器将其降维为六维特征向量，实现特征间关联性消除与算法鲁棒性增强.最后，构造多分类支撑向量机实现特征向量，确定手势识别结果.实验验证算法离线动作平均识别准确率为95.59%，实时动作平均识别准确率达到90.75%，在1.1s左右完成手势识别.面向提线木偶任务，构造了两个用户体验任务，普通用户人群中，木偶动作识别率较高，用户使用意愿、易学性等方面，系统性能亦显著高于真实木偶操控；专业用户在承认系统可用性的同时，具有较高的接受度.用户任务表明该设计满足了手势识别实时性和准确性的要求，具有良好的交互性和趣味性.相关研究可以广泛地应用于计算机动画等类似的系统，对于体验和保护提线木偶具有现实意义.     

基于多点手势识别的人机交互技术框架

提出了一种基于机器视觉的多点手势识别方法及其人机交互技术框架。指尖跟踪和手势识别服务程序通过一个普通的摄像机捕获用户手的运动,对多个指尖目标进行实时检测和跟踪,在指尖跟踪结果基础上利用BP神经网络实现多点手势识别,并根据指尖跟踪和手势识别结果构造相应的消息(包括低级指点消息和高级手势消息)发送给客户端应用程序,客户端响应消息并进行相应的处理。该框架可以帮助开发人员的在应用程序中增加类似iPhone多点触摸控制的多点手势识别控制功能,实现更加自然的人机交互,提高用户操作体验。     

Human-Animal Affective Robot Touch Classification Using Deep Neural Network

Touch gesture recognition is an important aspect in human–robot interaction, as it makes such interaction effective and realistic. The novelty of this study is the development of a system that recognizes human–animal affective robot touch (HAART) using a deep learning algorithm. The proposed system was used for touch gesture recognition based on a dataset provided by the Recognition of the Touch Gestures Challenge 2015. The dataset was tested with numerous subjects performing different HAART gestures; each touch was performed on a robotic animal covered by a pressure sensor skin. A convolutional neural network algorithm is proposed to implement the touch recognition system from row inputs of the sensor devices. The leave-one-subject-out cross-validation method was used to validate and evaluate the proposed system. A comparative analysis between the results of the proposed system and the state-of-the-art performance is presented. Findings show that the proposed system could recognize the gestures in almost real time (after acquiring the minimum number of frames). According to the results of the leave-one-subject-out cross-validation method, the proposed algorithm could achieve a classification accuracy of 83.2%. It was also superior compared with existing systems in terms of classification ratio, touch recognition time, and data preprocessing on the same dataset. Therefore, the proposed system can be used in a wide range of real applications, such as image recognition, natural language recognition, and video clip classification.     

服务机器人的触觉手势识别

为了实现机器人在人机交互过程中的触觉感知,提出了一种用于服务机器人的触觉手势识别方法。首先,将电子皮肤安装在服务机器人上,通过采集15位被试者的10种手势动作信号,构建了情感手势数据集。然后,使用时空分离卷积神经网络,对被试者触摸服务机器人时做出的触摸手势进行分类。结果表明,被试内手势识别率为90.25%,跨被试手势识别率为83.44%。通过调节模型中的时空通道调节因子,在几乎不降低识别率的同时,可以大幅减少模型参数量。基于电子皮肤的触觉手势识别实验,初步认为使用时空分离卷积神经网络能够以较高的准确率和较低的计算代价实现对人的触觉手势识别,这为服务机器人通过电子皮肤与人实现情感交互提供了可能。     

连续交互空间下的混合手势交互模型

分析了触控交互技术在移动手持设备及可穿戴设备应用的应用现状及存在的问题;基于交互动作的时间连续性及空间连续性,提出了将触控交互动作的接触面轨迹与空间轨迹相结合,同时具有空中手势及触控手势的特性及优点的混合手势输入方法;基于连续交互空间的概念,将混合交互手势,空中手势、表面触控手势进行统一,建立了包括空中层、表面层、混合层的连续交互空间分层处理模型;给出了统一的信息数据定义及数转换流程;构建了通用性的手势识别框架,并对轨迹切分方法及手势分类识别方法进行了阐述.最后设计了应用实例,通过实验,对混合交互手势的可用性及连续空间分层处理模型的可行性进行了验证.实验表明,混合手势输入方式同时兼具了表面触控输入及空中手势输入的优点,在兼顾识别效率的同时,具有较好的空间自由度.     

自拍相机运动手势交互界面的设计与实现

随着智能移动终端的发展及摄像镜头的小型化,自拍变得越来越流行。如何设计新型自拍交互方法使得用户在自拍过程中能够自由、实时地控制相机是自拍相机交互界面的关键问题。提出利用基于视觉的运动手势交互界面的新方法,使自拍过程中用户只要挥一挥手臂就可以实现与自拍相机的交互功能。使用手势交互的方法,用户可以把相机放在任意的平台上,自由地摆出各种自拍姿态,增加了自拍的丰富性,提高了用户体验。主要提出挥手及画圈两种交互手势,通过组合应用可以实现丰富高效的自拍交互控制功能,如快门控制、白平衡,曝光度等。手势的识别利用相机摄像的实时图像进行处理,采用稀疏光流算法来识别运动手势。用户评估实验表明,所提出运动手势自拍交互界面具有较好的交互效率以及良好的用户满意度,两种手势的识别效率约为85%。     

一种基于MEMS惯性传感器的手势识别方法

随着手机等移动电子设备的发展,应用于嵌入式平台的基于MEMS惯性传感器的手势识别成为一个研究热点.提出了一种简单有效的手势识别方法:通过分析手势的运动学特征,在线实时提取手势的加速度和角速度信号特征量,截取手势信号段,利用决策树分类器进行预分类,根据手势信号的变化规律实时识别具体的手势.该方法在20位实验者中获得了96％的平均准确率,手势识别时间小于0.01s.实验结果表明该算法在嵌入式平台下能快速准确地识别手势,满足了实时人机交互的要求.     

Unobtrusive touch‐free interaction on mobile devices in dirty working environments

In this work, we propose a new mode of interaction using hand gestures captured by the back camera of a mobile device. Using a simple intuitive two‐finger picking gesture, the user can perform mouse click and drag‐and‐drop operations from the back of the device, which provides an unobstructed touch‐free interaction. This method allows users to operate on a tablet and maintain full awareness of the display, which is especially suitable for certain working environments, such as the machine shop, garage, kitchen, gym, or construction site, where people's hands may be dirty, wet, or in gloves. The speed, accuracy, and error rate of this interaction have been evaluated and compared with the typical touch interaction in an empirical study. The results show that, although this method is not, in general, as efficient and accurate as direct touch, participants still consider it an effective and intuitive method of interacting with mobile devices in environments where direct touch is impractical.     

基于Leap Motion的三维手势交互系统研究

手势识别的快速发展及体感设备的不断更新为三维手势交互提供了灵感,基于Leap Motion 手势识别和最邻近算法,建立了一种三维手势交互系统。首先对手势设计理论和交互手 势设计原则进行研究,基于此设计手势功能和建立手势库,并将手势库分为 8 种手势;其次进 行手势特征提取,建立手指关键点模型,获取手势特征的角度特征;然后计算 KNN 算法和 SVM 算法的手势识别效率,KNN 改进算法取得较好的识别效率;最后,设计三维交互系统,手势分 类为 4 个模块,每个模块有 2 个手势任务;20 名测试者中提取 1 600 组手势数据,并进行总采 集样本关节点均值的数据分析;设计三维交互系统模块,在 Unity3D 中创建的三维交互系统中 导入 1 600 组手势数据,根据自定义的 8 种手势驱动虚拟手完成交互设计过程,完成用户体验 分析和手势识别效率统计。通过研究发现,基于 Leap Motion 手势识别具有较高的识别效率, 三维手势交互系统富有创新性。     

基于随机投影的加速度手势识别

针对手势交互中手势信号的相似性及不稳定性,设计并实现了一种基于随机投影(RP)的加速度手势识别方法.识别系统包含训练阶段和测试阶段:训练阶段运用动态时间规整(DTW)和近邻传播(AP)算法对训练集中的每一个手势迹创建样本中心;测试阶段先通过计算未知手势迹与样本中心的距离找出候选姿势迹,然后用RP算法将候选手势迹和未知手势迹投影到低维子空间,把识别问题转换成l₁-minimization问题来对未知的手势迹进行识别.在采集的2400个数据样本上进行了基于特定人和非特定人的实验,结果表明所提算法分别取得了98.41%和96.67%的识别率,该方法能够有效识别加速度手势动作.