基于表观特征的手势识别研究

手势识别在人机交互与虚拟现实中有重要应用,本文提出一种新的基于Zernike矩和傅里叶描绘子联合表观特征的手势识别方法。依据YCbCr色彩空间的肤色检测,分割出手势;对手势分割后的图像计算Zemike矩和傅里叶描绘子,选取Zernike矩和傅里叶描述子构成联合特征向量;构建一个多层感知器神经网络分类器,进行手势识别。构建一个含有2000样本的数据集来验证算法,实验结果显示手势识别准确率达到98．9％.     

复杂背景下多特征结合的深度学习手势识别

科学技术的快速发展使得基于深度学习的人机交互已经得到广泛的应用。手势识别作为人机交互领域的重要组成部分,同样具有重要的研究意义和应用价值。通过对传统的手势识别方法进行研究,发现主要是利用肤色检测算法实现手势识别和分类,但是传统方法在针对具有复杂背景的手势图像时会出现识别效果差等问题。为解决这一问题,提出一种基于卷积神经网络的肤色特征和边缘特征结合的手势识别方法。首先,在YCrCb颜色空间采用椭圆肤色模型和Otsu阈值肤色识别算法获取手势肤色特征,经算法判断后,对手势肤色图像采用改进Canny边缘检测算法获得手势边缘特征。其次,提出一种边缘填充方法对手势边缘图像处理,得到手势轮廓完整的手势边缘图像。最终,采用逻辑运算和形态学运算得到手势分割图像,并输入卷积神经网络进行训练和识别。实验结果表明,该方法在复杂背景下具有较好的手势识别效果,在NUS-II数据集上的平均识别率为98.83%。     

基于对比学习的信息缺失手势识别新方法

针对现有深度学习模型识别信息缺失手势需要大量标注数据、更深的网络需要更多参数的问题，首先收集整理了一个信息缺失手势数据集IMG＿NUIST,然后借鉴对比学习思想，提出了一个新的信息缺失手势识别模型CLGR,该模型通过对手势类内和类间差异度的对比约束提高模型特征学习性能。在两个经典数据集(ASL Alphabet和NUS I)和新提出的IMG＿NUIST数据集上进行了广泛实验，消融实验表明对比学习思想能有效地将平均识别准确率提高至98.60%以上且收敛速度显著提升；对比实验表明本文所提模型计算复杂度比其它4个模型平均简化了41.4%,在NUS I和IMG＿NUSIT数据集上的手势识别准确率超过四个对比方法，特别是在NUS I数据集上将识别准确率平均提高了17.35%,在ASL Alphabet数据集上的识别准确度仅比最优结果低0.43%。实验结果说明所提模型对于缺失手部部分信息和杂乱背景等问题的手势识别任务有显著效果，具有收敛速度更快、计算复杂度更少的优秀性能，有很好的实用价值。     

局部自适应复合绝缘子检测与憎水性分类网络

憎水性等级(Hydrophobicity Class,HC)是衡量绝缘子性能的重要指标之一。在实际环境的多种因素作用下绝缘子伞裙表面存在局部憎水性差异,为了准确识别绝缘子的性能,本文提出了一种基于深度学习的局部自适应绝缘子检测与憎水性分类模型。首先,通过绝缘子分割模块分离绝缘子与背景区域,为后续针对绝缘子区域的操作提供分割信息;然后将绝缘子区域划分为固定大小的图像块,在缩小分辨率减小运算难度的同时保留了绝缘子表面的细节信息;最后通过憎水性分类模块分析图像块内绝缘子的憎水性。实验使用巡检维护现场的绝缘子图片作为样本集,分阶段构建模型,分别对分割阶段和憎水性分类阶段的准确性进行评估。实验结果显示分割阶段模块能有效识别绝缘子和背景区域,交叉验证的测试集准确率均大于97.21%,并且憎水性分类阶段模块能准确分析绝缘子憎水性,对140幅测试图片的识别准确率达到98.65%。经过实验证明本文提出的模型在复杂自然环境中检测绝缘子性能是一种有效的解决方案。     

基于表面肌电和加速度信息融合的手势识别

针对现有手势识别方法中人为提取特征具有局限性的问题,考虑到MYO臂环稀疏多通道的特点,提出一种融合表肌电信号(sEMG)和加速度(ACC)信息的手势识别方案。首先由5位受试者佩戴MYO臂环,同步采集8组不同手势的多通道sEMG、ACC数据;其次采用一种新的数据预处理方法,使用高能量滑动窗将数据进行分割,得到短时有效活动段;最后设计出一种并行多层的LSTM网络,对两类数据进行特征提取和融合,实验准确率达96.87%。结果表明,所提出的手势识别方案简便可行。     

基于卷积神经网络的生产日期识别

为了提高识别效率并减少人工成本,采用深度学习的方法对生产日期图像进行识别。首先对生产日期图像进行预处理,使用水平投影分割算法并提出一种区域最大值分割的方法将图像中的干扰字符去除,只留下数字、字母和汉字字符。然后创建一个由生产日期图像中常包含的数字、英文、汉字字符所组成的可扩展的数据集。最后构建一个卷积神经网络模型并将数据集送入训练以获得较高的识别准确率。经测试基于卷积神经网络的识别方法对生产日期识别的准确率高达98%。     

服务机器人手势识别系统研究

为了解决手势控制服务机器人时单手手势交互不够自然和易受背景光照影响的问题,提出一种较自然的双手手势识别方案。利用Viola-Jones检测器和高斯肤色模型结合的方法进行手势分割,有效克服了背景和光照的影响。针对单一特征识别时的缺点,提取手势形状的多种特征组成混合特征向量。最后通过经典的BP神经网络方法实现手势识别。实验表明,该系统在不同背景和光照条件下鲁棒性较好,识别率在90%以上,可以对服务机器人进行前进、后退、左转、右转、停止的实时控制。     

基于毫米波雷达传感器RAI图像的手势识别方法

针对现有的手势识别方法存在数据集过少、利用特征信息较少和神经网络部分提取信息不充分的问题,提出一种基于毫米波雷达传感器RAI图像的手势识别方法。首先使用TI公司的IWR1443毫米波雷达传感器采集10类手势数据构建数据集,再通过对手部反射的雷达信号进行时频分析,获取固定帧数的RDI和RAI。为了充分提取手势特征并精确分类,在卷积神经网络基础上,引入了残差块和通道注意力块。实验结果表明,相较其他特征如RDI,RAI能更准确的表征手势,所提出的网络相比于CNN方法准确率提高了12.72%,相比于VGG16-Net和单参数VGG16-Net方法准确率提高了8.93%与10.41%,参数量降低了90.68%,时间复杂度降低了17.2%。     

Grael脑电放大器与深度学习的手势实时识别研究

手势识别是人机交互的关键。为了能够更好地实现脑电信号与肌电信号的融合,精准地识别人体的运动,本文建立了一套基于Grael脑电放大器的手势动作实时检测识别的研究系统。通过Grael脑电放大器和Curry8系统采集5个通道的8种不同手势的表面肌电信号(sEMG),并对采集到的sEMG信号进行滤波去噪、滑动窗口分割以及特征提取等预处理的操作;最后采用几种常用的分类器与卷积神经网络(CNN)对不同手势的sEMG信号进行实时分类识别。结果表明CNN的识别准确率最高,能达到92.98%;对每个手势动作进行30次实时识别检测,结果显示识别延迟大概在1～1.5 s,实时识别的精度可高达90%。该系统为将来研究脑电信号与肌电信号的融合提供了一个可行的方法,在人机交互方面展现了巨大的潜力和应用空间。     

基于半监督生成对抗网络的毫米波雷达跨域手势识别

基于深度学习的毫米波雷达手势识别以其免接触、保护隐私和环境依赖性低等特点受到越来越多的关注。但是目前的学习方法大都采用全监督方法,其性能受限于雷达数据的获取和标注,且其学习样本都来源于单一环境,极大的影响了不同场景下的迁移能力,因此本文提出了一种基于半监督生成对抗网络的跨域手势识别方法。首先,通过数据预处理,提取动态混合特征时间图（DFTM）以消除环境干扰,并且对手势动态特征进行更加全面的表征;其次,结合毫米波信号特点进行数据增强,进一步扩充数据量,提高模型泛化能力;第三,针对实际应用中可获得的标记数据通常较少的问题,提出并构建了一个改进半监督生成对抗网络,在原始GAN的基础上增加了分类器,通过生成数据帮助提高分类器辨别能力,同时利用源域中的少量标记数据和目标域中的大量未标记数据,实现域无关的手势识别。实验结果表明,对于新用户、新环境和新位置的平均手势识别准确率分别达到 98.21%、95.23%和97.6%。与现有其他手势识别方法相比,本文所提方法在只有少量标记数据的情况下也能达到较高的跨域手势识别准确率,为后续毫米波雷达人机交互提供了新的研究思路。     

基于 Mask R-CNN 与 SG 滤波的手势识别 关键点特征提取方法

手势识别是人机交互的重要手段.为了精确识别手势并摒除光照等环境干扰,同时减除由于手部高维运动造成的关键点剧烈抖动的问题,提出一种基于基于蒙版区域的卷积神经网络(Mask Region-based convolutional neural network,Mask R-CNN)与多项式平滑算法(Savitzky-Golay,SG)的手势关键点提取方法.该方法首先对输入的红绿蓝(RGB)三通道图像进行特征提取与区域分割,获得手部的实例分割与掩码.然后利用ROIAling及功能性网络进行目标匹配,标记出22个关键点(21个骨骼点+1个背景点).将标记后结果送入SG滤波器进行数据平滑,并进行骨骼点的重新标定.从而得到稳定的手势提取特征.对模型进行对比实验,结果表明,该方法能够最大程度摒除环境干扰,并精准提取关键点.与传统基于轮廓分割的手势关键点提取相比,模型的鲁棒性大大提高,识别精度达到93.48％.     

基于深度学习的动态手势识别方法

为了提高动态手势的识别准确率,并避免动态手势的数据预分割和后输出处理过程,设计了一种融合卷积神经网络(CNN)和双向长短时记忆(BiLSTM),引入连接主义时间分类(CTC)作为损失函数的串联型网络模型。使用CTC训练网络来判断输入流中的类标签,以完成动态手势的识别工作。在公开视频手势数据集Jester和通过Kinect自建的包含9个动态手势的数据集上进行了实验验证,结果表明提出的串联型融合网络模型在Jester上能得到较高的识别率,并且引入CTC算法用于手势识别领域是可行的,该方法高效且具有很高的识别率,对9个动态手势最好识别正确率可达98.11%。     

应用于智能轮椅控制的头部姿态识别

针对适用于肢体残疾人士的智能轮椅控制,提出了一种基于侧面人脸的头部姿态识别方法.首先利用肤色分割和边缘分割相结合的方法找出人脸区域,然后计算人脸连通区域的质心坐标和面积,以标准正向姿态时的人脸区域质心坐标和面积为参考值,根据活动人脸连通区域质心坐标与参考点的相对位置、欧式距离及面积比特征判别头部姿态.实验结果表明,该方法可以很好的识别向左倾斜、向右倾斜、抬头、低头等头部姿态,平均识别率为92.2％.     

基于数据手套的无人机端侧控制系统设计

为克服复杂环境下,遥控器、地面站等传统控制设备无法灵活便捷控制无人机的问题,提出一种基于数据手套的无人机端侧控制系统,该系统能够实现通过手势对无人机的控制。首先采用集成柔性传感器和惯性传感器,基于STM32的无线数据手套,用于收集训练和测试数据。根据从数据手套中获得的数据,采用部署到STM32嵌入式处理器的BP神经网络进行端侧手势识别,最后将手势转换成标定的无人机控制指令,并发送到无人机端,实现对无人机的控制。对8种手势进行共400次识别验证,手势识别率为97%。通过Airsim仿真平台进行无人机仿真实验,8种手势对应的无人机基本控制指令识别 准确率为100%,表明该系统手势识别效果理想。最终在真实场景下进行试飞,多名参与者可在1分钟内完成提前规定的总路线长度为35m的复杂飞行,实验表明无人机可对手势做出迅速反应,且该系统提供的手势控制方法简单便捷,可以在端侧实现对无人机的实时稳定地控制。     

基于测量的量子图像识别研究

目前,已有的量子相似度比较算法:1)逐个比较图像对应位置的像素值;2)将两幅图像分别用量子态表示,再将两幅图像进行连接(意味着将两个量子态连接成一个态),再进行相关的量子操作。所提出的比较算法,是在不连接图像的基础上,将图像用量子态表示,进行控制交换(c-Swap)操作,再进行量子测量,根据测量结果判断两幅图像的相似度。将所提的量子相似度比较算法应用到量子手势识别中,实验结果表明所提算法在识别问题上具有可行性。在经典领域中,手势识别的流程比较复杂。而在量子领域中,无需提取手势的颜色、纹理、特征等步骤,直接可以将手势进行二值化表示,再根据所提的图像相似度算法来实现手势识别。     

基于HS-CrCb空间的手指数量检测方法研究

手势识别成为未来人机交互的重要方式,本文主要对复杂背景下手指数量的检测方法进行研究。首先通过对比分析不同颜色空间下的手势区域提取方法,提出一种基于 HS-CrCb 肤色模型的手势区域提取方法,并在实验中提取了更清晰和完整的手势区域;其次,采用凸缺陷、手势形状以及手指夹角等特征对手势进行建模和手指数量检测,算法能准确识别出不同手势下对应的手指数量。在Qt和OpenCV环境下建立算法平台,算法在实验测试中取得了良好的效果,具有较好的工程参考和应用价值。     

注意力机制 CNN 结合肌电特征矩阵的手势识别研究

当前基于卷积神经网络(CNN)的手势识别研究集中于增加网络深度,较少关注改善样本数据分布带来的性能提升。 针对此类问题,提出一种量化表面肌电信号(sEMG)特征相关性的肌电特征矩阵(EFM)样本输入有效通道注意力(ECA)机制 CNN,用于识别 NinaproDB1 中 52 类手势。 首先使用时间窗截取低通滤波后的 sEMG,计算多种信号时域特征;然后利用笛卡尔 积组合并相乘不同特征,对特征相乘值进行归一化后得到 EFM。 同时,引入 ECA 机制使网络关注重要的深层特征,从而提升手 势分类效果。 分别输入 sEMG、肌电时域特征和 EFM 到注意力机制 CNN 进行手势识别,EFM 识别准确率最高,达到了 86. 39%, 高于近年来手势识别研究方法精度。 验证了提出方法的有效性,为多类别手势准确分类提供可行新方案。