基于肤色和特征相似度映射手势识别算法

文中提出用来进行手区域定位和手势识别的新算法,该算法基于肤色特征和特征相似度映射函数,该函数是归一化为[0,1]的函数,它模拟在尺度空间中各点的图像特征的相似性.实验结果表明运用该方法能够在复杂的背景中进行手势识别.     

基于三维视觉特征的数字手势语义识别新方法研究

为了解决现有手势识别易受背景噪声干扰和算法较为复杂的问题,提出一种基于3D视觉的数字手势语义识别方法.首先,通过RealSense 3D相机采集手部区域的RGB图像和深度图像,并结合深度信息和肤色信息,对手势进行分割;其次,对手势图像进行形态学滤波后,得到手势区域的轮廓凸包面积比、凸缺陷数、手指夹角和关键点连线比值等特...     

基于改进YOLOX-tiny算法的交警手势识别

为了在城市中实现无人驾驶,需要能够高效检测交警的现场指挥手势。针对现有手势识别算法识别精度低、检测速度慢、难以应对复杂道路环境等问题,提出一种改进的YOLOX tiny交警手势识别算法。首先,使用改进后的GhostNet网络替换原主干网络,并且插入坐标注意力机制,全面提取输入图像特征,提高了网络的检测精度,同时提升了对中小型目标的检测效果;其次,改进解耦头部分,设计了SCDE Head结构,在减少计算量的同时过滤冗余信息,使得解耦头更有效率,并且解耦头融合了多尺度的特征,提升了目标检测准确率;最后,将SIoU应用到定位损失中,加快网络收敛的速度,提升回归精度。在自制的交警指挥手势数据集上进行测试,实验结果表明,与YOLOX-tiny模型对比,改进后算法参数量减少了27.97%,模型计算量减少了33.31%,且平均检测精度提高了2.31%,检测速度提升了45%,更适合汽车无人驾驶以及硬件部署方面的实际需求。     

基于动态贝叶斯网络的手势识别

研究了动态手势的识别技术,实现人机交互。采用HSV空间的肤色模型实现手势定位,光流场算法进行手势追踪,具有较好的快速性、准确性和鲁棒性。提出应用链码描述手势运动矢量,双手相对位置标量以及双手与脸的相对位置标量,将多条链码作为动态手势的特征进行提取。建立了一个动态手势识别的动态贝叶斯网络模型,将一部分手势链码作为训练样本,通过对DBNs的推理学习实现手势识别。实验构建动态手势识别系统,可应用于多媒体、智能电器或幻灯片控制之中。     

注意力机制 CNN 结合肌电特征矩阵的手势识别研究

当前基于卷积神经网络(CNN)的手势识别研究集中于增加网络深度,较少关注改善样本数据分布带来的性能提升。 针对此类问题,提出一种量化表面肌电信号(sEMG)特征相关性的肌电特征矩阵(EFM)样本输入有效通道注意力(ECA)机制 CNN,用于识别 NinaproDB1 中 52 类手势。 首先使用时间窗截取低通滤波后的 sEMG,计算多种信号时域特征;然后利用笛卡尔 积组合并相乘不同特征,对特征相乘值进行归一化后得到 EFM。 同时,引入 ECA 机制使网络关注重要的深层特征,从而提升手 势分类效果。 分别输入 sEMG、肌电时域特征和 EFM 到注意力机制 CNN 进行手势识别,EFM 识别准确率最高,达到了 86. 39%, 高于近年来手势识别研究方法精度。 验证了提出方法的有效性,为多类别手势准确分类提供可行新方案。     

基于表面肌电和加速度信息融合的手势识别

针对现有手势识别方法中人为提取特征具有局限性的问题,考虑到MYO臂环稀疏多通道的特点,提出一种融合表肌电信号(sEMG)和加速度(ACC)信息的手势识别方案。首先由5位受试者佩戴MYO臂环,同步采集8组不同手势的多通道sEMG、ACC数据;其次采用一种新的数据预处理方法,使用高能量滑动窗将数据进行分割,得到短时有效活动段;最后设计出一种并行多层的LSTM网络,对两类数据进行特征提取和融合,实验准确率达96.87%。结果表明,所提出的手势识别方案简便可行。     

支持自定义的多粒度动态手势识别方法研究

大多数手势识别研究往往仅考虑手部的运动轨迹,无法全面的对动态手势特征进行描述。在深度分析了驱动手势的各关节特征影响度的前提下,使用了多粒度的动态手势识别方法,同时,针对大部分手势识别研究不考虑用户自定义手势问题,提出了一种改进的动态时间规整(DTW)方法。实验结果表明,该方法可以较好的识别不同粒度下的手势,以及在自定义模式下准确的识别出非模板库中的手势,从而实时的向模板库中添加新手势。     

基于PSO改进的BP神经网络数据手套手势识别

针对5DT数据手套手势识别这一问题,提出BP神经网络和PSO算法相结合的识别方法。首先利用特征提取和归一化方法建立通用手势模板,并基于此模板采用BP神经网络进行训练学习,同时通过PSO算法修正BP神经网络的权值和阈值,将训练完毕的神经网络用于实际操作过程中的手势识别。该方法既保留了BP算法结构简单、易于实现的优点,同时避免了不同操作者复杂的标定过程。仿真和实验结果表明,所提出的控制方法有效的缩短了学习时间,并且提高了识别过程的实时性和精确性。     

服务机器人手势识别系统研究

为了解决手势控制服务机器人时单手手势交互不够自然和易受背景光照影响的问题,提出一种较自然的双手手势识别方案。利用Viola-Jones检测器和高斯肤色模型结合的方法进行手势分割,有效克服了背景和光照的影响。针对单一特征识别时的缺点,提取手势形状的多种特征组成混合特征向量。最后通过经典的BP神经网络方法实现手势识别。实验表明,该系统在不同背景和光照条件下鲁棒性较好,识别率在90%以上,可以对服务机器人进行前进、后退、左转、右转、停止的实时控制。     

复杂背景下多特征结合的深度学习手势识别

科学技术的快速发展使得基于深度学习的人机交互已经得到广泛的应用。手势识别作为人机交互领域的重要组成部分,同样具有重要的研究意义和应用价值。通过对传统的手势识别方法进行研究,发现主要是利用肤色检测算法实现手势识别和分类,但是传统方法在针对具有复杂背景的手势图像时会出现识别效果差等问题。为解决这一问题,提出一种基于卷积神经网络的肤色特征和边缘特征结合的手势识别方法。首先,在YCrCb颜色空间采用椭圆肤色模型和Otsu阈值肤色识别算法获取手势肤色特征,经算法判断后,对手势肤色图像采用改进Canny边缘检测算法获得手势边缘特征。其次,提出一种边缘填充方法对手势边缘图像处理,得到手势轮廓完整的手势边缘图像。最终,采用逻辑运算和形态学运算得到手势分割图像,并输入卷积神经网络进行训练和识别。实验结果表明,该方法在复杂背景下具有较好的手势识别效果,在NUS-II数据集上的平均识别率为98.83%。     

基于对比学习的信息缺失手势识别新方法

针对现有深度学习模型识别信息缺失手势需要大量标注数据、更深的网络需要更多参数的问题,首先收集整理了一个信息缺失手势数据集IMG＿NUIST,然后借鉴对比学习思想,提出了一个新的信息缺失手势识别模型CLGR,该模型通过对手势类内和类间差异度的对比约束提高模型特征学习性能。在两个经典数据集(ASL Alphabet和NUS I)和新提出的IMG＿NUIST数据集上进行了广泛实验,消融实验表明对比学习思想能有效地将平均识别准确率提高至98.60%以上且收敛速度显著提升;对比实验表明本文所提模型计算复杂度比其它4个模型平均简化了41.4%,在NUS I和IMG＿NUSIT数据集上的手势识别准确率超过四个对比方法,特别是在NUS I数据集上将识别准确率平均提高了17.35%,在ASL Alphabet数据集上的识别准确度仅比最优结果低0.43%。实验结果说明所提模型对于缺失手部部分信息和杂乱背景等问题的手势识别任务有显著效果,具有收敛速度更快、计算复杂度更少的优秀性能,有很好的实用价值。     

一种基于特征位移的手势识别方法

针对卷积操作受到遍历规则的限制,只能提取单个骨骼节点的特征信息,不能对相邻节点之间的有效特征信息进行融合,导致表达能力有限的问题,提出了一种基于特征位移模块的手势识别神经网络。该网络采用常规时空图卷积神经网络的架构,并将常规时空卷积模块替换为特征位移模块,实现相邻节点特征信息之间的融合。利用特征位移模块对位移信道进行重新排序,实现提取骨骼节点的全局化特征信息,进一步完成对手势信息的高效准确分类。并在公开数据集DHG-14/28和FPHA上验证该特征位移模块,在14类、28类和FPHA手势数据集的分类准确度分别达到了95.11%、93.01%和92.67%。实验结果表明,该网络模型能够更好更有效的挖掘全局特征信息,在常见的手势识别数据集上达到了优秀的性能。     

基于轻量级卷积神经网络的手势识别检测

针对基于深度学习的手势识别模型参数量大、训练速度缓慢且对设备要求高,增加了成本的问题,提出了一种基于轻量级卷积神经网络的手势识别检测算法。首先利用Ghost模块设计轻量级主干特征提取网络,减少网络的参数量和计算量;通过引入加权双向特征金字塔网络改进特征融合网络,提升网络检测精度;最后使用CIoU损失函数作为边界框回归损失函数并加入Mosaic数据增强技术,加快模型收敛速度提升网络的鲁棒性。实验结果表明,改进后的模型大小仅为17.9M,较原YOLOv3模型大小减小了92.4%,平均精确度提高了0.6%。因此新的检测方法在减少模型参数量的同时,还可保证模型的检测精度和效率,为手势识别检测提供理论参考。     

基于Mask R-CNN与SG滤波的手势识别关键点特征提取方法

手势识别是人机交互的重要手段.为了精确识别手势并摒除光照等环境干扰,同时减除由于手部高维运动造成的关键点剧烈抖动的问题,提出一种基于基于蒙版区域的卷积神经网络(Mask Region-based convolutional neural network,Mask R-CNN)与多项式平滑算法(Savitzky-Gola...