基于深度信息的动态手势识别算法

针对目前手势识别方法计算复杂、特征量提取不可靠等问题,提出基于Kinect传感器深度信息快速动态手势识别算法。通过Kinect的深度摄像头获取深度图像,利用阈值分割法对深度图像进行预处理;结合深度信息,利用OpenCV函数库来提取前景;选用动态时间规整(dynamic time warping)算法计算测试行为模板与参考行为模板之间的相似度以实现样本的分类;最终结合OpenNI和OpenCV,在VS2010环境下实现了该算法。与其他算法相比,该算法改进动态手势特征的提取方法和分类过程,能够快速跟踪手部,有效分割手势。实验结果表明,本方法对具有时空特性的动态手势有很高的识别率,在不同光照和复杂背景下具有较好的鲁棒性。     

时空特征与通道注意力融合的视觉手势识别技术

为了解决双流融合网络对动态手势关键帧及手部轮廓特征检测不足的问题,提出一种手势时空特征与通道注意力融合的动态手势识别方法.首先,在双流融合网络中引入有效通道注意力(eficient channel attention,ECA)增强双流识别算法对手势关键帧的关注度,并利用双流中的空间卷积网络和时间卷积网络分别提取动态手势中的空间和时序特征;其次,通过ECA在空间流中选取最高关注度的手势帧,利用单发多框检测器技术(single shot multibox detector,SSD)提取相应手部轮廓特征;最后,将手部轮廓特征与双流中提取的人体姿态特征、时序特征融合后分类识别手势.该方法在Chalearn 2013多模态手语识别数据集上进行了验证,准确率为66.23％,相比之前在该数据集上仅使用RGB信息进行双流识别的方法获得了更好的手势识别效果.     

基于视频数据特性的动态手势识别

针对现有动态手势识别方法环境适应性低、计算复杂的问题,提出了一种基于视频数据特性的动态手势识别方法.使用基于密度的聚类算法DBSCAN直接从视频编码数据中的运动矢量提取出运动趋势特征,再通过随机森林分类运动趋势,结合卷积神经网络（CNN）提取的手型特征识别动态手势.实验结果表明,该方法对剑桥大学和美国西北大学数据集中动态手势的平均识别率分别达到94.22%和94.48%,并且与CNN结合长短期记忆网络的识别方法相比,手势识别时间减少了85%.在背景图像复杂且光照条件不足时,该方法仍然能够维持较高的识别率,表现出较好的鲁棒性.     

基于三维骨骼信息的动态手势识别

手势识别作为人机交互的有效手段,成为当前研究的热点话题.针对动态手势识别存在时空多变性、特征复杂性等问题,本文提出了一种基于三维骨骼信息的动态手势识别方法.动态手势具有时间上的差异性和复杂性,极大地影响了动态手势识别的准确率.因此,本文设计了一种动态手势关键帧提取算法,该算法可以提取动态手势关键部分,用于进一步的特征提取.另外,单独分类器的分类效果存在差异性,本文采用多个分类器同时对手势特征进行分类,充分利用了所提取的特征.同时,本文还提出了一种自适应融合算法,可以根据分类精度有效融合不同分类器,提高最终分类效果.最后,通过实验验证了本文提出的动态手势识别框架和方法的有效性.     

基于卷积神经网络视觉融合的动态手势识别

为了提高多帧视频序列中动态手势的识别效果,结合计算机视觉分析,提出了基于卷积神经网络视觉融合的动态手势识别方法.采用模糊数据多频谱方法进行多帧视频序列中动态手势视觉图像采集,对采集的图像用Harris角点检测和多传感识别方法进行多模状态分层特征点标定,用卷积神经网络视觉融合方法提取多帧视频序列中动态手势动作的边界轮廓特征点信息,分析多帧视频序列中动态手势的层次化分割特征,用图像分割和边缘信息增强方法,提高动态手势图像的分辨能力,结合角点优化检测技术,用视觉动态跟踪分析实现对手势动作特征点的自动化标定,根据动态手势的帧点分布规则实现多帧视频序列中动态手势动作图像的自适应特征检测和识别.仿真结果表明,采用该方法进行多帧视频序列中动态手势识别的准确性较高、实时性较好.     

人体学输入设备轨迹识别与功能增强

随着机器学习技术在轨迹识别中的广泛应用,提出了一种基于人工神经网络的浏览器鼠标手势扩展算法.该算法通过对轨迹进行分类并与动作建立映射来实现鼠标手势功能,可有效地识别各种复杂的轨迹并准确执行相应的动作.实验结果表明,该方法明显提高了用户的操作体验.     

基于Kinect深度信息的动态手势识别

针对复杂动态手势识别问题,本文首先通过体感传感器Kinect获取人体深度图像,利用阈值分割法分割出手势深度图像,然后建立由隐马尔可夫模型(HMM)和模糊神经网络(FNN)相结合的HMM-FNN模型进行动态手势识别。本文的动态手势主要是针对虚拟变电站中对设备的常用操作手势来进行人机交互研究的。HMM-FNN模型将复杂动态手势特征分解为三个子特征序列,分别建立HMM模型,然后进行模糊推理对手势进行分类识别。经实验验证,HMM-FNN模型能快速有效识别复杂动态手势,且鲁棒性强,识别效果明显优于HMM模型。     

基于层次化BoF模型和Spectral-HIK过滤的手势识别算法

为了解决基于计算机视觉的人类手势识别问题,提出一种名为层次化Bag-of-Features(BoF)的模型.该模型通过对人手区域进行划分和对图像特征分别向水平和垂直轴投影来提取图像特征的空间分布信息.为了准确快速地实现手势识别,构建一种基于直方图交叉核的手势识别分类算法.该算法结构简单、运行效率高,而且充分利用层次化BoF模型的结构特点.为了进一步提高在复杂背景下手势识别准确率和运行效率,采用一种基于谱和直方图交叉核的背景特征点过滤算法.实验结果显示,所提算法对于简单背景下的手势识别准确率可达99.79%,而对于复杂背景下的识别准确率为80.01%.     

一种复杂背景下的手势分割新方法

从复杂的彩色图像中快速划分出手势,是手势识别的识别的效果.本文在分析现有方法的基础上,提出了一种基于复杂背景下的手势分割新方法.首先,在RGB模式空间里利用1.0＜R/G＜1.3建立第一个肤色模型,然后将HSV空间改进为更适合于肤色特征的模式空间HSV,在对H特征进行简化的基础上,建立第二个肤色模型,最后将这两种肤色模型相结合,得到复杂背景下的手势分割新方法.实验结果表明,这种方法的算法简单,易于实现,分割效果较好,并可用于实时图像处理.     

基于改进的YOLOV4的手势识别算法及其应用

针对基于特征提取的手势识别算法准确率低和速度慢的问题,提出了一种基于改进YOLOV4的手势交互算法.利用数据增强的方法解决了手势数据较少的问题,同时优化YOLOV4的网络模型,改变原特征图分辨率使其能够检测到更完整的手势特征,通过K-means算法重新计算先验框的尺寸以提高对不同大小手势的识别率.将该方法与原始的YOLOV4以及Faster R-CNN算法在不同的手势数据集上进行手势识别对比,并进行了手势交互实验.实验结果表明,基于YOLOV4的改进算法手势识别准确率更高,并且能识别复杂场景下的手势,检测速度可以达到32.3帧/s,能够满足实时要求.     

基于Kinect视觉功能的机器人控制方法

介绍了一种基于Kinect装置的机器人控制方法,该方法涉及机器人控制领域,并且具体应用于两轮自平衡机器人运动控制和人机交互系统。该方法针对两轮自平衡机器人的运动控制系统利用Kinect与DTW手势识别算法对其进行控制。实验结果表明：该方法能够实现人与两轮自平衡机器人的自然交互控制,并且具有良好的实时性和鲁棒性。     

基于ShuffleNetv2-YOLOv3模型的静态手势实时识别方法

针对移动端平台下计算资源有限、存储空间小的特点,提出高效的ShuffleNetv2及YOLOv3集成网络静态手势实时识别方法,以减小模型对硬件的计算能力需求. 通过将轻量化网络ShuffleNetv2代替Darknet-53作为主干网络,减小模型的计算复杂度. 引入CBAM注意力机制模块,加强网络对空间和通道的关注度. 采用K-means聚类算法,重新生成Anchors的长宽比和数量,使重新生成的Anchors尺寸对目标进行精确定位来提高模型的检测精度. 实验结果表明,提出算法在手势识别上的平均识别准确率为99.2%,识别速度为44帧/s,单张416×416图片在GPU上的推理时间为15 ms,CPU上的推理时间为58 ms,模型所占内存为15.1 MB. 该方法具有识别精度高、识别速度快、内存占用率低等优点,有利于模型在移动终端上部署.     

线上线下结合的实时手势跟踪系统

手势识别跟踪一般采用线下训练分类器,不能有效检测跟踪形变的手势,针对手势形变及在窗口的暂时性消失等问题,提出了一种通过线下训练结合线上提取样本对分类器进行训练的检测方法,同时采用跟踪一检测一学习(TLD)的方法不断对跟踪器的结果进行纠正.试验结果表明,本算法对手势形变、短暂消失具有很好的适应性,与TLD算法相比较具有更好的稳定性.     

基于Kinect的配电作业机器人智能人机交互方法

为实现操作人员与配电作业机器人的自然交互,提出一种基于Kinect手势识别的配电作业机器人智能人机交互方法。通过Kinect的深度信息及骨骼信息对操作人员的手势进行分割,选取几何不变矩Hu矩作为手势特征,采用支持向量机(support vector machine, SVM)的机器学习方法分类识别操作人员的手势。将手势映射为机器人的运动,通过手势对机器人进行运动控制。试验结果验证了本研究所提的配电作业机器人智能人机交互方法的可行性。     

临近空间高动态高速载波捕获跟踪的实现方法

为了接收临近空间高动态高信息速率用户信号,需要设计载波链路的捕获与跟踪系统.根据临近空间网络高动态高信息速率的链路特性,着重分析了HDHI(HDHI,high dynamic and high information-rate)载波链路捕获跟踪的特性及实现方案.对载波链路捕获跟踪的设计原理做了清晰的说明和推导,提出了适合HDHI载波链路捕获跟踪设计方法,并对高动态高信息环境中接收机的载波捕获与跟踪数字系统的设计做了详细的陈述.最后通过实验和对比论证了利用DQPSK方式的HDHI信号捕获跟踪设计方法是可行的.     

复杂背景下的实时手势分割算法及其硬件实现

在分析肤色的信息特征和手势的运动特性基础上,构建一种基于肤色集、运动集、模糊手势集的手势分割及跟踪算法并采用硬件实现.该算法对颜色空间建立肤色集和对视频流空间建立运动集,通过模糊运算得到模糊手势集,其中加入跟踪算法和背景实时更新,克服了复杂背景和光照因素的干扰.整个算法在现场可编程门阵列(FPGA)上实现,利用流水线和并行处理技术实现了手势的实时分割和跟踪.实验结果表明,该方法有较好的准确性、实时性和鲁棒性,在系统时钟100 MHz时,对640×480分辨率的图像可实现100帧/s的处理速度.     

利用双目视觉视频的实时三维裸手手势识别

为了解决三维裸手手势识别算法识别率低、易受类肤色物体干扰的问题,提出一种利用双目视觉视频的三维裸手手势识别算法．首先依据双目视觉原理推导出三维空间内手势深度与手势面积的关系,基于此关系对三维手势进行快速识别．为进一步降低算法复杂度,根据极线约束规则提出一种只计算手势质心匹配点的立体匹配算法．实验结果表明,与现有算法相比,所提算法性能在处理速度、识别准确率、鲁棒性方面均有明显提高．同时,提出的算法具有较强的开放性,可进一步根据需求定义、添加需识别的三维手势．