基于多目标Camshift手势识别

基于单目视觉下的手势识别技术一般由手势建模、特征提取、手势匹配等几个关键技术构成。手势跟踪算法目前主流的是粒子滤波算法和Camshift算法。系统采用Camshift算法,将人手图像由RGB空间转换到HSV空间后,在HSV空间利用半自动预定义模板颜色对人手进行分割,并对其进行改进实现多目标跟踪,由于Camshift算法为半自动算法,在对手势进行跟踪前需对手势进行手动标定,系统采用了手势跟踪与手势识别技术结合的方法,改进了Camshift算法,解决了Camshift的半自动问题和实现多目标跟踪,实现双手的手势识别。     

CNN联合BI-LSTM混合模型的手势识别算法

基于视觉的手势识别是人机交互的热点.针对手势图像易受环境影响造成部分图像缺失,进而导致手势识别精度难以提升的问题,提出了一种基于静态手势图片数据的卷积神经网络(CNN)联合双向长短时记忆循环神经网络(Bi-LSTM)的混合模型.通过随机擦除算法处理手势数据集,可以充分模拟手势缺失问题,首先利用CNN提取手势的空间特征,...     

基于多尺度卷积神经网络模型的手势图像识别

为了解决目前利用CNN算法进行手势识别的精度不高的问题,提出一种新的算法。首先对识别的手势图片进行二值化处理,滤除手势的背景,凸显手势在图像中的权重,背景对手势识别影响降低。其次,在经典卷积神经网络模型AlexNet的基础上,提出一种多尺度卷积核的改进卷积神经网络模型。改进卷积神经网络模型采取两种卷积核进行手势特征提取,利用多尺度卷积核和双通道进行特征融合,然后利用在不同角度,不同旋转下拍摄的手势图像数据集对改进模型进行实验验证。研究结果表明,提出的算法模型在不同的角度和不同的旋转情况下对手势图像具有较高的识别率,算法的鲁棒性、识别率方面有了明显的提高。     

采用航迹特征的智能机型识别

针对空战目标识别中机型自动识别比较困难的问题，提出了采用航迹特征的智能目标识别方法。利用卷积神经网络（Convolutional Neural Network，CNN）分层学习特征的能力，训练CNN算法模型自动地从航迹数据中学习有用的特征并分类。利用沿海实地采集的15个类别的飞机航迹数据，经一系列数据预处理后作为智能识别算法的训练和测试数据，在验证实验中描述了算法网络的相关配置,对比了CNN与其他分类器的识别结果。实验结果表明，CNN具有很好的识别性能。     

基于结构分析的手势识别算法研究

从肤色模型和手掌结构两个方面出发,提出了一种新型手势分割及识别算法。即首先通过YCbCr模型将复杂背景中的肤色区域分割出来,同时通过多区域手势提取算法,提取出待识别的手势,而后再按照手势分割及识别算法对手势进行识别。通过测试,该识别算法适用于不同环境下、不同大小的手势识别,具有较好的鲁棒性。     

多种手势对应同一语义的柔性映射交互算法的研究

针对智能交互界面中手势识别错误导致交互界面变化错误和手势不识别两个基本问题,本文设计并实现了基于手势交互的智能教学界面,该系统可以通过获取教师的手势信息与教师进行交互.主要创新点在于提出了多种手势对应同一语义的柔性映射交互算法.本文选取了14种自然交互手势,分析了对应同一语义的多种手势之间的共同特征.实验结果显示,该算法能够有效降低用户负荷.该算法已经用于一个基于手势交互的智能教学系统界面中.     

基于深度卷积神经网络的手势动作识别

针对传统手势识别方法中人工特征提取信息不完整导致的识别率较低以及识别手势类别较少的问题,基于卷积神经网络(Convolutional Neural Network,CNN)的原理,设计了一种深度CNN框架,对多通道的表面肌电信号进行手势动作识别。所应用的表面肌电信号数据来自Ninapro数据库中DB2健康个体数据集,分别识别9种手指动作和49种手势动作(49种手势动作包含9种手指动作),另外40种手势动作是17种基本手势动作和23种手腕动作。对数据集的表面肌电信号数据进行提取均方根值特征,生成12通道的训练集、验证集和测试集。将处理过的表面肌电信号送入到深度CNN中,经过卷积、批次归一化、池化、梯度下降及dropout层处理,仿真测试后,DB2数据集的9种手势动作识别率是99.10%,49种手势动作手势不识别率是64.58%。     

基于分类器决策融合的红外图像目标识别方法

提出基于分类器决策融合的红外图像目标识别问题。采用稀疏表示分类（Sparse representation-based classification,SRC）和卷积神经网络（Convolutional neural network,CNN）作为基础分类器。对于测试样本,首先基于SRC进行分类,并根据输出的决策变量判断决策可靠性。当判定识别结果可靠时,则识别过程结束,输出目标类别。反之,根据SRC的结果遴选部分置信度较高的候选类别,并在下一阶段针对这一步类别采用CNN进行确认分类。此外,将CNN的输出结果与SRC进行线性加权融合处理,根据融合结果做出最后的目标类别决策。提出方法通过综合SRC和CNN两者分类器的优点,综合提升红外目标识别性能。同时,这种层次化的决策融合方式避免了对所有样本的两次分类过程,整体上能够保证识别算法的效率。实验采用五类日常生活中常见的车辆目标红外图像进行,分别设置了原始样本条件、噪声样本条件以及遮挡样本条件。通过与部分现有方法进行对比,结果反映了提出方法的有效性和可靠性。     

基于AE-CNN的手势识别算法的探讨及实现

近年,深度学习的发展使得手势识别卷积神经网络取得了突破性进展,但现有基于卷积神经网络的手势识别方法仍存在收敛速度慢、识别率低等问题,因此手势识别很难取得较好成果。通过对CNN训练过程中误差产生的原因及其反馈模型的分析,提出了一种自适应增强卷积神经网络(Adaptively Enhanced Convolution Neural Network,AE-CNN)的识别算法。结果表明,文中算法不仅实现了分类特征的自适应增强,同时也提高了收敛速度和识别率。     

基于时空压缩特征表示学习的毫米波雷达手势识别算法

针对现有无线射频信号的手势识别研究中的数据预处理和特征利用问题,该文提出一种用于调频连续波(FMCW)雷达的时空压缩特征表示学习的手势识别算法。首先对手部反射的毫米波雷达回波信号的距离-多普勒(RD)图进行静态干扰去除和动目标点筛选,减少杂波对手势信号的干扰,同时减少计算数据量;然后提出一种压缩手势时空特征的表示方法,利用动目标点的主导速度来表示手势的运动特征,实现多维特征的压缩映射,并保留手势运动的关键特征信息;最后设计了一个单通道的卷积神经网络(CNN)来学习和分类多维手势特征信息并应用于多用户和多位置的手势识别。实验结果表明,与现有其他手势识别算法相比,该文提出的手势识别方法在识别精度、实时性以及泛化能力上都具有明显的优势。     

结合手势二进制编码和类-Hausdorff距离的手势识别

针对目前动态手势识别方法受手势旋转、平移、缩放的影响,并解决手势识别的实时性问题,提出一种基于手势二进制编码和类-Hausdorff距离模板匹配的手势识别方法.首先,把分割好的手势图像进行标准化处理,求出标准化图像中的手势主方向,建立二维手势直角坐标系,提取空间手势特征;其次,根据前五帧手势图像中手势像素点个数的变化量识别出动态手势类型;然后,用手势二进制描述子从动态手势类型中再筛选出可能的候选手势集合;最后,用类-Hausdorff距离模板匹配方法从候选手势集合中识别出最终手势.主要创新点在于：提出的动态手势类型识别和手势二进制描述子匹配的方法,大大缩短了动态手势识别的时间;提出的结合手势主方向的类-Hausdorff距离方法,不仅对旋转、平移和缩放手势具有不变性,而且对区分度较小的手势也具有较高的识别准确率.实验结果表明,在光照相对稳定的条件下,该方法能够实时准确的实现动态手势识别,总体识别率达到95%以上,对发生缩放的手势识别率能达到92%以上,对发生旋转的手势识别率能达到87%以上.本文算法已经在一个基于手势的人机交互界面中得到应用.     

Research on unified recognition model and algorithm for multi-modal gestures

In gesture recognition,static gestures,dynamic gestures and trajectory gestures are collectively known as multi-modal gestures.To solve the existing problem in different recognition methods for different modal gestures,a unified recognition algorithm is proposed.The angle change data of the finger joints and the movement of the centroid of the hand were acquired respectively by data glove and Kinect.Through the preprocessing of the multi-source heterogeneous data,all hand gestures were considered as curves while solving hand shaking,and a uniform hand gesture recognition algorithm was established to calculate the Pearson correlation coefficient between hand gestures for gesture recognition.In this way,complex gesture recognition was transformed into the problem of a simple comparison of curves similarities.The main innovations:1) Aiming at solving the problem of multi-modal gesture recognition,an unified recognition model and a new algorithm is proposed;2) The Pearson correlation coefficient for the first time to construct the gesture similarity operator is improved.By testing 50 kinds of gestures,the experimental results showed that the method presented could cope with intricate gesture interaction with the 97.7% recognition rate.     

基于深度卷积神经网络的多特征融合的手势识别

针对传统的分类方法由于提取的特征比较单一或者分类器结构过于简单,导致手语识别率较低的问题,本文将深度卷积神经网络架构作为分类器与多特征融合算法进行结合,通过使用纹理特征结合形状特征做到有效识别。首先纹理特征通过LBP、卷积神经网络和灰度共生矩阵方法得到,其中形状特征向量由Hu氏不变量和傅里叶级数组成。为了避免过拟合现象,使用"dropout"方法训练深度卷积神经网络。这种基于深度卷积神经网络的多特征融合的手语识别方法,在"hand"数据库中,对32种势的识别率为97.73%。相比一般的手语识别方法,此方法鲁棒性更强,并且识别率更高。     

一种基于集成卷积神经网络的SAR图像目标识别算法

针对合成孔径雷达(Synthetic Aperture Radar, SAR)图像目标识别问题，提出了一种基于集成卷积神经网络(Convolutional Neural Network, CNN)的SAR图像目标识别方法。首先对原始数据集进行数据增强的预处理操作，以扩充训练样本；接着通过重采样的方法从训练样本中获取不同的训练子集，并在训练各基分类器时引入Dropout和Padding操作，有效增强了网络泛化能力；然后采用Adadelta算法与Nesterov动量法结合的思想来优化网络，提高了网络的收敛速度和识别精度；最后采用相对多数投票法对基分类器的分类结果进行集成。在MSTAR数据集上进行的实验结果表明，集成后的模型识别准确率达到99.30%,识别性能优于单个卷积神经网络，具有较强的泛化能力和较好的稳健性。     

用于人机交互的静态手势识别系统

提出并实现一个用于人机交互的静态手势识别系统。基于皮肤颜色模型进行手势分割，并用傅里叶描述子描述轮廓。采用针对小样本特别有效且范化误差有界的支持向量机方法：最小二乘支持向量机（LS－SVM）作为分类器。提出了LS－SVM的增量训练方式，避免了费时的矩阵求逆操作。为实现多类手势识别，利用DAG（Directed Acyclic Graph)将多个两类LS－SVM结合起来。对26个字母手势进行识别，与多层感知器、径向基函数网络等方法比较，LS－SVM的识别率最高，为93．62％。     

Face recognition system based on CNN and LBP features for classifier optimization and fusion

Face recognition has been a hot-topic in the field of pattern recognition where feature extraction and classification play an important role. However, convolutional neural network (CNN) and local binary pattern (LBP) can only extract single features of facial images, and fail to select the optimal classifier. To deal with the problem of classifier parameter optimization, two structures based on the support vector machine (SVM) optimized by artificial bee colony (ABC) algorithm are proposed to classify CNN and LBP features separately. In order to solve the single feature problem, a fusion system based on CNN and LBP features is proposed. The facial features can be better represented by extracting and fusing the global and local information of face images. We achieve the goal by fusing the outputs of feature classifiers. Explicit experimental results on Olivetti Research Laboratory (ORL) and face recognition technology (FERET) databases show the superiority of proposed approaches.     

基于串联式一维神经网络的毫米波雷达动态手势识别方法

现有的基于雷达传感器的手势识别方法,大多先利用雷达回波对手势的距离、多普勒和角度等信息进行参数估计,得到各种数据谱图,然后再利用卷积神经网络对这些谱图进行分类,实现过程较为复杂。该文提出一种基于串联式1维神经网络(1D-ScNN)的毫米波雷达动态手势识别方法。首先基于毫米波雷达获取动态手势的原始回波,然后利用1维卷积和池化操作对手势特征进行提取,并将这些特征信息输入1维Inception v3结构。最后在网络的末端接入长短期记忆(LSTM)网络来聚合1维特征,充分利用动态手势的帧间相关性,提高识别准确率和训练收敛速度。实验结果表明,该方法实现过程简单,收敛速度快,识别准确率可以达到96.0%以上,高于现有基于数据谱图的手势分类方法。     

Frontalization and adaptive exponential ensemble rule for deep-learning-based facial expression recognition system

Automatic facial expression recognition (FER) is an important technique in human–computer interfaces and surveillance systems. It classifies the input facial image into one of the basic expressions (anger, sadness, surprise, happiness, disgust, fear, and neutral). There are two types of FER algorithms: feature-based and convolutional neural network (CNN)-based algorithms. The CNN is a powerful classifier, however, without proper auxiliary techniques, its performance may be limited. In this study, we improve the CNN-based FER system by utilizing face frontalization and the hierarchical architecture. The frontalization algorithm aligns the face by in-plane or out-of-plane, rotation, landmark point matching, and removing background noise. The proposed adaptive exponentially weighted average ensemble rule can determine the optimal weight according to the accuracy of classifiers to improve robustness. Experiments on several popular databases are performed and the results show that the proposed system has a very high accuracy and outperforms state-of-the-art FER systems.     

融合双流三维卷积和注意力机制的动态手势识别

得益于计算机硬件以及计算能力的进步,自然、简单的动态手势识别在人机交互方面备受关注。针对人机交互中对动态手势识别准确率的要求,该文提出一种融合双流3维卷积神经网络(I3D)和注意力机制(CBAM)的动态手势识别方法CBAM-I3D。并且改进了I3D网络模型的相关参数和结构,为了提高模型的收敛速度和稳定性,使用了批量归一化(BN)技术优化网络,使优化后网络的训练时间缩短。同时与多种双流3D卷积方法在开源中国手语数据集(CSL)上进行了实验对比,实验结果表明,该文所提方法能很好地识别动态手势,识别率达到了90.76%,高于其他动态手势识别方法,验证了所提方法的有效性和可行性。