基于卷积神经网络优化TLD运动手势跟踪算法

针对TLD（Tracking-Learning-Detection）算法在光照变化不均、遮挡严重、跟踪目标模糊等情况下会出现跟踪失败的问题，提出一种基于卷积神经网络优化TLD运动手势跟踪算法。选取手势特征作正样本，其背景作负样本，获取手势HOG特征并投入到卷积神经网络中加以训练，得到手势检测分类器，从而确定目标手势区域，实现手势的自动识别；再利用TLD算法对手势进行跟踪与学习，对正负样本进行估计检测并实时校正，同时运用SURF特征匹配更新跟踪器。实验结果验证，该算法对比TLD经典算法跟踪精度提高了4.24%，增强了运动手势的跟踪效果，相比经典跟踪算法拥有更高鲁棒性。     

加工工件位置和姿态的自动检测、识别与校正方法

加工工件在数控机床工作台上位置的精确确定是数控系统研究中必须仔细考虑的问题。以数控机床为对象 ,提出了一种对有定位基准平面或工艺基准平面类工件位置和姿态精确确定的新方法 ,并论述了测量所用传感器的工作原理和实验考核。该方法可实现将工件粗略安装在工作台的合适位置上 ,使用自行研制的高精度检测传感器和有效的算法进行加工工件位置和姿态的自动测量、识别和校正 ,而无需夹具的精确定位 ,而且在测量系统上设置有自动减速单元以提高测量效率。通过实验证明了该方法是正确的、可行的。     

基于卷积神经网络的嵌入式手势检测算法

针对嵌入式平台下卷积神经网络运行速度慢,无法快速手势检测的问题,提出一种基于SSD的卷积神经网络的嵌入式手势检测算法,该算法显著提高了手势检测速度,并保持了高精度。首先通过一种预处理方法,对原来的手势数据库进行5倍扩展;然后对SSD算法的基础神经网络层进行卷积因子分解,使用MobileNet神经网络获得了在CPU下的3倍加速;最后通过改变输入图片大小同时改变网络结构,减少了算法的计算复杂度。实验结果表明所提算法在两个数据集上的平均精度均值（Mean Average Precision,mAP）下降2.7%,但是在Qualcomm SnapDragon 820平台下检测一张图片时间可达到0.233 s,检测速度提高40倍以上。     

基于Leap Motion的动态手势识别方法

伴随虚拟现实（Virtual Reality,VR）技术的发展,以及人们对人机交互性能和体验感的要求提高,手势识别作为影响虚拟现实中交互操作的重要技术之一,其精确度急需提升^[1].针对当前手势识别方法在一些动作类似的手势识别中表现欠佳的问题,提出了一种多特征动态手势识别方法.该方法首先使用体感控制器Leap Motion追踪动态手势获取数据,然后在特征提取过程中增加对位移向量角度和拐点判定计数的提取,接着进行动态手势隐马尔科夫模型（Hidden Markov Model,HMM）的训练,最后根据待测手势与模型的匹配率进行识别.从实验结果中得出,该多特征识别方法能够提升相似手势的识别率.     

基于电容的手势识别系统

传统手势识别装置一般依赖于复杂计算设备,在简单场合配置手势识别装置成本过高。针对这一问题,提出了基于电容数字转换器的手势识别系统。具体实施过程中,电容数字转换器采集静态手势特征,滑动窗口滤波加工特征数值,再结合K邻近分类算法判别静态手势。该系统具有对硬件要求低、功耗小、对环境光强不敏感等优点。经过50次试验,系统对于常用的数字零到五手势识别正确率为98%,判别时间小于0.6 s。     

Multimodal hand gesture recognition combining temporal and pose information based on CNN descriptors and histogram of cumulative magnitudes

In this paper, we present a new approach for dynamic hand gesture recognition. Our goal is to integrate spatiotemporal features extracted from multimodal data captured by the Kinect sensor. In case the skeleton data is not provided, we apply a novel skeleton estimation method to compute temporal features. Furthermore, we introduce an effective method to extract a fixed number of keyframes to reduce the processing time. To extract pose features from RGB-D data, we take advantage of two different approaches: (1) Convolutional Neural Networks and (2) Histogram of Cumulative Magnitudes. We test different integration methods to fuse the extracted spatiotemporal features to boost recognition performance in a linear SVM classifier. Extensive experiments prove the effectiveness and feasibility of the proposed framework for hand gesture recognition.     

基于Leap Motion手语语音转换的设计与实现

文章介绍了基于Leap Motion手语语音转换的原理以及在实际中如何实现应用,其能够将手语手势翻译成所需语言,并且以语音的形式传递消息,实现为聋哑人"发声"的目的。Leap Motion手语语音转换的硬件部分采用Leap Motion体感控制器,能够实时采集人手指的坐标、加速度、方向等动态手势的运动信息。软件采用Unity 3D三维引擎,提供了开发手势识别的SDK,并给出了一些基本手的模型,在Unity 3D中完成由手势到文字,再到语音的转换。     

一种基于深度图像的静态手势神经网络识别方法

静态手势识别是以手势驱动的人机交互系统的核心技术。针对静态手势识别问题,提出了一种基于深度图像进行静态手势识别的方法。为了消除静态手势识别过程中的平移、旋转和缩放不变性,提取手势轮廓的Hu不变矩,并以Hu不变矩作为特征构建静态手势深度感知神经网络模型,以此实现对静态手势进行分类识别。在VisualStudio的开发环境下实现了对该方法的验证,取得了良好的效果,并与传统的模板匹配法与基于卷积神经网络的深度学习方法作比较,静态手势识别准确率总体可达95%,识别效率高,能满足实时性要求。     

基于状态机的手语动画自动生成技术

目前,手语的资源主要是图片、视频和动画。由于这些资源相对比较固定,无法动态扩展,不能满足手语动画自动生成的需求。论文将状态机应用于手语动画生成中,设计了基于状态机的手语动画自动生成技术算法,并将该算法应用到公交报站手语自动生成系统中。实验结果表明,生成的手语动作流畅,准确率达97%,具有良好的市场应用前景。