基于关键帧的连续手语语句识别算法研究

目前,对于动态手语的识别大多只是针对手语词汇的,对连续的手语语句的识别研究以及相应成果较少,原因在于难以对其进行有效的分割。提出了一种基于加权关键帧的手语语句识别算法。关键帧可以看作是手语词汇的基本组成单元,根据关键帧即可得到相关词汇,并将其组成连续的手语语句,从而避免了对手语语句直接做分割的难点。借助于体感设备,首先提出了一种基于手语轨迹的自适应关键帧提取算法,然后根据关键帧包含的语义对其进行加权处理,最后设计了基于加权关键帧序列的识别算法,得到连续的手语语句。实验证明,设计的算法可以实现对连续手语语句的实时识别。     

连续复杂手语中关键动作的提取算法

文中提出了一种在手语动作中提取关键动作的算法。在连续复杂的手语动作中,关键动作数量少且状态相对稳定,因此利用关键动作构造手语的数据模型,将会减少不稳定因素,提高准确率。因此文中提出了一种自适应的分类算法,利用关键动作之间时间的先后关系,以及动作上的不相关性,逐步提取关键动作。实验证明, 该算法 不仅可以面向非特定人群,而且无论是对单独的手语词汇,还是连续的手语语句,均可以提取到全部的关键动作。关键动作可以看作是手语的基元,因此关键动作的提取对于构造新的手语数据模型以及识别手语都具有重要意义。     

基于自编码的中国手语识别研究

针对动态手语上下文联系强的特点,采用LSTM(Long Short-Term Memory)循环神经网络用于识别,同时,利用自编码实现动态手语的无监督学习。该方法将数据手套作为采集设备,在获取手语信息后,通过编码器、解码器生成手语的重构矢量。在实验过程中,将采集的数据集进行模型的训练,并与监督学习的结果进行比较。实验结果表明,该方法能够有效进行手语识别的无监督学习。     

DCNN-DGML融合深度神经网络步态识别算法

针对骨架步态识别任务中步态信息时空关联性弱和易受复杂背景干扰的问题,该文提出一种基于深度卷积神经网络和动态门记忆学习(DCNN-DGML)的骨架步态识别算法。首先根据步态运动规律建立端到端的步态识别模型;其次为了实现多层特征语义信息的融合,该模型中设计了多层特征融合机制改进GoogleNet;同时,在LSTM的基础上设计了一种动态门记忆学习结构来记录时序信息,以提升特征的鲁棒性。为了评估提出的DCNNDGML步态识别系统,在自建数据库上进行了实验研究,识别精度达到97%,结果明显优于传统步态识别方法。     

基于瞬时幅度和相位的深度学习调制识别

针对基于似然和特征工程的调制识别方法存在需要人为提取特定特征和鲁棒性低等缺点,提出一种结合一维卷积神经网络和长短期记忆网络的深度学习模型,并将原始IQ信号转化为瞬时幅度和相位的调制信号数据,有效提高QAM16和QAM64之间区分度,从而提高10类数字和模拟信号的调制识别准确率.实验结果表明,在信噪比0 dB以上的平均准确率达到了93.21％,比现有方法准确率提高约3.4百分点,高信噪比下数字调制信号识别准确率达到了约99％.     

基于深度学习的入侵检测研究

针对网络流量数据具有时间和空间双重特性,提出了混合卷积神经网络和循环卷积神经网络的入侵检测模型。将数据预处理后输入卷积神经网络,用于学习流量数据的空间特征,将所学到的特征输入长短期记忆网络,用于学习流量数据的时序特征。实验表明,混合结构模型准确率,比单独使用卷积神经网络和长短期记忆神经网络的效果好。     

基于雷达传感器的连续人体动作识别方法

针对基于雷达传感器的离散人体动作识别方法难以得到实际应用的问题,文章提出了一种基于雷达传感器的连续人体动作识别方法.首先对连续动作的雷达回波信号进行预处理得到距离时间域图像.然后通过时频分析得到微多普勒时频谱图像.最后分别采用支持向量机与长短期记忆网络作为分类器进行动作识别.实验结果表明,采用长短期记忆网络作为分类器对...     

基于SRN/HMM的非特定人连续手语识别系统

手语识别是通过计算机提供一种有效而准确的机制将手语翻译成文本或语音。目前最新发展水平的手语识别系统在实际应用中应解决非特定人连续手语问题。提出一种将连续手语识别分解成各弧立词识别的分治方法，用于非特定人连续手语识别。把精简循环网（simple recurrent network,简称SRN）作为连续手语的段边界检测器，把SRN分段结果作为隐马可夫模型（hidden Markov models,简称HMM）框架中的状态输入，在HMM框架里使用网格Viterbi算法搜索出一条最佳手语词路径。实验结果表明，该方法的识别效果比单纯使用HMM要好。     

基于深度图像信息的手语识别算法

为了实现手语视频中手语字母的准确识别,提出了一种基于DI_CamShift和手语视觉单词（SLVW）的手语识别算法。首先采用Kinect获取手语字母手势视频及其深度信息;然后通过计算获得深度图像中手语手势的主轴方向角和质心位置,计算搜索窗口对手势跟踪;进而使用基于深度积分图像的Ostu算法分割手势并提取其尺度不变特征转换(SIFT)特征;最后构建SLVW词包并用支持向量机(SVM)进行识别。单个手语字母最好识别率为99.67%,平均识别率96.47%     

基于ANN/HMM的中国手语识别系统

手语是聋哑人使用的语言。它是由手形动作辅之以表倩姿势为符号构成的比较稳定的表达系统,是一种靠动作／视觉交际的特殊的语言。一方面,手语识别可以作为健全人与聋哑人之间的翻译,为聋哑人提供更好的服务;另一方面,作为人体语言理解的一部分,手语识别可作为人机交互的一种手段。该文实现了基于ANN／HMM的手语识别系统,采用ANN方法建立了关于手形、位置、方向的特征映射器,并在建立手形特征映射器的过程中,给出了多特征多分类器融合算法。实验证明,基于ANN／HMM的手语识别系统是可行及实用的。     

基于改进残差网络的交通标志识别算法

针对模型在下采样过程中不断损失图像的高层次信息,从而导致特征提取不足的问题,本文对ResNet网络结构进行改进,提出基于多尺度特征与注意力机制的交通标志识别方法。首先,通过特征融合的方式将模型各个层次的多尺度特征进行融合,丰富特征语义信息,增强网络的特征提取能力。然后,通过注意力机制强化不同通道特征,提升特征整体的表达能力。结合这2种方法可提升模型的交通标志识别准确率。在GTSRB和BelgiumTS交通标志数据集上的实验结果表明,所提出方法的准确率分别达到99.31%和98.96%,优于前沿的交通标志识别算法。     

手语识别方法与技术综述

手语作为聋哑人和健听人的主要交流渠道,在日常生活中发挥着十分重要的作用.随着计算机视觉领域和深度学习领域的高速发展,手语识别领域也迎来了新的机遇.对近年来基于计算机视觉的手语识别研究中使用的先进方法和技术进行了综述.从静态手语、孤立词和连续语句识别三个分支出发,系统地阐述了手语识别常用方法和技术难点.详细介绍了图像预处...     

基于卷积神经网络与集成学习的交通标志识别

为提高复杂情况（如遮挡、透视畸变等）下交通标志识别的精度,提出一种有效的基于卷积神经网络(Convolutional Neural Network, CNN)与集成学习的交通标志识别方法。首先通过融合颜色分割、形态学处理、形状检测等多种方法分割出交通标志,然后利用卷积神经网络对其特征进行提取并分别采用支持向量机(Support Vector Machine, SVM)和Softmax多类分类器对其进行识别,最后将2种分类结果进行集成作为最终的识别结果。实验结果表明,本文算法可有效提高复杂情况下交通标志识别精度,整体上具有较高的性能。     

基于深度学习的人体动作识别综述

人体动作识别是视频理解领域的重要课题之一,在视频监控、人机交互、运动分析、视频信息检索等方面有着广泛的应用.根据骨干网络的特点,从2D卷积神经网络、3D卷积神经网络、时空分解网络三个角度介绍了动作识别领域的最新研究成果,并对三类方法的优缺点进行了定性的分析和比较.然后,从场景相关和时间相关两方面,全面归纳了常用的动作视...     

基于CNN-LSTM及深度学习的风电场时空组合预测模型

为了更好地预测风电场的风电功率,提取风电场相邻站点之间时空信息和潜在联系,提出了一种基于卷积神经网络(CNN)、互信息(mutual information, MI)法、长短时记忆网络(LSTM)、注意力机制(AT)和粒子群优化(PSO)的短期风电场预测模型(MI-CNN-ALSTM-PSO)。CNN用于提取不同站点的空间特征,LSTM则用于获取多个站点的风电数据的时间依赖信息,据此设计CNN-LSTM时空预测模型,并结合深度学习算法,如MI特征选择、 AT注意力机制、 PSO参数优化,对模型进一步改进。通过两个海岛风电场的实验数据分析可知,所提模型具有最优的统计误差,CNN-LSTM模型可以高效提取风电场时空信息并进行时间序列预测,而结合深度学习算法(MI、 AT和PSO)后的组合模型能进一步提高风电功率预测精度和稳定性。     

面向大词汇量的实时连续中国手语识别系统

目前手语识别研究的难点之一在于如何实现大词汇量的连续语句识别，针对这个问题，该文提出了几个有效的方法，包括修正转移矩阵，状态结点的捆绑，快速匹配，在搜索路径中加入词跳转的估计参数等。利用上述技术，该文实现了一个基于数据手套和位置跟踪器的大词汇量的连续的中国手语实时识别系统，对中国手语辞典中收录的5100个词以及一批连续语句作实验，实验结果表明，文中所介绍的技术在提高系统识别速度和准确率方面都很有效。     

基于深度学习的短时交通流预测模型

交通流预测在智能交通领域有着重要的现实意义。由于交通流数据受多种因素影响,平稳性差、随机性强,呈现出高度非线性的特征,使得交通流预测极为困难。针对短时交通流预测准确性的要求,本文提出一种基于互补集成经验模态分解(Complete Ensemble Empirical Mode Decomposition, CEEMD),并结合卷积神经网络(Convolutional Neural Networks, CNN)和长短期记忆网络(Long Short-Term Memory, LSTM)的短时交通流预测方法。模型通过CEEMD信号分解减少噪声对交通流数据预测的影响,采用CNN、LSTM充分挖掘数据的时空特征,使得模型做出更加准确的判断,从而提高神经网络的学习效率。在真实交通流数据上进行实验验证,结果表明,本文提出的模型可以有效提高交通流预测的准确性。