基于三维手部骨架数据的连续手语识别

为有效地消除手语识别过程中背景、光照等干扰因素带来的视觉问题,采用低冗余的骨架数据表达手语信息,设计了一个端到端连续手语识别模型.首先,分别从帧内和帧间提取手型和轨迹特征,可以有效地降低原始样本的离散程度;其次,构建一系列并行的双路残差网络对手型和轨迹特征进行优化与融合,生成时空特征序列;最后,基于注意力机制的编码-解码网络实现时空特征序列到翻译文本的映射.使用Leap Motion收集建立了一个基于三维手部骨架数据的手语数据集LMSLR.实验结果表明,在LMSLR数据集和公共的CSL数据集上,该模型与大多数基于视频处理的模型相比具有较高的准确率和较小的计算量.     

手语识别、翻译与生成综述

手语研究是典型的多领域交叉研究课题,涉及计算机视觉、自然语言处理、跨媒体计算、人机交互等多个方向,主要包括离散手语识别、连续手语翻译和手语视频生成.手语识别与翻译旨在将手语视频转换成文本词汇或语句,而手语生成是根据口语或文本语句合成手语视频.换言之,手语识别翻译与手语生成可视为互逆过程.文中综述了手语研究的最新进展,介...     

多层注意力机制融合的序列到序列中国连续手语识别和翻译

使计算机能够理解手语者的表达一直是一项极具挑战性的任务,不仅需要考虑手语视频的时间和空间信息,同时还要考虑手语语法的复杂性。在连续手语识别任务中,手语词汇和手语动作共享一致的顺序;而在连续手语翻译任务中,生成的自然语言句子应符合口语化描述,词汇顺序和动作顺序可能不一致。为了能够更加准确地学习手语者的表达,提出了一个新颖的能同时进行手语识别和翻译的深度神经网络。该方案探讨了不同的经典预训练卷积神经网络和不同的多层时序注意力分值函数在连续手语识别上的效果,网络将手语视频高级抽象特征和低级时序语义组合在多层时间注意力融合模块中,形成更全面的序列注意力融合特征,从而从连续手语视频中更准确地生成gloss句子。结合Transformer语言模型将手语识别gloss句子转换为符合手语翻译的连续自然语言句子。首先,该方法在第一个大规模的复杂背景的中国连续手语识别和翻译数据集Tslrt上进行评估。利用Tslrt数据集中手语者复杂的背景环境和丰富的动作表达来训练所提神经网络模型,通过不同的对比实验得到了一系列的基准结果。在连续手语识别和翻译的任务上,效果最好的词错误率分别达到了4.8%和5.1%。为了进...     

基于无线传感技术与卷积神经网络的静态手语识别方法

基于传感网络的手语识别随着手势复杂程度的提升，识别的难度增大，因此，为了获取更加精准的静态手语识别结果，提出了基于无线传感技术与卷积神经网络的静态手语识别方法。通过无线传感技术对静态手语图像滤波处理，采用特征提取方法提取静态手语特征并进行融合处理，将融合后的连续二维特征图像直接转换为一维向量，将其作为卷积神经网络的输入，通过迭代训练完成静态手语识别。实验结果表明，所提方法在不同场景下静态手语识别精度高于94.11%，且识别速度较快，由此验证了所提方法可以快速准确完成静态手语识别。     

基于深度信息和SURF-BoW的中国手语识别算法

为实现视频中手语的准确识别,提出一种基于深度图连续自适应均值漂移(DI_CamShift)和加速强健特征词包(SURF-BoW)的中国手语识别算法.该算法将Kinect作为手语视频采集设备,在获取彩色视频的同时得到其深度信息.算法首先计算深度图像中手语手势的主轴方向角和质心位置,通过调整搜索窗口对手势准确跟踪;然后使用基于深度积分图像的OTSU算法分割手势并提取其加速强健特征(SURF),进而构建SURF-BoW作为手语特征并使用SVM识别.通过实验验证该算法在单个手语字母上的最好识别率为99.37%,平均识别率为96.24%.     

基于SVM融合多特征的介词结构自动识别

介词结构在汉语文本中出现频率很高,正确识别介词结构边界对句法分析、语音合成中的韵律短语划分有着重要意义。该文较为系统地探讨了汉语中常用介词的边界识别问题。利用支持向量机SVM模型,基于输出概率而不是简单的二分法来选择正确的后边界。探讨了不同的特征选择,并尝试加入语义信息等不同特征组合以提高识别准确率。对常用的68个介词进行边界识别实验,5折交叉验证的准确率达到90.95%,优于前人的识别结果。     

基于Haar小波分解的实时手势识别

传统基于样例的识别方法由于数据量大而难以应用于实时手势识别。为此,利用Haar小波可用于分解图像,保留细节部分而丢弃高频部分的特点,将视频序列中每一帧的图像尺寸降到不影响系统准确率的程度,同时降低识别过程的计算量。采用单摄像头在一个36个元素的美国手语手势集上进行实验,结果证明系统的有效识别速率可以提高到30 f/s且准确率几乎未变,可以满足实时性需求。     

基于韵律信息的连续语流调型评测研究

汉语连续语流中的调型评测是汉语语音评测的一个重要环节,利用连续语流中韵律耦合效应和韵律结构紧密相关这一特性,以韵律词为基本建模单元,建立基于多空间概率分布的HMM调型模型(MSD-HMM),使得汉语普通话水平评测系统针对标准连续语流的调型识别率从82.0% 提升至84.6%;针对有方言背景的非标准发音,机器评分与专家评分的相关度绝对提升超过3.0%。     

基于手语视觉单词特征的手语字母识别研究

为有效识别手语字母,提出一种手语视觉单词(SLVW)的识别方法。采用Kinect获取手语字母视频及其深度信息,在深度图像中,通过计算获得手语手势的主轴方向角和质心位置以调整搜索窗口,利用基于深度图像信息的DI_CamShift方法对手势进行跟踪,进而使用基于深度积分图像的Ostu方法分割手势,并提取其尺度不变特征变换数据。将局部特征描述子表示的图像小区域量化生成SLVW,统计一幅手语图像中的视觉单词频率,用词包模型表示手语字母,并用支持向量机进行识别。实验结果表明,该方法不受颜色、光照和阴影的干扰,具有较高的识别准确性和鲁棒性,对复杂背景手语视频中的30个手语字母的平均识别率达到96.21%。     

基于关键帧的连续手语语句识别算法研究

目前,对于动态手语的识别大多只是针对手语词汇的,对连续的手语语句的识别研究以及相应成果较少,原因在于难以对其进行有效的分割。提出了一种基于加权关键帧的手语语句识别算法。关键帧可以看作是手语词汇的基本组成单元,根据关键帧即可得到相关词汇,并将其组成连续的手语语句,从而避免了对手语语句直接做分割的难点。借助于体感设备,首先提出了一种基于手语轨迹的自适应关键帧提取算法,然后根据关键帧包含的语义对其进行加权处理,最后设计了基于加权关键帧序列的识别算法,得到连续的手语语句。实验证明,设计的算法可以实现对连续手语语句的实时识别。     

基于多颗粒度文本表征的中文命名实体识别方法

中文命名实体识别常使用字符嵌入作为神经网络模型的输入,但是中文没有明确的词语边界,字符嵌入的方法会导致部分语义信息的丢失。针对此问题,该文提出了一种基于多颗粒度文本表征的中文命名实体识别模型。首先,在模型输入端结合了字词表征,然后借助N-gram编码器挖掘N-gram中潜在的成词信息,有效地联合了三种不同颗粒度的文本表征,丰富了序列的上下文表示。该文在Weibo、Resume和OntoNotes4数据集上进行了实验,实验结果的F₁值分别达到了72.41%、96.52%、82.83%。与基准模型相比,该文提出的模型具有更好的性能。     

基于SRN/HMM的非特定人连续手语识别系统

手语识别是通过计算机提供一种有效而准确的机制将手语翻译成文本或语音。目前最新发展水平的手语识别系统在实际应用中应解决非特定人连续手语问题。提出一种将连续手语识别分解成各弧立词识别的分治方法，用于非特定人连续手语识别。把精简循环网（simple recurrent network,简称SRN）作为连续手语的段边界检测器，把SRN分段结果作为隐马可夫模型（hidden Markov models,简称HMM）框架中的状态输入，在HMM框架里使用网格Viterbi算法搜索出一条最佳手语词路径。实验结果表明，该方法的识别效果比单纯使用HMM要好。     

连续复杂手语中关键动作的提取算法

文中提出了一种在手语动作中提取关键动作的算法。在连续复杂的手语动作中,关键动作数量少且状态相对稳定,因此利用关键动作构造手语的数据模型,将会减少不稳定因素,提高准确率。因此文中提出了一种自适应的分类算法,利用关键动作之间时间的先后关系,以及动作上的不相关性,逐步提取关键动作。实验证明, 该算法 不仅可以面向非特定人群,而且无论是对单独的手语词汇,还是连续的手语语句,均可以提取到全部的关键动作。关键动作可以看作是手语的基元,因此关键动作的提取对于构造新的手语数据模型以及识别手语都具有重要意义。     

基于词根的中国手语识别方法

迄今为止，手语识别面临的最大问题是如何解决词汇集易扩充的连续识别，提出一种大词汇量连续中国手语识别方法，将词根作为识别基元，由于基元的数目是有限的，因此基于HMM的手语信号的训练和识别变得比较容易处理，可以实现更大词汇量的识别。除此之外，所提方法还有利于实现手势语和手指语的混合识别。从中国手语中共整理现2400多个词根，为每个词根建一个并行的HMM模型，对各数据流的HMM模型进行聚集，确定出手识别的基元。根据这些基元对手妫刻苦骊，并建立了树状搜索网络，使用状态垄点上高斯密度函数聚类、语言模型和N－Best方法提高系统的速度和精度。对5119个手语词做了实验，连续语句的识别率可在90％以上。     

基于注意力机制的文本作者识别

基于神经网络的作者识别在面临较多候选作者时识别准确率会大幅降低。为了提高作者识别精度,提出一种由快速文本分类（fastText）和注意力层构成的神经网络,并将该网络结合连续的词性标签n元组合（POS n-gram）特征进行中文小说的作者识别。与文本卷积神经网络（TextCNN）、文本循环神经网络（TextRNN）、长短期记忆（LSTM）网络和fastText进行对比,实验结果表明,所提出的模型获得了最高的分类准确率,与fastText模型相比,注意力机制的引入使得不同POS n-gram特征对应的准确率平均提高了2.14个百分点;同时,该模型保留了fastText的快速高效,且其所使用的文本特征可以推广到其他语言上。     

A Chinese sign language recognition system based on SOFM/SRN/HMM

In sign language recognition (SLR), the major challenges now are developing methods that solve signer-independent continuous sign problems. In this paper, SOFM/HMM is first presented for modeling signer-independent isolated signs. The proposed method uses the self-organizing feature maps (SOFM) as different signers' feature extractor for continuous hidden Markov models (HMM) so as to transform input signs into significant and low-dimensional representations that can be well modeled by the emission probabilities of HMM. Based on these isolated sign models, a SOFM/SRN/HMM model is then proposed for signer-independent continuous SLR. This model applies the improved simple recurrent network (SRN) to segment continuous sign language in terms of transformed SOFM representations, and the outputs of SRN are taken as the HMM states in which the lattice Viterbi algorithm is employed to search the best matched word sequence. Experimental results demonstrate that the proposed system has better performance compared with conventional HMM system and obtains a word recognition rate of 82.9% over a 5113-sign vocabulary and an accuracy of 86.3% for signer-independent continuous SLR.     

面向大词汇量的实时连续中国手语识别系统

目前手语识别研究的难点之一在于如何实现大词汇量的连续语句识别，针对这个问题，该文提出了几个有效的方法，包括修正转移矩阵，状态结点的捆绑，快速匹配，在搜索路径中加入词跳转的估计参数等。利用上述技术，该文实现了一个基于数据手套和位置跟踪器的大词汇量的连续的中国手语实时识别系统，对中国手语辞典中收录的5100个词以及一批连续语句作实验，实验结果表明，文中所介绍的技术在提高系统识别速度和准确率方面都很有效。     

Study on translating Chinese into Chinese sign language

Sign language is a visual-gestural language mainly used by hearingimpaired people to communicate with each other.Gesture and facial expression are important grammar parts of sign language.In this paper,a text-based transformation method of Chinese-Chinese sign language machine translation is proposed.Gesture and facial expression models are createwd.And a practical system is implemented.The input of the system is Chinese text.The output of the system is “graphics person“ who can gesticulate Chinese sign algnuage accompained by facial expression that corresponds to the Chinese text entered so as to realize automatic translation from Chinese text to Chinese sign language.     

具有不同数目状态结点的HMMs在中国手语识别中的应用

中国手语是中国聋人使用的语言,主要通过手势动作来表达一定的含义。因而,手语识别问题是动态连续信号的识别问题。目前大部分手语识别系统采用HMMs(hidden Markov models)作为系统的识别系统。由于各个词包含的基本手势数不同,若所有模型都由同样数目的状态结点构成会影响识别率。而由人为每个词设置状态数又很难达到完全准确,所述系统使用一种基于动态规划的估计状态结点数的办法,并实现了基于具有不同状态数目的HMM的训练及识别过程,实验结果表明,该系统在手语的识别速度和识别精度方面都有所提高。     

基于二阶隐马尔可夫模型的连续手语识别

在传统的一阶隐马尔可夫模型(HMM1)中,状态序列中的每一个状态被假设只与前一个状态有关,这样虽然可以简单、有效地推导出模型的学习和识别算法,但也丢失了许多从上文传递下来的信息.因此,在传统一阶隐马尔可夫模型的基础上,为了解决手语识别困难、正确率低的问题,提出了一种基于二阶隐马尔可夫模型(HMM2)的连续手语识别方法....