多层注意力机制融合的序列到序列中国连续手语识别和翻译

使计算机能够理解手语者的表达一直是一项极具挑战性的任务,不仅需要考虑手语视频的时间和空间信息,同时还要考虑手语语法的复杂性。在连续手语识别任务中,手语词汇和手语动作共享一致的顺序;而在连续手语翻译任务中,生成的自然语言句子应符合口语化描述,词汇顺序和动作顺序可能不一致。为了能够更加准确地学习手语者的表达,提出了一个新颖的能同时进行手语识别和翻译的深度神经网络。该方案探讨了不同的经典预训练卷积神经网络和不同的多层时序注意力分值函数在连续手语识别上的效果,网络将手语视频高级抽象特征和低级时序语义组合在多层时间注意力融合模块中,形成更全面的序列注意力融合特征,从而从连续手语视频中更准确地生成gloss句子。结合Transformer语言模型将手语识别gloss句子转换为符合手语翻译的连续自然语言句子。首先,该方法在第一个大规模的复杂背景的中国连续手语识别和翻译数据集Tslrt上进行评估。利用Tslrt数据集中手语者复杂的背景环境和丰富的动作表达来训练所提神经网络模型,通过不同的对比实验得到了一系列的基准结果。在连续手语识别和翻译的任务上,效果最好的词错误率分别达到了4.8%和5.1%。为了进...     

基于关键帧的连续手语语句识别算法研究

目前,对于动态手语的识别大多只是针对手语词汇的,对连续的手语语句的识别研究以及相应成果较少,原因在于难以对其进行有效的分割。提出了一种基于加权关键帧的手语语句识别算法。关键帧可以看作是手语词汇的基本组成单元,根据关键帧即可得到相关词汇,并将其组成连续的手语语句,从而避免了对手语语句直接做分割的难点。借助于体感设备,首先提出了一种基于手语轨迹的自适应关键帧提取算法,然后根据关键帧包含的语义对其进行加权处理,最后设计了基于加权关键帧序列的识别算法,得到连续的手语语句。实验证明,设计的算法可以实现对连续手语语句的实时识别。     

连续手语识别中的文本纠正和补全方法

针对基于视频的连续手语识别的文本结果存在语义模糊、语序混乱的问题,提出一种两步法将连续手语识别结果的手语文本转化为通顺、可懂的汉语文本。第一步,基于自然手语规则以及N元语言模型（N-gram）对连续手语识别的结果进行文本调序;第二步,利用汉语通用量词数据集训练双向长短期记忆（Bi-LSTM）网络模型,以解决手语语法无量词的问题,从而提升语句通顺度。使用绝对准确率和最长正确子序列占比作为文本调序的评价指标,实验结果显示,所提方法的文本调序结果绝对准确率为77.06%,最长正确子序列占比为86.55%,量词补全准确率为97.23%。所提的方法能够有效提升连续手语识别的文本结果的通畅度和可懂度,已成功应用于基于视频的连续手语识别,提升了听障人和健听人的无障碍交流体验。     

基于三维手部骨架数据的连续手语识别

为有效地消除手语识别过程中背景、光照等干扰因素带来的视觉问题,采用低冗余的骨架数据表达手语信息,设计了一个端到端连续手语识别模型.首先,分别从帧内和帧间提取手型和轨迹特征,可以有效地降低原始样本的离散程度;其次,构建一系列并行的双路残差网络对手型和轨迹特征进行优化与融合,生成时空特征序列;最后,基于注意力机制的编码-解码网络实现时空特征序列到翻译文本的映射.使用Leap Motion收集建立了一个基于三维手部骨架数据的手语数据集LMSLR.实验结果表明,在LMSLR数据集和公共的CSL数据集上,该模型与大多数基于视频处理的模型相比具有较高的准确率和较小的计算量.     

手语识别与合成技术在智能建筑中的应用

本文分析了手语识别与合成技术在智能建筑中应用的可能性与意义,分别介绍了手语识别部分与合成部分的主要技术,提出了适用于智能建筑的手语识别、合成系统的结构,并给出了一种手语/语音双向翻译系统在无障碍化智能住宅小区中应用的可行性实例。     

多层DGMM识别器在中国手语识别中的应用

手语是聋人使用的语言,是由手形动作辅之以表情姿势由符号构成的比较稳定的表达系统 ,是一种靠动作/视觉交际的语言.手语识别的研究目标是让机器“看懂”聋人的语言.手 语识别和手语合成相结合,构成一个“人-机手语翻译系统”,便于聋人与周围环境的交 流.手语识别问题是动态手势信号即手语信号的识别问题.考虑到系统的实时性及识别效率, 该系统选取Cyberglove型号数据手套作为手语输入设备,采用DGMM(dynamic Gaussian mixt ure model)作为系统的识别技术,并根据中国手语的具体特点,在识别模块中选取了多层识 别器,可识别中国手语字典中的274个词条,识别率为97.4%.与基于单个DGMM的识别系统比 较,这种模型的识别精度与单个DGMM模型的识别精度基本相同,但其识别速度比单个DGMM的 识别速度有明显的提高.     

仿真手语翻译系统开发

为便利听障人士的正常社会生活,提高其社会融入度,设计开发了基于B/S模式的仿真手语翻译系统.此系统包含语音识别模块、文本分词模块和虚拟人控制模块.采集到的语音经过Mel尺度的小波包分解提取语音声学特征,并进行快速语音识别得到对应文本,使用jieba完成对应的文本分词;同时创建仿真虚拟人模型并为其添加关键帧手语动作,使用...     

基于手语视觉单词特征的手语字母识别研究

为有效识别手语字母,提出一种手语视觉单词(SLVW)的识别方法。采用Kinect获取手语字母视频及其深度信息,在深度图像中,通过计算获得手语手势的主轴方向角和质心位置以调整搜索窗口,利用基于深度图像信息的DI_CamShift方法对手势进行跟踪,进而使用基于深度积分图像的Ostu方法分割手势,并提取其尺度不变特征变换数据。将局部特征描述子表示的图像小区域量化生成SLVW,统计一幅手语图像中的视觉单词频率,用词包模型表示手语字母,并用支持向量机进行识别。实验结果表明,该方法不受颜色、光照和阴影的干扰,具有较高的识别准确性和鲁棒性,对复杂背景手语视频中的30个手语字母的平均识别率达到96.21%。     

基于深度学习的连续手语语句识别算法

目前,关于连续手语语句识别的研究相对较少,原因在于难以有效地分割出手语词。该文利用卷积神经网络提取手语词的手型特征,同时利用轨迹归一化算法提取手语词的轨迹特征,并在此基础上完成长短期记忆网络的构建,从而为手语语句识别准备好手语词分类器。对于一个待识别的手语语句,采用基于右手心轨迹信息的分割算法来检测过渡动作。由过渡动作可以将语句分割为多个片段,考虑到某些过渡动作可能是手语词内部的动作,所以将若干个片段拼接成一个复合段,并按照层次遍历的次序对所有复合段运用手语词分类器进行识别。最后,采用跨段搜索的动态规划算法寻找最大后验概率的词汇序列,从而完成手语语句的识别。实验结果表明,该算法可以对47个常用手语词组成的语句做出识别,且具有较高的准确性和实时性。     

基于DGMM的中国手语识别系统

手语是聋人使用的语方,是由手形动作辅之以表情姿势由符号构成的比较稳定的表达系统,是一种靠动作／视觉交际的语言,手语识别的研究目标是让机器“看懂”聋人的语方,手语识别和手语合成相结合构成一个“人－机手语翻译系统”,便于聋人与周围环境的交流,手语识别问题是动态手势信号即手语信号的识别问题,考虑系统的实时性及识别效率,系统选取Ｃｙｂｅｒｇｌｏｖｅ型号数据手套作为手语输入设备,并采用ＤＧＭＭ（ｄｙｎａｍｉ     

面向大词汇量的实时连续中国手语识别系统

目前手语识别研究的难点之一在于如何实现大词汇量的连续语句识别，针对这个问题，该文提出了几个有效的方法，包括修正转移矩阵，状态结点的捆绑，快速匹配，在搜索路径中加入词跳转的估计参数等。利用上述技术，该文实现了一个基于数据手套和位置跟踪器的大词汇量的连续的中国手语实时识别系统，对中国手语辞典中收录的5100个词以及一批连续语句作实验，实验结果表明，文中所介绍的技术在提高系统识别速度和准确率方面都很有效。     

手语识别方法与技术综述

手语作为聋哑人和健听人的主要交流渠道,在日常生活中发挥着十分重要的作用。随着计算机视觉领域和深度学习领域的高速发展,手语识别领域也迎来了新的机遇。对近年来基于计算机视觉的手语识别研究中使用的先进方法和技术进行了综述。从静态手语、孤立词和连续语句识别三个分支出发,系统地阐述了手语识别常用方法和技术难点。详细介绍了图像预处理、检测与分割、跟踪、特征提取、分类等手语识别步骤。总结分析了手语识别常用的算法和神经网络模型,归纳整理了常用手语数据集,并对不同语种识别现状进行了分析,探讨了手语识别面临的挑战与限制。     

聋哑学校语文辅助教学系统研究

为了达到辅助老师教聋哑学生语文的目的,开发一套文本翻译成手语的教学系统。采用改进的结巴分词对课文内容进行分词,课文句子转化成词语序列,使用系统编辑功能对词语序列进行编辑,使其满足文法手语要求;同时建立虚拟人,采用关键帧技术制作手语动画,使用Unity3D游戏引擎完成手语动画合成和动画之间的过渡,实现课文内容自动翻译成手语的辅助教学系统。该研究对聋哑学生语文教学有特殊的意义,具有一定的实用价值。     

Study on translating Chinese into Chinese sign language

Sign language is a visual-gestural language mainly used by hearingimpaired people to communicate with each other.Gesture and facial expression are important grammar parts of sign language.In this paper,a text-based transformation method of Chinese-Chinese sign language machine translation is proposed.Gesture and facial expression models are createwd.And a practical system is implemented.The input of the system is Chinese text.The output of the system is “graphics person“ who can gesticulate Chinese sign algnuage accompained by facial expression that corresponds to the Chinese text entered so as to realize automatic translation from Chinese text to Chinese sign language.     

基于颜色手套的中国手指语字母的动静态识别

作为一种高度结构化的语言,手语具有与口语和文字语言一样的表达能力。基于视觉的手语识别不仅更加符合人们的习惯而且具有非常广阔的应用空间。该文采用指尖染色和手指染色的颜色手套模型实现了可以识别中国手指字母表30个基本手形的动静态手势识别系统,识别率达到100%。     

面向机器翻译的中国手语的理解与合成

自然语言与可视化语言之间的自动翻译研究具有重大的现实意义和学术研究价值,它是一个崭新的、有发展前任的研究领域。该文从机器翻译的角度来考察汉语和中国手语之间的相同之处和差异,探讨两种语言在语序、句子结构、短语结构、特殊词类等方面的特点,建立了汉语中国手语机器翻译的一系列规则。在此基础之上,采用规则解释方法实现了一个汉语至可视化语言中国手语的翻译系统。     

An algorithm on sign words extraction and recognition of continuous Persian sign language based on motion and shape features of hands

Sign language is the most important means of communication for deaf people. Given the lack of familiarity of non-deaf people with the language of deaf people, designing a translator system which facilitates the communication of deaf people with the surrounding environment seems to be necessary. The system of translating the sign language into spoken languages should be able to identify the gestures in sign language videos. Consequently, this study provides a system based on machine vision to recognize the signs in continuous Persian sign language video. This system generally consists of two main phases of sign words extraction and their classification. Several stages, including tracking and separating the sign words, are conducted in the sign word extraction phase. The most challenging part of this process is separation of sign words from video sequences. To do this, a new algorithm is presented which is capable of detecting accurate boundaries of words in the Persian sign language video. This algorithm decomposes sign language video into the sign words using motion and hand shape features, leading to more favorable results compared to the other methods presented in the literature. In the classification phase, separated words are classified and recognized using hidden Markov model and hybrid KNN-DTW algorithm, respectively. Due to the lack of proper database on Persian sign language, the authors prepared a database including several sentences and words performed by three signers. Simulation of proposed words boundary detection and classification algorithms on the above database led to the promising results. The results indicated an average rate of 93.73 % for accurate words boundary detection algorithm and the average rate of 92.4 and 92.3 % for words recognition using hands motion and shape features, respectively.     

基于SRN/HMM的非特定人连续手语识别系统

手语识别是通过计算机提供一种有效而准确的机制将手语翻译成文本或语音。目前最新发展水平的手语识别系统在实际应用中应解决非特定人连续手语问题。提出一种将连续手语识别分解成各弧立词识别的分治方法，用于非特定人连续手语识别。把精简循环网（simple recurrent network,简称SRN）作为连续手语的段边界检测器，把SRN分段结果作为隐马可夫模型（hidden Markov models,简称HMM）框架中的状态输入，在HMM框架里使用网格Viterbi算法搜索出一条最佳手语词路径。实验结果表明，该方法的识别效果比单纯使用HMM要好。