Intelligent Thai text – Thai sign translation for language learning

We present the Intelligent Thai text – Thai sign translation for language learning (IT³STL). IT³STL is able to translate Thai text into Thai sign language simply and conveniently anytime, anywhere. Thai sign language is the language of the deaf in Thailand. In the translation process, the distinction between Thai text and Thai sign language in both grammar and vocabulary are concerned in each processing step to ensure the accuracy of translation. IT³STL was designed not only to be an automatic interpreter but also to be a language tutor assistant. It provides meaning of each word and describes the structure formation and word order of the translated sentence. With IT³STL, the deaf and hearing-impaired are able to enhance their communication ability and to improve their knowledge and learning skills. Moreover IT³STL has increased motivation and opportunity for them to access multimedia and e-learning.     

维吾尔语KP_V句型的文法手语编辑系统的设计

自然语言书面表达通过文字符号载体来实现,聋哑学生经过专门的训练才能掌握理解和运用书面语言的能力。为实现基于虚拟人的手语合成技术的维吾尔文书面语用手语符号表达,对维吾尔语KP_V句型分析,提出了该句型的文本内容用手势语和手指语表示的转换方法,给出了维吾尔文法手语编辑系统的流程。系统通过虚拟人建模、手语库构建、姿态编辑,运用插值算法合成显示播放,实现了维吾尔文法手语编辑。该研究对基于拼音文字的维吾尔文本转换为混合手势语和手指的手语合成系统设计与实现具有参考意义。     

Improving multimodal web accessibility for deaf people: sign language interpreter module

The World Wide Web is becoming increasingly necessary for everybody regardless of age, gender, culture, health and individual disabilities. Unfortunately, there are evidently still problems for some deaf and hard of hearing people trying to use certain web pages. These people require the translation of existing written information into their first language, which can be one of many sign languages. In previous technological solutions, the video window dominates the screen, interfering with the presentation and thereby distracting the general public, who have no need of a bilingual web site. One solution to this problem is the development of transparent sign language videos which appear on the screen on request. Therefore, we have designed and developed a system to enable the embedding of selective interactive elements into the original text in appropriate locations, which act as triggers for the video translation into sign language. When the short video clip terminates, the video window is automatically closed and the original web page is shown. In this way, the system significantly simplifies the expansion and availability of additional accessibility functions to web developers, as it preserves the original web page with the addition of a web layer of sign language video. Quantitative and qualitative evaluation has demonstrated that information presented through a transparent sign language video increases the users’ interest in the content of the material by interpreting terms, phrases or sentences, and therefore facilitates the understanding of the material and increases its usefulness for deaf people.     

基于虚拟人合成技术的中国手语合成方法

介绍了一种中国手语合成方法,实现了文本到中国手语的自动翻译,并使用虚拟人合成技术,实现了中国手语的合成与显示,以此帮助聋人与听力正常人之间实现自然交流.在该方法中,首先应用两只数据手套和3个6自由度位置跟踪器,基于运动跟踪的原理,记录真实人体演示每个手语词的运动数据,建立一个初始的手语词运动数据库.然后,应用一种基于控制点的人体运动编辑方法,对每个手语词的运动数据进行编辑与微调,最后得到一个高质量的手语词运动数据库.当给定一个文本句子时,应用人体运动合成方法,对每个手语词的手语运动片段进行拼接合成,最终生成一个完整的手语运动,并基于VRML的人体运动显示方法将合成的运动逼真地显示出来.基于该方法,在PC/Windows/VC6.0环境下实现了一个中国聋人手语合成系统.该系统采集了<中国手语>(含续集)中收录的5 596个手语词,可以合成一般生活与教学用语.经聋校的老师和学生确认,合成手语准确逼真,可以广泛应用于教学、电视、Internet 等多种大众媒体,帮助聋人参与其他听力正常人的活动,具有广泛的应用前景和重要的社会意义.     

聋哑学校语文辅助教学系统研究

为了达到辅助老师教聋哑学生语文的目的,开发一套文本翻译成手语的教学系统。采用改进的结巴分词对课文内容进行分词,课文句子转化成词语序列,使用系统编辑功能对词语序列进行编辑,使其满足文法手语要求;同时建立虚拟人,采用关键帧技术制作手语动画,使用Unity3D游戏引擎完成手语动画合成和动画之间的过渡,实现课文内容自动翻译成手语的辅助教学系统。该研究对聋哑学生语文教学有特殊的意义,具有一定的实用价值。     

自然手语动作序列生成的研究

文章探讨了如何让在手语新闻播报中的卡通人按照自然手语的语法规则而非正常人的语法规则来打手语。首先整理了现代汉语自然手语的规则并将其形式化,并建立了正常汉语到汉语自然手语转换的形式规则库;从而实现了现代汉语文本到相应的自然手语的手语动作序列的自动生成。最后将其嵌入到通过手语合成技术和卡通动画的手语新闻播报系统中,使其在线输出的是符合聋人习惯的自然手语。     

文本驱动的聋哑人手语合成系统

主要介绍作者在文本驱支的聋哑人手语合成研究领域取得的研究成果,给出了手语、手势的形式化定义,介绍了设计、实现的文本驱动的聋哑人手语合成的结构和手语合成过程,提出了虚拟三维人手及手臂的抽象结构、手及手臂的运动控制模型、手语参数的获取方法,手势库的建立方法以及手及手臂的运动控制算法;给出了详细的实验结果及结论。     

LSESpeak: A spoken language generator for Deaf people

This paper describes the development of LSESpeak, a spoken Spanish generator for Deaf people. This system integrates two main tools: a sign language into speech translation system and an SMS (Short Message Service) into speech translation system. The first tool is made up of three modules: an advanced visual interface (where a deaf person can specify a sequence of signs), a language translator (for generating the sequence of words in Spanish), and finally, an emotional text to speech (TTS) converter to generate spoken Spanish. The visual interface allows a sign sequence to be defined using several utilities. The emotional TTS converter is based on Hidden Semi-Markov Models (HSMMs) permitting voice gender, type of emotion, and emotional strength to be controlled. The second tool is made up of an SMS message editor, a language translator and the same emotional text to speech converter. Both translation tools use a phrase-based translation strategy where translation and target language models are trained from parallel corpora. In the experiments carried out to evaluate the translation performance, the sign language-speech translation system reported a 96.45 BLEU and the SMS-speech system a 44.36 BLEU in a specific domain: the renewal of the Identity Document and Driving License. In the evaluation of the emotional TTS, it is important to highlight the improvement in the naturalness thanks to the morpho-syntactic features, and the high flexibility provided by HSMMs when generating different emotional strengths.     

大规模连续中国手语数据集的创建与分析

绝大多数健听人不懂手语导致听障人在找工作、就医、法律咨询等各生活、工作领域中遇到了极大的沟通障碍，而手语翻译员需要提前预约，成本也非常高，所以很多科研工作者都开始利用机器学习来开发手语自动翻译器，但其中的大部分研究都因为受到了数据集规模和质量的影响而效果不佳。为解决上述矛盾和问题，创建了目前全球最大的中国连续手语数据集，并使用了考虑身体关节的位置、面部表情及手指关节的端到端的深度学习模型进行有效训练。结论突显了现代深度学习技术在识别复杂手语方面的巨大优势，针对较小子集的BLEU-4已达到30.8。     

Chinese Sign Language animation generation considering context

Sign language (SL) is a kind of natural language for the deaf. Chinese Sign Language (CSL) synthesis aims to translate text into virtual human animation, which makes information and service accessible to the deaf. Generally, sign language animation based on key frames is realized by concatenating sign words captured independently. That means a sign language word has the same pattern in diverse context, which is different from realistic sign language expression. This paper studies the effect of context on manual gesture and non-manual gesture, and presents a method for generating stylized manual gesture and non-manual gesture according to the context. Experimental results show that synthesized sign language animation considering context based on the proposed method is more accurate and intelligible than that irrespective of context.     

融合自适应图卷积与Transformer序列模型的中文手语翻译方法

针对手语翻译方法所存在的动作特征提取以及时序翻译方面存在的问题,提出一种融合自适应图卷积AGCN 与Transformer时序模型的AGCN-T手语翻译网络。自适应图卷积网络用于学习手语动作中骨骼节点的交互空间依赖信息;Transformer时序模块捕捉手语动作序列的时间关系特征信息并将其翻译成可理解的手语内容。此外,在预处理部分,提出了一种移动窗口的关键帧提取算法,并用MediaPipe姿态估计算法对关键帧图像序列进行骨架提取。实验表明,该方法在大型中文连续手语数据集CCSL的词错率达到了3.75%,精度为97.87%,优于其他先进的手语翻译方法。     

基于VRML的中国手语三维显示

手语合成的目的是由计算机自动生成文本句子对应的手语，是智能人机接口研究的一个极具挑战性的课题。手语显示是手语合成过程中非常关键的一步，其任务是在文本句子转换为手语码后，将手语码逼真地显示成虚拟人手语运动。介绍了研究中国手语合成时提出的一种基于VRML的三维虚拟人姿态显示方法和连续中国聋人手语显示方法。该方法不仅可以显示逼真的虚拟人合成手语，而且具有很好的通用性，为网络环境中实现不同人体模型的手语表达与传输打下了基础。     

Study on translating Chinese into Chinese sign language

Sign language is a visual-gestural language mainly used by hearingimpaired people to communicate with each other.Gesture and facial expression are important grammar parts of sign language.In this paper,a text-based transformation method of Chinese-Chinese sign language machine translation is proposed.Gesture and facial expression models are createwd.And a practical system is implemented.The input of the system is Chinese text.The output of the system is “graphics person“ who can gesticulate Chinese sign algnuage accompained by facial expression that corresponds to the Chinese text entered so as to realize automatic translation from Chinese text to Chinese sign language.     

手语识别方法与技术综述

手语作为聋哑人和健听人的主要交流渠道,在日常生活中发挥着十分重要的作用。随着计算机视觉领域和深度学习领域的高速发展,手语识别领域也迎来了新的机遇。对近年来基于计算机视觉的手语识别研究中使用的先进方法和技术进行了综述。从静态手语、孤立词和连续语句识别三个分支出发,系统地阐述了手语识别常用方法和技术难点。详细介绍了图像预处理、检测与分割、跟踪、特征提取、分类等手语识别步骤。总结分析了手语识别常用的算法和神经网络模型,归纳整理了常用手语数据集,并对不同语种识别现状进行了分析,探讨了手语识别面临的挑战与限制。     

一种基于传感器的人体上肢运动实时跟踪方法

实时跟踪人体运动是人机交互的重要研究课题,可以广泛应用于虚拟现实、虚拟人运动合成、聋人手语自动生成、计算机3D动画、机器人运动控制、远程人机交互等领域。文中介绍了一种基于传感器的人体上肢运动实时跟踪方法,给出了该方法的虚拟人模型、计算原理与校正方法,最后介绍了整个方法的实现以及在中国聋人手语自动合成中的应用。该方法具有使用传感器少,运动跟踪精度高、计算过程简单而且速度快等特点。     

基于WordNet的中泰文跨语言文本相似度计算

文本相似度在信息检索、文本挖掘、抄袭检测等领域有着广泛的应用。目前,大多数研究都只是针对同一种语言的文本相似度计算,关于跨语言文本相似度计算的研究则很少,不同语言之间的差异使得跨语言文本相似度计算很困难,针对这种情况,该文提出一种基于WordNet的中泰文跨语言文本相似度的计算方法。首先对中泰文本进行预处理和特征选择,然后利用语义词典WordNet将中泰文本转换成中间层语言,最后在中间层上计算中泰文本的相似度。实验结果表明,该方法准确率达到82%。     

跨模态信息融合的端到端语音翻译

语音翻译旨在将一种语言的语音翻译成另一种语言的语音或文本. 相比于级联式翻译系统, 端到端的语音翻译方法具有时间延迟低、错误累积少和存储空间小等优势, 因此越来越多地受到研究者们的关注. 但是, 端到端的语音翻译方法不仅需要处理较长的语音序列, 提取其中的声学信息, 而且需要学习源语言语音和目标语言文本之间的对齐关系, 从而导致建模困难, 且性能欠佳. 提出一种跨模态信息融合的端到端的语音翻译方法, 该方法将文本机器翻译与语音翻译模型深度结合, 针对语音序列长度与文本序列长度不一致的问题, 通过过滤声学表示中的冗余信息, 使过滤后的声学状态序列长度与对应的文本序列尽可能一致; 针对对齐关系难学习的问题, 采用基于参数共享的方法将文本机器翻译模型嵌入到语音翻译模型中, 并通过多任务训练方法学习源语言语音与目标语言文本之间的对齐关系. 在公开的语音翻译数据集上进行的实验表明, 所提方法可以显著提升语音翻译的性能.     

连续手语识别中的文本纠正和补全方法

针对基于视频的连续手语识别的文本结果存在语义模糊、语序混乱的问题,提出一种两步法将连续手语识别结果的手语文本转化为通顺、可懂的汉语文本。第一步,基于自然手语规则以及N元语言模型（N-gram）对连续手语识别的结果进行文本调序;第二步,利用汉语通用量词数据集训练双向长短期记忆（Bi-LSTM）网络模型,以解决手语语法无量词的问题,从而提升语句通顺度。使用绝对准确率和最长正确子序列占比作为文本调序的评价指标,实验结果显示,所提方法的文本调序结果绝对准确率为77.06%,最长正确子序列占比为86.55%,量词补全准确率为97.23%。所提的方法能够有效提升连续手语识别的文本结果的通畅度和可懂度,已成功应用于基于视频的连续手语识别,提升了听障人和健听人的无障碍交流体验。     

基于音系学模型的手语理解

该文试图模拟人脑处理手势信号的过程,设计了一个混合的深层神经网络模型来解决基于音系学模型的手语理解问题,即手语音韵信息到文本转换的问题。为此该文首先综合了手语语言学里同时性和序列性这两个观点的长处,提出了一个手语音系学的改进模型,并针对难点设计了基于音系学模型的手语理解算法。直接从语言学的音韵特征推断手语文本,相比从视觉特征推断出手语文本是一个很大的飞跃。实验验证了该认知计算技术的有效性,为实现类人智能奠定了技术基础。