基于LpTransformer网络的手语动画拼接模型

手语动画拼接是一个热门话题。随着机器学习技术的不断发展，尤其是深度学习相关技术的逐渐成熟，手语动画拼接的速度和质量不断提高。将手语单词拼接成句子时，相应的动画也需要拼接。传统的算法在拼接动画时采取距离损失的方式寻找最佳拼接点，使用线性或球面插值的方式生成过渡帧，这种拼接算法不仅在效率和灵活性方面存在明显缺陷，而且生成的过渡帧也不自然。为解决上述问题，提出了LpTransformer模型来预测拼接位置和生成过渡帧。实验表明，LpTransformer的过渡帧预测精度达到99%,优于ConvS2S,LSTM和Transformer模型，且其拼接速度较Transformer快5倍。因此，所提模型能够实现实时性拼接。     

交互状态机模型模拟矢量自动生成方法

模拟矢量自动生成方法是加速数字系统设计验证进程的有效手段.提出了一种针对数字系统交互状态机的状态组合、自动生成状态组合覆盖测度和状态组合覆盖模拟矢量的算法.与将交互状态机作为整体处理或构建状态机乘积的方法相比,该算法生成的模拟覆盖率测度精确,覆盖路径无回路,有效地提高了模拟验证的精度和速度.实验结果表明,该算法能高效地节省内存空间,较好地解决了状态空间爆炸问题.     

基于Kinect的手语识别方法

为实现基于Kinect的手语识别,提出了一种利用有限状态机及动态时间规整(DTW)的动态手语识别方法。首先,利用Kinect技术得到人体深度图像和骨骼特征信息;然后利用手部分割算法得到手部深度图像,再选取识别正确率高的梯度方向直方图(HOG)特征算子来提取手部特征;最后加入有限状态机和DTW算法实现动态手语识别。实验结果表明:该方法能够实现对常用手语单词、句子的识别,识别准确率可达95%。     

非特定人手语数据生成及其有效性检测

根据手势手语的特点,提出了手语语言学和人体运动学相结合的非特定人手语数据的生成和检测方法.首先,Mean-Shift算法有控制生成强度的优点,将改进的Mean-Shift算法应用于手形数据通道的生成,以保持手势手语的语言学特性,并应用关键手形的音韵标记进行数据有效性的检测;其次,为了丰富手语手势动作的运动特性,将改进的遗传算法应用于与运动相关的数据通道进行数据生成,并应用拉班舞谱对其进行数据有效性检测;最后,提出了基于原始样本的检测实验框架,使得所提出的检测方法适用于语言类的多类别数据检测问题.实验结果表明,所提出的非特定人手语数据的生成和检测方法是有效的.     

非特定人手语数据生成及其有效性检测

根据手势手语的特点,提出了手语语言学和人体运动学相结合的非特定人手语数据的生成和检测方法. 首先,Mean-Shift 算法有控制生成强度的优点,将改进的Mean-Shift 算法应用于手形数据通道的生成,以保持手势手 语的语言学特性,并应用关键手形的音韵标记进行数据有效性的检测;其次,为了丰富手语手势动作的运动特性,将 改进的遗传算法应用于与运动相关的数据通道进行数据生成,并应用拉班舞谱对其进行数据有效性检测;最后,提出 了基于原始样本的检测实验框架,使得所提出的检测方法适用于语言类的多类别数据检测问题.实验结果表明,所提 出的非特定人手语数据的生成和检测方法是有效的.     

自动生成测试用例的方法设计及实现

为了实现软件测试用例的自动生成,提高软件开发效率和软件质量,目前很多方法都是针对有限状态机自动生成测试用例进行介绍,而在本文中根据扩展有限状态机对象状态迁移的特点,利用扩展有限状态机模型,提出了扩展有限状态机自动生成测试用例的测试方法,并应用于自动售货机Coinbox类软件测试中。     

手机变形动画自动生成

全过程动画自动生成技术是将受限的自然语言自动生成一段相应的3D动画. 我们把这个技术运用到手机动画自动生成中, 变形系统作为手机动画自动生成系统中的一个重要组成部分, 可以通过对动画中的物体进行形状改变使得原来的动画更加生动. 它由定性和定量两部分组成, 这两部分在文中将详细阐述.     

聋哑学校语文辅助教学系统研究

为了达到辅助老师教聋哑学生语文的目的,开发一套文本翻译成手语的教学系统。采用改进的结巴分词对课文内容进行分词,课文句子转化成词语序列,使用系统编辑功能对词语序列进行编辑,使其满足文法手语要求;同时建立虚拟人,采用关键帧技术制作手语动画,使用Unity3D游戏引擎完成手语动画合成和动画之间的过渡,实现课文内容自动翻译成手语的辅助教学系统。该研究对聋哑学生语文教学有特殊的意义,具有一定的实用价值。     

3D动画自动生成的学习系统

手机3D动画自动生成系统实现了在计算机辅助的条件下短信动画的全自动生成.本文为手机3D动画自动生成系统设计并实现一个学习系统,该学习系统利用随机森林算法生成一个以用户评价为分类结果的学习模型去指导手机3D动画自动生成系统生成更让用户满意的动画,同时学习系统能够随着手机3D动画自动生成系统的运转不断更新学习模型,最终实现“不断学习”的学习能力.     

基于手势数据分析的地方手语动画合成方法研究*

为了在现有的手势数据基础上合成新的地方手语手势,采取对这些手势数据进行运动相似性分段和动态聚类自动获取具有时序特征的基本手形类数据以及结合手臂状态数据的方法,最后生成新的地方手语手势动画数据。这不仅节省了重新采集数据需要的昂贵设备和大量工作,而且也能达到手势表达准确性的目的。     

Increasing adaptability of a speech into sign language translation system

This paper describes a new version of a speech into sign language translation system with new tools and characteristics for increasing its adaptability to a new task or a new semantic domain. This system is made up of a speech recognizer (for decoding the spoken utterance into a word sequence), a natural language translator (for converting a word sequence into a sequence of signs belonging to the sign language), and a 3D avatar animation module (for playing back the signs). In order to increase the system adaptability, this paper presents new improvements in all the three main modules for generating automatically the task dependent information from a parallel corpus: automatic generation of Spanish variants when generating the vocabulary and language model for the speech recogniser, an acoustic adaptation module for the speech recogniser, data-oriented language and translation models for the machine translator and a list of signs to design. The avatar animation module includes a new editor for rapidly design of the required signs. These developments have been necessary to reduce the effort when adapting a Spanish into Spanish sign language (LSE: Lengua de Signos Española) translation system to a new domain. The whole translation presents a SER (Sign Error Rate) lower than 10% and a BLEU higher than 90% while the effort for adapting the system to a new domain has been reduced more than 50%.     

手机3D动画中基于导演知识库的摄像机规划

基于全过程计算机辅助动画自动生成技术构建的手机3D动画自动生成系统的最终目标是实现短信内容自动动画化.摄像机规划作为传达动画主题的直接方式,是手机3D动画自动生成系统的关键环节,并已经在系统中建立了完整的定性和定量规划流程.本文在现有相关理论研究的基础上,归纳总结摄影领域的通用性规则,利用语义网本体语言构建摄像机导演知识库,并基于导演知识库完成了摄像机定性规划的两层规则推导,最终实现手机3D动画自动生成系统中摄像机规划的自动生成.     

Collecting and evaluating the CUNY ASL corpus for research on American Sign Language animation

While there is great potential for sign language animation generation software to improve the accessibility of information for deaf individuals with low written-language literacy, the understandability of current sign language animation systems is limited. Data-driven methodologies using annotated sign language corpora encoding detailed human movement have enabled some researchers to address several key linguistic challenges in ASL generation. This article motivates and describes our current research on collecting a motion-capture corpus of American Sign Language (ASL). As an evaluation of our motion-capture configuration, calibration, and recording protocol, we have conducted several rounds of evaluation studies with native ASL signers, and we have made use of our collected data to synthesize novel animations of ASL, which have also been evaluated in experimental studies with native signers.     

Study on translating Chinese into Chinese sign language

Sign language is a visual-gestural language mainly used by hearingimpaired people to communicate with each other.Gesture and facial expression are important grammar parts of sign language.In this paper,a text-based transformation method of Chinese-Chinese sign language machine translation is proposed.Gesture and facial expression models are createwd.And a practical system is implemented.The input of the system is Chinese text.The output of the system is “graphics person“ who can gesticulate Chinese sign algnuage accompained by facial expression that corresponds to the Chinese text entered so as to realize automatic translation from Chinese text to Chinese sign language.     

Chinese Sign Language animation generation considering context

Sign language (SL) is a kind of natural language for the deaf. Chinese Sign Language (CSL) synthesis aims to translate text into virtual human animation, which makes information and service accessible to the deaf. Generally, sign language animation based on key frames is realized by concatenating sign words captured independently. That means a sign language word has the same pattern in diverse context, which is different from realistic sign language expression. This paper studies the effect of context on manual gesture and non-manual gesture, and presents a method for generating stylized manual gesture and non-manual gesture according to the context. Experimental results show that synthesized sign language animation considering context based on the proposed method is more accurate and intelligible than that irrespective of context.     

面向广电节目的虚拟人手语合成显示平台研究

基于中国手语合成技术的虚拟人手语视频显示平台技术是一个全新的课题.为了满足广电新闻节目对手势运动流畅性要求,实现了一种上下文相关的手势运动平滑算法,该方法能够充分利用前后两帧的差异来实现手势运动的平滑过渡,其视觉感观效果较传统插值算法更加平滑自然;同时提出了一种基于统计和规则相结合的手势运动重定向算法,在统计方法的基础上针对不同骨架大小以及运动特性进行规则约束,使得标准模型手势运动数据应用到新模型上而不失其准确性;最后,通过扩展基本手语词表达形式并基于alpha融合技术实现了面向广电新闻节目的虚拟人手语合成显示平台并取得很好的结果.     

一种基于传感器的人体上肢运动实时跟踪方法

实时跟踪人体运动是人机交互的重要研究课题,可以广泛应用于虚拟现实、虚拟人运动合成、聋人手语自动生成、计算机3D动画、机器人运动控制、远程人机交互等领域。文中介绍了一种基于传感器的人体上肢运动实时跟踪方法,给出了该方法的虚拟人模型、计算原理与校正方法,最后介绍了整个方法的实现以及在中国聋人手语自动合成中的应用。该方法具有使用传感器少,运动跟踪精度高、计算过程简单而且速度快等特点。