基于动机模型的自主性虚拟人行为选择研究

自主性虚拟人的研究是人工生命和计算机动画交叉融合的新领域.但是由于人的心理活动是一个整体的过程,动机、感知等这些参数都是互有联系和影响的,目前的研究仍然只是局部和有限的.借鉴马斯洛理论,基于动机模型框架提出一种简化的抑制和疲劳模型控制的虚拟人自主行为选择机制,实验结果表明,该方法较好地解决了在资源有限的动态虚拟环境中,虚拟人如何在多个相互抑制的行为之间对行为进行仲裁和选择.经实验证明,该研究可以应用于智能交互领域.     

基于循环迭代的飞机虚拟拆装过程建模方法

将循环迭代法应用于飞机虚拟拆装,研究飞机的拆装过程,提出一种基于循环迭代的虚拟拆装过程建模方法。结合飞机拆装过程动态循环的特性和虚拟人拆装行为并行相似的特点,建立虚拟人拆装行为参数化模型,规范虚拟人拆装行为的统一表达;在此基础上,分析虚拟人与部件的交互关系,构造虚拟人拆装行为、拆装次序、部件状态之间的迭代函数,建立虚拟拆装过程模型,实现虚拟人拆装行为的参数化描述和部件拆装过程的表达。以分布式虚拟维修训练平台中的集中故障显示接口组件拆装为例,对该方法进行仿真验证和比对,结果表明,以虚拟人拆装行为变化表示的部件状态变化使部件的拆装更易于表达,拆装训练效率有所提高。     

基于多智能体协同的多源信息搜索方法

针对实时、多源、海量数据条件下用户所需信息的获取问题,提出一种面向对象的、基于多智能体协同的多源信息搜索模型,以对象为中心,在反馈循环搜索的过程中,完善对象描述模型并实现多源数据中关联对象信息的获取,提高多源信息获取的全面性和准确性。设计基于Q学习的协同控制算法,针对马尔科夫对象与非马尔科夫对象给出相应的决策方法。实验结果表明,该协同控制算法比概率转移矩阵及概率统计算法具有更好的信息获取能力。     

基于DDS的飞机机电系统组态监控技术研究

为了解决基于DDS的分布式协同仿真平台多节点、多模型条件下飞机机电系统复杂关联参数的实时监控问题,结合组态监控技术提出一种基于DDS的飞机机电系统协同仿真组态监控方法,设计了组态监控平台与分布式仿真平台的数据交互接口,实现飞机机电系统模型的实时过程监控以及监控界面的图形化显示;集成测试结果表明,该组态监控方法实现了对飞机机电系统复杂关联参数的读写、存储以及监控界面的图形化显示,提高了飞机机电系统的协同仿真验证效率,降低了分布式协同仿真监控系统的开发难度.     

一种具有逼真效果的虚拟人动画生成方法

针对传统的虚拟人动画逼真度低、动画生成复杂、且动画存在飘移现象的问题,提出了一种基于视频关键帧获取运动数据的虚拟人动画生成方法。首先利用线性混合蒙皮算法建立了新的人体几何模型;其次利用正向运动学方法驱动虚拟人的骨骼模型,并利用平移补偿原则消除虚拟人运动中的飘移现象;最终实现了基于双目正交视觉获取关节运动参数的虚拟人动画。实验结果表明,新方法能逼真地模拟真实人体动作,且方法易于实现、实用性强。     

情感决策的智能家居虚拟人路径规划

智能家居环境中的虚拟人,目前在智能性和行为规划的研究中还存在许多不足,针对这2方面问题,提出了认知过滤层的概念,并建立了虚拟人行为模型.在此基础上,对模型中的认知行为部分进行了深入研究,并利用现有情感模型将情感智能与虚拟人行为规划相结合.由于路径规划是一种基本且重要的行为,针对智能家居环境中多环形障碍物的特点,对路径规划算法进行了改进.通过三维仿真对上述模型和算法加以实现.仿真结果表明,虚拟人的行为具有一定的智能性,情感的加入也使得虚拟人更加人性化.     

适用于运动捕捉的虚拟人驱动显示的研究

本文在分析了各种虚拟人模型的基础上,提出一种与被测试者匹配的八面体模型并对其进行驱动显示,详细说明了该模型的计算方法及驱动过程并给出了实现结果.最终结果表明,该模型及驱动方法具有很高的实时性,避免因被测试者与虚拟人规格不一致而导致的虚拟人运动异常问题,是一种实用的虚拟人驱动显示方法.     

基于OpenGL的三维虚拟人手语动画的研究与实现

研究了一种基于OpenGL实现三维虚拟人手语动画的方法.首先构造了三维虚拟人的最小骨骼模型;其次研究分析了手部的关键动作,提出了手部动厕的关键帧手势;又考虑到手部的运动干涉和运动约束,给出了手语动画中的不可能手势,接着基于关键帧手势以及不可能的手势,利用手部各关节之间的联动关系,给出了手部各节点位置的计算方法;最后基于OpenGL实现了三维虚拟人的手语动画.实验结果表明,基于关键帧手势以及不可能的手势的三维虚拟人的手语动画方法不仅解决了真实人手部动作的复杂性问题,又没有裁剪必要的手部动作,获得了理想的手语动画效果.     

虚拟人面部行为的合成

虚拟人是虚拟现实环境中很重要的一部分，对于虚拟人行为的研究除了应从宏观上考虑虚拟人的群体行为属性之外，以个体行为属性的研究也非常重要。个体行为包括自然行为和意识行为。自然行为主要是和脸部、头部以及四肢运动有关的行为。而意识行为则包括与语言和心理活动相关联的表情、发声以及对应的唇动手势动作等。本文旨在研究与意识行为有关的虚拟人面部图像合成技术，讨论了标准人脸图像的参数合成方法，给出了特定人脸图像与标     

由正交图像造型三维个性化虚拟人体模型

基于正、侧、背面4幅正交人体图像,变形模板人体模型后得到带服饰纹理的个性化虚拟人．以截面环为基本几何元素,给出了模板人体模型的生成和变形方法,建立了截面环和三维人体骨架之间的内在关联;自动提取图像上的人体特征点,生成二维图像上的人体骨架;由三维人体骨架和二维图像上人体骨架之间的对应关系,建立截面环和人体图像之间的对应关系;从人体图像上获取截面环的形状参数,通过参数化变形截面环得到个性化的虚拟人体模型．与已有方法相比,该方法建立在基于特征的参数化框架之上,变形更容易控制,消除了三维模型和二维图像之间对应的不确定性,避免了人体变形中的自交现象,效率高、真实感效果较好．     

基于VRML的中国手语三维显示

手语合成的目的是由计算机自动生成文本句子对应的手语，是智能人机接口研究的一个极具挑战性的课题。手语显示是手语合成过程中非常关键的一步，其任务是在文本句子转换为手语码后，将手语码逼真地显示成虚拟人手语运动。介绍了研究中国手语合成时提出的一种基于VRML的三维虚拟人姿态显示方法和连续中国聋人手语显示方法。该方法不仅可以显示逼真的虚拟人合成手语，而且具有很好的通用性，为网络环境中实现不同人体模型的手语表达与传输打下了基础。     

面向广电节目的虚拟人手语合成显示平台研究

基于中国手语合成技术的虚拟人手语视频显示平台技术是一个全新的课题.为了满足广电新闻节目对手势运动流畅性要求,实现了一种上下文相关的手势运动平滑算法,该方法能够充分利用前后两帧的差异来实现手势运动的平滑过渡,其视觉感观效果较传统插值算法更加平滑自然;同时提出了一种基于统计和规则相结合的手势运动重定向算法,在统计方法的基础上针对不同骨架大小以及运动特性进行规则约束,使得标准模型手势运动数据应用到新模型上而不失其准确性;最后,通过扩展基本手语词表达形式并基于alpha融合技术实现了面向广电新闻节目的虚拟人手语合成显示平台并取得很好的结果.     

一种基于传感器的人体上肢运动实时跟踪方法

实时跟踪人体运动是人机交互的重要研究课题,可以广泛应用于虚拟现实、虚拟人运动合成、聋人手语自动生成、计算机3D动画、机器人运动控制、远程人机交互等领域。文中介绍了一种基于传感器的人体上肢运动实时跟踪方法,给出了该方法的虚拟人模型、计算原理与校正方法,最后介绍了整个方法的实现以及在中国聋人手语自动合成中的应用。该方法具有使用传感器少,运动跟踪精度高、计算过程简单而且速度快等特点。     

支持重音合成的汉语语音合成系统

针对基于单元挑选的汉语语音合成系统中重音预测及实现,本文采用了知识指导下的数据驱动建模策略。首先,采用经过感知结果优化的重音检测器,实现了语音数据库的自动标注;其次,利用重音标注数据库,训练得到支持重音预测的韵律预测模型;用重音韵律预测模型替代原语音合成系统中的相应模型,从而构成了支持重音合成的语音合成系统。实验结果分析表明,基于感知结果优化的重音检测器的标注结果是可靠的;支持重音的韵律声学预测模型是合理的;新的合成系统能够合成出带有轻重变化的语音。     

Applied aspects of the synthesis and analysis of voice information

The authors present new results in solving problems of concatenative segment synthesis of voice information with prosody and vocal utterance, computer modeling of human voice signals based on joint models of human voice source and vocal tract, and speech signal preprocessing for automated documenting systems. The experiments show the efficiency of the proposed approaches.     

维吾尔语KP_V句型的文法手语编辑系统的设计

自然语言书面表达通过文字符号载体来实现,聋哑学生经过专门的训练才能掌握理解和运用书面语言的能力。为实现基于虚拟人的手语合成技术的维吾尔文书面语用手语符号表达,对维吾尔语KP_V句型分析,提出了该句型的文本内容用手势语和手指语表示的转换方法,给出了维吾尔文法手语编辑系统的流程。系统通过虚拟人建模、手语库构建、姿态编辑,运用插值算法合成显示播放,实现了维吾尔文法手语编辑。该研究对基于拼音文字的维吾尔文本转换为混合手势语和手指的手语合成系统设计与实现具有参考意义。     

Recent advances on virtual human synthesis

Virtual human is a digital representation of the geometric and behavioral property of human beings in the virtual environment generated by computer. The research goal of virtual human synthesis is to generate realistic human bodymodels and natural human motion behavior. This paper introduces the development of the related researches on these two topics, and some progresses on example based human modeling and motion synthesis, and their applications in Chinese sign language teaching, computeraided sports training and public safety problem studying. Finally, some hot research topics in virtual human synthesis are presented. Supported partially by the National High-Tech Research & Development Program of China (Grant Nos. 2006AA01Z336, 2007AA01Z320), and the National Natural Science Foundation of China (Grant No. 60533070)     

Application of prosody models for developing speech systems in Indian languages

In this paper we demonstrate the use of prosody models for developing speech systems in Indian languages. Duration and intonation models developed using feedforward neural networks are considered as prosody models. Labelled broadcast news data in the languages Hindi, Telugu, Tamil and Kannada is used for developing the neural network models for predicting the duration and intonation. The features representing the positional, contextual and phonological constraints are used for developing the prosody models. In this paper, the use of prosody models is illustrated using speech recognition, speech synthesis, speaker recognition and language identification applications. Autoassociative neural networks and support vector machines are used as classification models for developing the speech systems. The performance of the speech systems has shown to be improved by combining the prosodic features along with one popular spectral feature set consisting of Weighted Linear Prediction Cepstral Coefficients (WLPCCs).     

基于共振峰合成和韵律调整的语音验证码方法研究*

为了提高语音验证技术的有效性,提出了一种基于共振峰合成、修改时长和调节韵律的随机语音验证码生成方法。该方法选择音素作为语音合成单元,基于规则在合成过程中设定随机语速参数,以及调整单元之间的连接规则来实现韵律的随机调整,使得语速和韵律具有不确定性和不可预测性,从而有效降低了自动语音识别技术（ASR）对语音码的识别率,增强了语音验证码的抗攻击性。合成的语音验证码的人耳识别率达到了90%左右,ASR的识别率为28.8%,主观平均判分（MOS）为4分,语音码的可懂度和清晰度达到了满意的效果。实验结果验证了所提方法的可行性。     

Prosody dependent speech recognition on radio news corpus of American English

Does prosody help word recognition? This paper proposes a novel probabilistic framework in which word and phoneme are dependent on prosody in a way that reduces word error rates (WER) relative to a prosody-independent recognizer with comparable parameter count. In the proposed prosody-dependent speech recognizer, word and phoneme models are conditioned on two important prosodic variables: the intonational phrase boundary and the pitch accent. An information-theoretic analysis is provided to show that prosody dependent acoustic and language modeling can increase the mutual information between the true word hypothesis and the acoustic observation by exciting the interaction between prosody dependent acoustic model and prosody dependent language model. Empirically, results indicate that the influence of these prosodic variables on allophonic models are mainly restricted to a small subset of distributions: the duration PDFs (modeled using an explicit duration hidden Markov model or EDHMM) and the acoustic-prosodic observation PDFs (normalized pitch frequency). Influence of prosody on cepstral features is limited to a subset of phonemes: for example, vowels may be influenced by both accent and phrase position, but phrase-initial and phrase-final consonants are independent of accent. Leveraging these results, effective prosody dependent allophonic models are built with minimal increase in parameter count. These prosody dependent speech recognizers are able to reduce word error rates by up to 11% relative to prosody independent recognizers with comparable parameter count, in experiments based on the prosodically-transcribed Boston Radio News corpus.