可视语音中虚拟机器人的运动学分析

针对肢体语言在传递非语言信息的过程中控制的复杂性,利用普通关节型机器人的运动学研究方法,对可视语音研究中的虚拟机器人进行了运动学分析,并为解决二者之间的差异引入了权值运算,从而推导出了虚拟机器人以肢体语言表达非语言信息的运动学方程.研究该虚拟机器人的运动学方法共分为三大步:第一步,利用D-H参数法求出各连杆机构的D-H参数表;第二步,根据参数表建立各个运动系统的运动学方程;第三步,利用权值选择适当强度级别的运动方程.实验表明,该分析方法在研究虚拟机器人随情感强弱变化而做出不同肢体反应的可视语音系统时,能够大大简化分析难度,优化控制.该方法不但适用于虚拟机器人,也同样适用于物理机器人的肢体语言控制,具有很强的实用性.     

维哈柯及蒙语多文种语言相似性考查研究

该文以阿勒泰语系下的维哈柯及蒙古语多语言平行文本和语音语料为研究对象,分别对比多语言文本量化序列向量及语音声学音律特征的相似度,研究语言信息间存在的相通性。试验发现,同语系同语族黏着语言相似度较高 文本相似性达85%;声频特征相似性达95%。从而确认在同语系多种黏着语言间创建语言信息共享云模的可行性,这将有利于实现语言文本及语音信息的跨语言转换处理,极大降低少数民族语言信息处理成本。     

基于多传感器数据的虚拟现实翻译机器人交互自动化系统设计

为进一步提升英语翻译机器人在交互过程中的翻译准确度,提出一种基于多传感器数据的虚拟现实交互自动化系统。首先,通过多种传感器采集用户的交互行为,并通过基于k最近邻算法与情景记忆的持续学习算法(简称KNN-EMAR算法)挖掘用户行为中的情感信息;再将情感信息以标签的形式融入待翻译的源语言的文本信息中,从而通过情感标签提高翻译机器人对用户表述内容的理解程度,提高英语翻译机器人翻译结果的准确度;最后利用虚拟现实技术,将用户交互行为转换为动画,并以用户交互动画+翻译语音的形式展示翻译结果。结果表明,KNN-EMAR算法可从用户交互行为中精准地挖掘出用户情感信息,且挖掘准确率可达到99.23%;情感信息的加入,使英语翻译结果的BLEU指标值和METEOR指标值得到明显提升,具有更好的英语翻译准确度;该系统可正常运行,输出用户交互动画+翻译语音的翻译结果,在跨语言教学中具有一定的实际意义。     

3D虚拟导游系统

3D虚拟导游系统采用VC++开发,利用虚拟现实技术、语音识别技术和3D技术构建3D模型,营造了一个虚拟的旅游场所,并且有3D咨询员为用户服务.用户可以通过语音识别系统,录入想要查询的信息,系统将会检索数据库,并将用户所想查询的信息通过语音、文本和图片的形式传递给用户.     

基于幻灯片播放方式的网页标记语言及其浏览器

目前,绝大多数网页都是用超文本标记语言HTML描述,并通过浏览器进行浏览,这是一种基于论文阅读的网页浏览方式。该文提出了一种基于幻灯片播放方式的网页标记语言HPML及其浏览器,它能够实现将网页中的文字图像内容以幻灯片的形式自动播放,并通过文本-语音转换器(TextToSpeechEngine)将幻灯片中某些文本形式的内容转换成语音形式,同时能够实现幻灯片图像和语音的同步播放。这种方式极大地放松了对显示器屏幕的尺寸和网络带宽的要求,因此特别适合于移动环境下的网页浏览。     

跨模态信息融合的端到端语音翻译

语音翻译旨在将一种语言的语音翻译成另一种语言的语音或文本. 相比于级联式翻译系统, 端到端的语音翻译方法具有时间延迟低、错误累积少和存储空间小等优势, 因此越来越多地受到研究者们的关注. 但是, 端到端的语音翻译方法不仅需要处理较长的语音序列, 提取其中的声学信息, 而且需要学习源语言语音和目标语言文本之间的对齐关系, 从而导致建模困难, 且性能欠佳. 提出一种跨模态信息融合的端到端的语音翻译方法, 该方法将文本机器翻译与语音翻译模型深度结合, 针对语音序列长度与文本序列长度不一致的问题, 通过过滤声学表示中的冗余信息, 使过滤后的声学状态序列长度与对应的文本序列尽可能一致; 针对对齐关系难学习的问题, 采用基于参数共享的方法将文本机器翻译模型嵌入到语音翻译模型中, 并通过多任务训练方法学习源语言语音与目标语言文本之间的对齐关系. 在公开的语音翻译数据集上进行的实验表明, 所提方法可以显著提升语音翻译的性能.     

工业机器人虚拟样机系统的研究

该文提出将虚拟样机技术应用于工业机器人仿真研究过程，研究与开发工业机器人虚拟样机系统，首先说明虚拟样机技术并分析其关键技术，然后说明了工业机器人虚拟样机系统的构成与样机系统在机器人仿具研究中的研究内容，总结该项技术主要解决以下两方面的问题，即机器人仿真研究中的系统集成及为以机器人为主体的生产线虚拟设计，验证环境提供底层的数字化环境。     

基于正则表达式的语音识别控制策略研究

文中提出一种新型控制策略,把正则表达式和服务机器人的语音控制结合起来,前者利用预定义的正则表达式对语音识别内容进行模式检出,后者根据检出的模式对机器人进行策略控制。通过分析识别文本构建正则表达式,使用微软SAPI构建客户端语音引擎进行语音识别,在服务机器人平台上验证策略的有效性、实用性和快速性。该新型控制策略把正则表达式应用在语音识别控制策略中,使语音交互技术将人类之间的交流方式应用于人类与机器之间。使机器人用正则表达式对人类语言进行词法分析实现自然语言的理解。提出的方法使机器人能够“理解”同一个语音命令的多种表达方式,使服务机器人的语音识别控制策略更具柔性和自然性,具有重要的应用价值和应用前景。     

基于正则表达式的语音识别控制策略研究

文中提出一种新型控制策略,把正则表达式和服务机器人的语音控制结合起来,前者利用预定义的正则表达式对语音识别内容进行模式检出,后者根据检出的模式对机器人进行策略控制。通过分析识别文本构建正则表达式,使用微软SAPI构建客户端语音引擎进行语音识别,在服务机器人平台上验证策略的有效性、实用性和快速性。该新型控制策略把正则表达式应用在语音识别控制策略中,使语音交互技术将人类之间的交流方式应用于人类与机器之间。使机器人用正则表达式对人类语言进行词法分析实现自然语言的理解。提出的方法使机器人能够“理解”同一个语音命令的多种表达方式,使服务机器人的语音识别控制策略更具柔性和自然性,具有重要的应用价值和应用前景。     

一种语音和文本联合驱动的卡通人脸动画方法

提出了一种由语音和文本共同驱动的卡通人脸动画方法.建立了卡通人脸音节-视位参数库,并对音节-视位参数进行非监督聚类分析,获得32个人脸视位基本类型,基于文本信息进行音节切分,获得准确的时长参数.结合视位的基本类型和语音时长参数,可以对输入的语音/文本进行连续动画拼接.对从影视作品中收集的100条具有娱乐效果的语音/文本进行的实验表明,本文提出的方法可以克服单独的语音驱动或文本驱动的不足,取得较好的卡通人脸动画效果.     

虚拟现实技术下分拣机器人嵌入式遥控系统设计

为了解决当前遥控系统控制分拣机器人执行既定任务时存在目标轨迹跟踪效果不佳、跟踪误差较大,任务执行成功率较低、失误率较高以及系统响应延迟时间较长等缺点,提出并设计了基于虚拟现实技术的分拣机器人嵌入式遥控系统,研究通过分析虚拟现实系统组成结构基础上,将虚拟现实技术与分拣机器人技术有机结合,依据模块化、标准化、开放性和可用性原则,利用虚拟现实技术设计了具有临场感的操作指令输入输子系统和分拣机器人具有真实感的虚拟场景仿真子系统的嵌入式遥控系统;并给出了嵌入式遥控系统的基本功能单元和具体操作流程;依据该流程采用QNX Neutrino系统作为分拣机器人本体控制器,同时采用工业现场总线EtherCAT作为系统网络通信支撑,设计了嵌入式遥控系统软件控制程序,完成了基于虚拟现实技术的分拣机器人嵌入式遥控系统设计。模拟实验结果验证了设计系统的有效性,获得了较好的目标跟踪效果,减小了跟踪误差,提高了分拣机器人任务执行成功率,同时提高了系统效率。     

A real-time interactive nonverbal communication system through semantic feature extraction as an interlingua

There has been a growing interest in the use of networked virtual environment (NVE) technology to implement telepresence that allows participants to interact with each other in shared cyberspace. In addition, nonverbal language has attracted increased attention because of its association with more natural human communication, and especially sign languages play an important role for the hearing impaired. This paper proposes a novel real-time nonverbal communication system by introducing an artificial intelligence method into the NVE. We extract semantic information as an interlingua from the input text through natural language processing, and then transmit this semantic feature extraction (SFE) to the three-dimensional (3-D) articulated humanoid models prepared for each client in remote locations. Once the SFE is received, the virtual human is animated by the synthesized SFE. Experiments with Japanese and Chinese sign languages show this system makes the real-time animation of avatars available for the participants when chatting with each other. The communication is more natural since it is not just based on text or predefined gesture icons. This proposed system is suitable for sign language distance training as well.     

Development of a system based on 3D vision,interactive virtual environments,ergonometric signals and a humanoid for stroke rehabilitation

This paper presents a stroke rehabilitation (SR) system for the upper limbs, developed as an interactive virtual environment (IVE) based on a commercial 3D vision system (a Microsoft Kinect), a humanoid robot (an Aldebaran's Nao), and devices producing ergonometric signals. In one environment, the rehabilitation routines, developed by specialists, are presented to the patient simultaneously by the humanoid and an avatar inside the IVE. The patient follows the rehabilitation task, while his avatar copies his gestures that are captured by the Kinect 3D vision system. The information of the patient movements, together with the signals obtained from the ergonometric measurement devices, is used also to supervise and to evaluate the rehabilitation progress. The IVE can also present an RGB image of the patient. In another environment, that uses the same base elements, four game routines – Touch the balls 1 and 2, Simon says, and Follow the point – are used for rehabilitation. These environments are designed to create a positive influence in the rehabilitation process, reduce costs, and engage the patient.     

A virtual environment-based system for the navigation of underwater robots

Efficient teleoperation of underwater robot requires clear 3D visual information of the robot's spatial location and its surrounding environment. However, the performance of existing telepresence systems is far from satisfactory. In this paper, we present our virtual telepresence system for assisting tele-operation of an underwater robot. This virtual environment-based telepresence system transforms robot sensor data into 3D synthetic visual information of the workplace based on its geometrical model. It provides the operators with a full perception of the robot's spatial location. In addition, we propose a robot safety domain to overcome the robot's location offset in the virtual environment caused by its sensor errors. The software design of the system and how a safety domain can be used to overcome robot location offset in virtual environment will be examined. Experimental tests and its result analysis will also be presented in this paper.     

Impact of similarity between avatar and their users on their perceived identifiability: Evidence from virtual teams in Second Life platform

Research on the application of avatars in the virtual teams is growing. In this study, we examined the effect of perceived similarity of an avatar user with his/her avatar on the perceptions of his/her identifiability within a virtual team. The study utilized a sample of 124 users actively involved in Second Life, a virtual world platform. Results of structural equation modeling utilizing the partial least squares method corroborate the hypothesis. An important contribution of this research is to inform practitioners about the critical role that users’ similarity with the avatar plays in enhancing their identifiability. We draw conclusions based on the result and identify some important avenues for future research.     

基于虚拟现实的机器人智能控制系统

本文基于虚拟现实技术特点,构建了虚拟现实环境下的机器人智能控制系统,将Eon Studio与VC++可视化结合构建人机交互平台,将系统分为人机交互系统和遥控机器人系统部分,采用3DS MAX建立虚拟场景和机器人,基于TCP/IP协议的无线局域网技术进行数据交互,并利用EonX空间进行Eon和VC++6.0的通信。通过实例验证表明,基于虚拟现实技术的遥控机器人智能控制系统控制精确度高、动作准确,能够较好地满足实际工作要求。     

一种基于传感器的人体上肢运动实时跟踪方法

实时跟踪人体运动是人机交互的重要研究课题,可以广泛应用于虚拟现实、虚拟人运动合成、聋人手语自动生成、计算机3D动画、机器人运动控制、远程人机交互等领域。文中介绍了一种基于传感器的人体上肢运动实时跟踪方法,给出了该方法的虚拟人模型、计算原理与校正方法,最后介绍了整个方法的实现以及在中国聋人手语自动合成中的应用。该方法具有使用传感器少,运动跟踪精度高、计算过程简单而且速度快等特点。     

嵌入式组态软件脚本解释虚拟机的设计

为了增强嵌入式组态软件的功能,引入一种类似于C语言的脚本.设计一个编译器把该脚本编译成中间代码,采用中间代码的优点是可提高程序运行的速度,也减小了脚本解释程序的设计难度.提出一种仿微处理器结构的脚本虚拟机设计方案,在运行时对中间代码进行解释.虚拟机主要由程序存储器、指令译码器、运算器、程序计数器、控制器以及动态容器组成,其中动态容器的设计是关键,它具有可动态分配内存、自动释放内存等优点,适合于嵌入式操作系统下运行.实验与测试结果表明,该脚本解释虚拟机可满足嵌入式组态软件设计的要求.     

基于Web与V-REP的机器人远程控制虚拟仿真平台

设计并开发了基于Web与V-REP的机器人远程控制虚拟仿真平台.该平台整体设计框架包括Web浏览器层(客户端)、服务器层、仿真环境层(机器人端)三个层次,采用JavaWeb和MVC设计模式开发Web应用,利用V-REP远程API和Python编程实现机器人控制服务器和图像服务器.操作者通过Web浏览器即可完成对V-REP中仿真机器人的控制,同时相应图像信息传输至Web浏览器,从而实现基于Web的机器人远程交互控制.该虚拟仿真平台对于机器人控制相关的实践教学有着重要意义.