基于多传感器数据的虚拟现实翻译机器人交互自动化系统设计

为进一步提升英语翻译机器人在交互过程中的翻译准确度,提出一种基于多传感器数据的虚拟现实交互自动化系统。首先,通过多种传感器采集用户的交互行为,并通过基于k最近邻算法与情景记忆的持续学习算法(简称KNN-EMAR算法)挖掘用户行为中的情感信息;再将情感信息以标签的形式融入待翻译的源语言的文本信息中,从而通过情感标签提高翻译机器人对用户表述内容的理解程度,提高英语翻译机器人翻译结果的准确度;最后利用虚拟现实技术,将用户交互行为转换为动画,并以用户交互动画+翻译语音的形式展示翻译结果。结果表明,KNN-EMAR算法可从用户交互行为中精准地挖掘出用户情感信息,且挖掘准确率可达到99.23%;情感信息的加入,使英语翻译结果的BLEU指标值和METEOR指标值得到明显提升,具有更好的英语翻译准确度;该系统可正常运行,输出用户交互动画+翻译语音的翻译结果,在跨语言教学中具有一定的实际意义。     

基于语音识别的英语翻译器设计

针对传统英语翻译系统语音识别准确率低,导致语言翻译效果不佳的问题,提出一种语音识别的英语翻译器。在HMM基础上,加入梅尔频率倒谱系数MFCC,通过MFCC提取语音特征,然后利用HMM对语音特征进行识别,最后通过循环神经网络构建Transformer机器翻译模型,从而对提取的中文语音进行翻译。结果表明,提出的HMM+MFCC模型对语音识别的平均识别率高达99.78%,比传统的识别方法高2.89%,且HMM+MFCC模型的平均识别时间仅为1.224 8 s,说明本模型识别效率更高,模型性能更优越;Transformer+词性信息模型的BLEU分数为36.28,比单一Transformer模型的BLEU分数35.69高出了0.59。综合分析可知,采用提出的语音识别和语言翻译方法可提高英语翻译器的语音识别准确率和翻译效果。     

基于意图识别的智能语音交互机器人设计

为提高智能语音交互机器人语音交互的准确率,提出一种基于意图识别的机器人智能英语语音交互方法。通过引入Glove＿BiGRU＿Self-attention分类预测模型构建意图识别功能模块,并采用ROS分布式架构对系统功能模块进行整合,实现人机的智能语音交互。仿真结果表明,采用所提方法进行的语音意图识别,具有更高的准确率,相较于基于DCNN模型、基于CNN-LSTM模型与基于单向构建的GRU-Self-attention模型的意图识别方法,识别准确率分别高出8.03%、4.07%和2.14%,具有更好的识别效果;在特征提取上,训练时间较传统基于BiLSTM模型的提取方法,BiGRU的训练时间缩短了4倍,训练效率更高。实验结果表明,采用所提意图识别方法搭建的语音交互系统,对用户英语语音指令的识别准确率和识别效率依然拥有较好的结果,识别平均准确率达到了89.72%,识别时间均在0.35 s之内,证明所提方法可以应用于实际语音交互之中。应用实验表明,采用基于意图识别方法搭建的智能语音交互机器人,无论是在问答交互还是控制命令上,都可以准确对用户英语指令进行识别,根据用户要求进行相关回答或完成相应动...     

非自回归翻译模型在蒙汉翻译上的应用

当前大多数机器翻译模型都属于自回归模型,不支持解码器并行生成翻译结果,且生成速率过低。针对当前自回归模型中存在的问题,基于Transformer和非自回归Transformer（non-autoregressive Transformer,NAT）的翻译模型进行实验,对蒙汉语料进行知识蒸馏和语跨语言词语嵌入的处理。实验结果表明,引入知识蒸馏的NAT模型在BLEU值方面有显著提升,同时也提高了模型生成速率。NAT模型进行知识蒸馏与跨语言词嵌入处理后能显著减少源语言和目标语言之间的依赖关系,提高蒙汉机器翻译的BLEU值,相比Transformer模型,BLEU值提高了2.8,时间消耗减少了19.34?h。     

生态翻译理念下智能翻译机器人机交互研究

针对当前翻译理念的改变,研究试图在生态翻译视角下,构建一种新的智能语音识别模型,并将其用于翻译机器人的人机交互系统中。首先构建了DNN-HMM生态语音识别模型,其次使用N-Gram模型优化英文连续文本的翻译,最后分别采用seq2Seq网络和GPT-2神经网络实现两种不同类型的人机交互。结果显示,DNN-HMM模型的平均识别错误率远远低于GMM-HMM模型,仅为3.2%。在多轮人机交互中,DNN-HMM模型的精确率在0.77～0.89之间、召回率在0.78～0.86之间、F1值在0.78～0.85之间,三项检测指标均优于GMM-HMM模型。测试DNN-HMM模型的交互响应时间,93%的单轮交互和94%的多轮交互响应时间均在1 s以内。结合上述指标可以说明此次所构建的语音识别模型能够很好地完成翻译机器人人机交互任务。     

基于语音合成的机器翻译机器人设计

针对传统翻译机器人在嘈杂环境下无法准确识别语音,导致机器翻译效果不佳的问题,提出设计一个基于语音合成的机器翻译机器人。首先,采用翻译机器人语音系统中的语音硬件设备进行语音数据采集;然后通过语音信号预处理方法分别进行数据预加重、分帧加窗和端点检测;之后利用语言模型进行语音信号特征提取;最后对翻译机器人语音进行编码处理,以实现精准识别。实验结果表明,在采样频率为800 Hz的声卡录音实验中,改进的双门限算法进行端点检测的所用时间仅为0.17 s,识别率高达96.78%,对比于现有的双门限算法的所用时间低了4.78 s,识别率高出了33.36%。在语音识别系统测试中,本系统对合成语音的识别率保持在90%及以上,识别率较高。由此说明,本系统进行语音识别的所用时间更短,检测正确率更高,为翻译机器人语音交互提供了有效的数据支撑。     

基于端到端的英语翻译器语音自动纠正系统研究

针对英语翻译器语音自动翻译纠正准确率的问题,结合卷积神经网络(Convolutional Neural Networks, CNN)和Transformer模型,提出基于CNN+Transformer端到端的自动翻译纠正模型。模型通过利用CNN模型平移和旋转不变性的特点,以缓解语音信号的多变性,并结合Transformer模型的多头自注意力机制兼顾语音特征和距离特征帧之间的依赖关系,进而提高模型的并行计算能力,实现了高效、准确的英语翻译器语音自动翻译纠正。最后,通过在CCMT2019-BSTC数据集上进行仿真,验证了所提CNN+Transformer模型的有效性。仿真结果表明,所提CNN+Transformer模型具有良好的语音自动翻译效果,BLEU值为19.23,参数规模和训练时长分别为18.99 M和5.4 min,相较于当下常用端到端翻译模型seq2seq模型、级联翻译模型NMT模型和cascade模型,具有更好的翻译效果,且具有一定的有效性和优越性,可用于实际英语翻译器语音自动翻译。     

基于视觉引导的智能英语翻译机器人人机交互系统

针对传统英语翻译机器人在多模态翻译中翻译准确率低、翻译语义出现歧义,导致人机交互效果不佳的问题,设计一个基于视觉引导的智能英语翻译机器人人机交互系统。在传统Transformer机器翻译模型和卷积神经网络的基础上,构建基于视觉信息的多模态机器翻译模型Universal MMT;然后基于该模型加入选择注意力,获得感知文本的视觉表示;利用编码器进行多模态门控融合,最终实现编码器翻译结果输出。实验结果表明,相较于其他机器翻译模型,本模型在Multi30K测试集中的BLEU和METEOR取值分别为44.9和62.8,均高于其他模型。在VATEX数据集上,本模型的BLEU值为35.66。由此可知,本模型加入选择注意力后可对上下文语义信息进行准确理解,翻译准确率显著提升。     

基于声音信号的翻译机器人语音交互系统设计

在机器人语音交互系统中存在共性问题,包括环境噪声、位置距离等,这些因素的共同影响下导致机器人语音交互效果较差,因此,有必要设计一个基于声音信号的翻译机器人语音交互系统。在设计系统硬件部分,将SPCE061A处理器作为核心部分,并设计了音频处理芯片、CPLD、语音输出模块与LCD显示模块。在系统软件部分,对语音预加重处理提高语音的高频部分,对语音信号加窗分帧处理,以保证处理后的语音是连续的,在此基础上,进行端点检测,区分背景噪声和环境噪声,并增加非线性小波去噪方法进一步去除噪声,得到纯净人声信号。同时对语音合成,并提出语音交互流程,实现翻译机器人语音交互。实验结果表明,此次研究的语音交互系统在有噪音与安静的环境下,识别率都较高,获得的语音信号实时波形图准确性也较高,并且在交互语句量多与少的情况下都具有较快的交互速度,有效提高了机器人语音交互效果。     

融合双向依存自注意力机制的神经机器翻译

针对神经机器翻译中资源稀缺的问题,提出了一种基于双向依存自注意力机制（Bi-Dependency）的依存句法知识融合方法。首先,利用外部解析器对源句子解析得到依存解析数据;然后,将依存解析数据转化为父词位置向量和子词权重矩阵;最后,将依存知识融合到Transformer编码器的多头注意力机制上。利用Bi-Dependency,翻译模型可以同时对父词到子词、子词到父词两个方向的依存信息进行关注。双向翻译的实验结果表明,与Transformer模型相比,在富资源情况下,所提方法在汉-泰翻译上的BLEU值分别提升了1.07和0.86,在汉-英翻译上的BLEU值分别提升了0.79和0.68;在低资源情况下,所提方法在汉-泰翻译上的BLEU值分别提升了0.51和1.06,在汉-英翻译上的BLEU值分别提升了1.04和0.40。可见Bi-Dependency为模型提供了更丰富的依存信息,能够有效提升翻译性能。     

基于Transformer的蒙汉神经机器翻译研究

针对传统循环神经网络和卷积神经网络的缺点,搭建完全基于多头自注意力机制的Transformer蒙汉神经机器翻译模型。实验结果表明,该模型比基于LSTM的蒙汉翻译模型提高了9个BLEU值左右。这说明Transformer翻译模型在句子语义提取和语义表达方面优于LSTM翻译模型。同时在语料预处理阶段,还对中蒙文语料进行了不同粒度的切分。通过实验对比分析,蒙文进行BPE处理后的翻译结果优于对中文单独使用分词处理的结果;在较小语料库中,对中文进行分字处理效果优于分词效果。     

基于句子级BLEU指标挑选数据的半监督神经机器翻译*

在单语语料的使用上,统计机器翻译可通过利用语言模型提高性能,而神经机器翻译很难通过这种方法有效利用单语语料.针对此问题,文中提出基于句子级双语评估替补(BLEU)指标挑选数据的半监督神经网络翻译模型.分别利用统计机器翻译和神经机器翻译模型对无标注数据生成候选翻译,然后通过句子级BLEU指标挑选单语候选翻译,加入到有标注的数据集中进行半监督联合训练.实验表明,文中方法能高效利用无标注的单语语料,在NIST汉英翻译任务上,相比仅使用精标的有标注数据单系统,文中方法BLEU值有所提升.     

基于智能语音的翻译机器人自动化控制系统设计

为提升自动控制效果,加快翻译速率,设计基于智能语音的翻译机器人自动化控制系统。采集外界智能语音信号,利用A/D转换器得到数字信号,启动语音唤醒模块激活翻译机器人,听写模式识别复杂语音信号,命令模式识别简单语音信号,得到语言文本识别结果,通过深度学习关键词检测方法提取关键词作为翻译机器人的自动化控制指令,通过单片机识别自动化控制指令。实验结果表明,该系统可有效采集外界智能语音信号,提取智能语音信号的关键词,完成翻译机器人自动化控制。     

通过标点恢复提高机器同传效果

在机器同传（MSI）流水线系统中，将自动语音识别（ASR）的输出直接输入神经机器翻译（NMT）中会产生语义不完整问题，为解决该问题，提出基于BERT（Bidirectional Encoder Representation from Transformers）和Focal Loss的模型。首先，将ASR系统生成的几个片段缓存并组成一个词串；然后，使用基于BERT的序列标注模型恢复该词串的标点符号，并利用Focal Loss作为模型训练过程中的损失函数来缓解无标点样本比有标点样本多的类别不平衡问题；最后，将标点恢复后的词串输入NMT中。在英-德和汉-英翻译上的实验结果表明，在翻译质量上，使用提出的标点恢复模型的MSI，比将ASR输出直接输入NMT的MSI分别提高了8.19 BLEU和4.24 BLEU，比使用基于注意力机制的双向循环神经网络标点恢复模型的MSI分别提高了2.28 BLEU和3.66 BLEU。因此所提模型可以有效应用于MSI中。     

基于改进DFSMN模型的语音交互服务系统设计

为了进一步提升服务机器人的自动化语音交互服务质量,提出一种改进的DFSMN-CTC模型,以提升语音交互系统的识别能力。其中,对传统的DFSMN模型中记忆模块的结构以及记忆单元之间的连接方式进行改进,然后将改进得到的模型与CTC进行结合,以实现日语语音的识别。实验结果表明,与其他建模准则构建的语音识别模型以及改进前的DFSMN模型相比,改进的DFSMN-CTC模型能够取得效果更好的语音交互效果,词错误率分别降低了6.42%和6.17%;与其他语音识别模型相比,改进的DFSMN-CTC模型在各种实验条件下均能保持最低的平均字错误率,语音识别精度较高。综上,使用改进的DFSMN-CTC模型所构建的日语语音交互系统能够实现效果良好的日语语音交互,实现更好的日语语音交互服务,具有一定的实际使用价值。     

注意力的端到端模型生成藏文律诗

文本自动撰写在自然语言处理中是一个重要的研究领域,可通过人工智能的方法来提升文本的生成结果。目前主流的生成方法是基于深度学习的方法,而该文则提出了一种基于注意力的端到端模型生成藏文律诗法。该方法基本框架是一个双向LSTM的编码—解码模型,在此基础上引入了藏文字嵌入、注意力机制和多任务学习法。实验结果表明,该文提出的方法在藏文律诗生成结果中BLEU值和ROUGE值分别能达到59.27% 、62.34%,并无需任何人为的特征设置。     

统计机器翻译和翻译记忆的动态融合方法研究

在融合翻译记忆和统计机器翻译的整合式模型的基础上,该文提出在解码过程中进一步地动态加入翻译记忆中新发现的短语对。它在机器翻译解码过程中,动态地加入翻译记忆片段作为候选,并利用翻译记忆的相关信息,指导基于短语的翻译模型进行解码。实验结果表明该方法显著提高了翻译质量: 与翻译记忆系统相比,该方法提高了21.15个BLEU值,降低了21.47个TER值;与基于短语的翻译系统相比,该方法提高了5.16个BLEU值,降低了4.05个TER值。     

沪语语音识别研究及在家居机器人中的应用

为实现对沪语语音的识别和与家居机器人沪语语音交互,通过分析了沪语语言的语音、语调、语法特点,提出了沪语语音的识别基元的建模方法.该方法生成了新的声韵集作为识别基元,并建立了课题相关的沪语语音语料库,同时基于HTK初步构造了沪语语音的声学模型和3-Gramm语言模型.该系统模型在家居服务机器人中得到初步的应用,系统采用V...     

基于VOLT的藏汉双向机器翻译

藏汉词表的生成不仅是藏汉双向机器翻译任务开始的第一步,而且影响着藏汉双向翻译效果。本文通过改进生成藏汉词表来提升下游藏汉双向翻译性能。一方面从词表拼接入手,采用高频使用正常词表,低频使用字节对编码词表的思想,通过反复训练找到最佳词频阈值;另一方面通过最优传输的词汇学习方法学习生成藏汉词表,并针对藏语本身语言特点进行改进后应用到藏汉双向翻译上。实验结果表明,本文针对藏文语言特点提出的字节对编码加最优传输的词汇学习方法效果最佳,在藏汉翻译任务上BLEU值达到37.35,汉藏翻译任务上BLEU值达到27.60。     

服务机器人的语音情感识别与交互技术研究

分析语音情感识别技术的发展现状和关键技术,将基于隐马尔可夫模型的语音情感识别方法应用在机器人中,目的在于使机器人能够识别人的语音信号中的情感信息,并做出相应的情感表达.这在我们研制出的服务机器人中得到了较好的应用,该机器人能够识别人的语音情感并能与人进行一定的交互.