基于视觉引导的智能英语翻译机器人人机交互系统

针对传统英语翻译机器人在多模态翻译中翻译准确率低、翻译语义出现歧义,导致人机交互效果不佳的问题,设计一个基于视觉引导的智能英语翻译机器人人机交互系统。在传统Transformer机器翻译模型和卷积神经网络的基础上,构建基于视觉信息的多模态机器翻译模型Universal MMT;然后基于该模型加入选择注意力,获得感知文本的视觉表示;利用编码器进行多模态门控融合,最终实现编码器翻译结果输出。实验结果表明,相较于其他机器翻译模型,本模型在Multi30K测试集中的BLEU和METEOR取值分别为44.9和62.8,均高于其他模型。在VATEX数据集上,本模型的BLEU值为35.66。由此可知,本模型加入选择注意力后可对上下文语义信息进行准确理解,翻译准确率显著提升。