基于视觉引导的智能英语翻译机器人人机交互系统

针对传统英语翻译机器人在多模态翻译中翻译准确率低、翻译语义出现歧义，导致人机交互效果不佳的问题，设计一个基于视觉引导的智能英语翻译机器人人机交互系统。在传统Transformer机器翻译模型和卷积神经网络的基础上，构建基于视觉信息的多模态机器翻译模型Universal MMT;然后基于该模型加入选择注意力，获得感知文本的视觉表示；利用编码器进行多模态门控融合，最终实现编码器翻译结果输出。实验结果表明，相较于其他机器翻译模型，本模型在Multi30K测试集中的BLEU和METEOR取值分别为44.9和62.8,均高于其他模型。在VATEX数据集上，本模型的BLEU值为35.66。由此可知，本模型加入选择注意力后可对上下文语义信息进行准确理解，翻译准确率显著提升。