基于深度学习的英语翻译机器人错误文本检测系统研究

针对传统英语翻译机器人在错误文本检测中存在语法纠错准确率低的问题，以英语翻译机器人错误检测系统为研究对象，提出构建一个双编码器的语法错误纠正模型。此模型分别采用Transformer编码器和Bi-GRU编码器对句子上下文信息和源句进行特征提取；之后利用解码器端的门控结构对输入的相关特征信息进行整合，由此实现各个特征与注意力机制的适配。实验结果表明，在CoNLL-2014数据集中，本模型的精确率、召回率和F_0.5分别取值为85.42%、42.31%和75.33%,均高于传统的Nested-GRU*模型和SMT+NMT+FST-LM混合模型，本模型的F_0.5值比前两者模型分别高出了32.97%和14.62%。且本模型的GLEU值取值为85.93%,超出前两种模型39.14%和25.62%。由此可知，本模型可实现英语翻译机器人语法错误准确检测和纠正，语法纠错精确率高达81.08%,可在英语错误文本检测系统中进行应用。     

基于机器视觉的英语语法自动纠错系统设计

以文本识别为基础,进行英语语法自动纠错时,往往依靠人眼识别方式,使得自动纠错系统的F_0.5值较低。因此,提出基于机器视觉的英语语法自动纠错系统设计。硬件方面,针对CCD相机和存储器进行设计。软件方法,针对包含英语文本内容的图像,运用机器视觉技术设计一种自动化文本识别算法,准确提取待处理的文本信息。依托于英语翻译原理提取语法特征,并以此为基础创建语法错误检测方法。选取seq2seq模型作为基本框架,结合Soft Attention机制,构建英语语法自动纠错模型。再引入反馈过滤机制,对自动纠错结果进行检验。系统测试结果表明：所提出的纠错系统F_0.5值保持在0.5以上,且对于长句子的语法纠错效果强于短句子,满足了英语语法自动纠错需求。     

融合MLP与循环神经网络算法的语法自动纠错方法研究

为了进一步提升语法自动纠错技术的实用性，研究对以循环神经网络为核心的Sep2Sep模型进行优化改进，引入双向LSTM循环神经网络，将基于双向LSTM的Sep2Sep模型与MLP神经网络相结合构建语法自动纠错系统，并通过测试实验验证语法自动纠错系统的准确率。研究结果表明，研究所设计的语法自动纠错系统F_0.5值为56.37,P值和R值分别为66.78和35.09,检测准确率较高。纠错系统的运行响应时间保持在1.34 s,能在多个检测目标并发情况下进行快速系统响应。研究利用双向LSTM和MLP神经网络解决传统纠错模型的梯度爆炸问题，并采用分布式架构提升自动纠错系统的运行能力，对进一步加强自动语法纠错技术的实用性具有重要意义。     

基于Seq2Seq模型的港口进出口货物量预测

港口进出口货物吞吐量是反映港口业务状况的重要指标,其准确预测将给港口经营管理人员进行决策提供重要的依据.利用机器翻译领域的Seq2Seq模型,对影响港口进出货物量的多种因素进行建模.Seq2Seq模型可以反映进出口货物量在时间维度上的变化规律,并且可以刻画天气、节假日等外部因素的影响,从而进行精准预测.Seq2Seq模型包含两个由循环神经网络（LSTM）组成的编码器和解码器,能够捕捉长短期时间范围内集装箱变化趋势,可以根据历史进出口货物量预测未来一段时间的货物量信息.在真实的天津港进出口集装箱数据集上进行了实验,结果表明Seq2Seq模型的深度学习预测方法效果优于传统的时间序列模型以及其他现有的机器学习预测模型.     

基于Seq2Seq模型的GRACE降尺度研究

为了克服GRACE数据低空间分辨率的局限，采用序列到序列（Seq2Seq）模型，对三种输入时间序列（地表温度、归一化植被指数和降雨）与GRACE时间序列的经验关系进行建模，将美国加利福尼亚州的GRACE数据空间分辨率由1°降尺度到0.1°。结果表明，Seq2Seq模型能获取到较为准确的时序特征与映射关系，通过遗传算法选出最佳超参数后的Seq2Seq模型，纳什系数可达0.97，均方根误差仅为0.23。通过实测地下水的验证可知，降尺度的GRACE数据与实测值有较强的相关性，相关系数最高可达0.85，能较为准确地反映地下水储量的变化。     

基于Transformer融合词性特征的中文语法纠错模型

针对中文同一个词的不同词性在句子中所代表的关系不同的问题,提出基于Transformer融合词性特征的中文语法纠错(CGEC)模型,所提模型将语言学知识作为辅助信息融入中文语法纠错任务。首先,在不改变句子序列长度的基础上,在原始词嵌入层中以不同方式拼接词性向量,得到全差异词嵌入、词差异词嵌入和词性差异词嵌入三种不同的词嵌入方式;然后,将新的词嵌入方式与Transformer模型相结合,对错误语句进行语法纠错。实验结果表明,三种词嵌入方式均不同程度地提高了F_0.5值,且全差异词嵌入方式的效果最好：与Transformer模型相比,F_0.5提升了2.73个百分点,BLEU提升了6.27个百分点;与基于Transformer增强架构的中文语法纠错模型相比,F_0.5提升了1.88个百分点。所提模型在对词性特征提取时可以侧重源语句与目标语句的语法差异,更好地捕捉句子的语法特征。     

基于深度学习的文本自动纠错系统设计与实现

为解决办公人员在进行文档写作时存在各种文本格式和内容错误的问题,设计基于深度学习的文本自动纠错系统,用于辅助办公人员的写作和校对工作;分析办公人员的文本纠错需求,并进行文本格式与内容纠错方法研究;设计系统由写作模板生成、文本格式纠错和文本内容纠错三个功能组成;首先,设计文本要素识别与检查算法并基于VBA技术实现文本格式校对;然后基于Seq2Seq深度学习模型训练字词、语法和标点符号查错模型完成公文内容纠错,并根据办公人员工作需求建立纠错辅助字库提升系统纠错准确率;最终,通过系统测试实验结果表明,设计系统能够极大地提升办公人员写作效率并减轻文本校对工作负担。     

基于机器视觉的英语自动翻译语法错误检测系统研究

针对传统手写英语字体存在语法错误检测准确率低，导致语法纠错效果不佳的问题。提出基于机器视觉的手写英语自动翻译语法错误检测系统。首先触发采集传感器，利用工业相机对手写英语字体进行拍摄和字体采集；然后利用处理算法对手写英语字体轮廓进行提取和识别定位；之后对识别字体特征进行重排序处理；最后通过训练后的基于BERT的英语语法错误检测模型进行语法错误检测。实验表明，对比于其他语法错误检测模型，本模型在测试集上的检测精确度明显更高，其最高可达90%。在120幅不同类别的英语手写图像中，本系统的英语语法检错正确率高达99.62%,比传统的人工检测方法高出了41.66%,且本系统进行语法错误检测的所用时间控制在25 s以下，相较于人工检测方式低了5倍。由此可知，本系统可实现手写英语字体的准确识别和分类，通过本模型能够提升手写英语语法错误检测率和效率，从而进一步提高了语法纠错效果。     

基于LSTM和N-gram的ESL文章的语法错误自动纠正方法

针对英语文章语法错误自动纠正(Grammatical Error Correction,GEC)问题中的冠词和介词错误,该文提出一种基于LSTM(Long Short-Term Memory,长短时记忆)的序列标注GEC方法;针对名词单复数错误、动词形式错误和主谓不一致错误,因其混淆集为开放集合,该文提出一种基于ESL(English as Second Lauguage)和新闻语料的N-gram投票策略的GEC方法。该文方法在2013年CoNLL的GEC数据上实验的整体F₁值为33.87%,超过第一名UIUC的F₁值31.20%。其中,冠词错误纠正的F₁值为38.05%,超过UIUC冠词错误纠正的F₁值33.40%,介词错误的纠正F₁为28.89%,超过UIUC的介词错误纠正F₁值7.22%。     

基于BERT与Seq2Seq模型的智能情感对话机器人系统设计

随着人工智能的发展，机器人广泛应用于各行各业中，而学生在英语学习过程中也可以利用对话模拟机器人进行英语练习，培养英语语感，提升英语水平。因此，研究利用改进后的序列到序列(Sequen to Sequence, Seq2Seq)模型，结合基于Transformers模型的双向编码器(Bidirectional Encoder Representations from Transformers, BERT)模型设计具有情感属性的智能对话模拟机器人，模拟人类在不同情境下的自然情感语境对话，以提升学生的口语英语水平。研究结果表明，研究构建模型的对数损失随着预测概率的增大稳定在2左右，改进Seq2Seq-BERT模型的Distinct-1平均得分为0.068,Embedding Average平均得分为0.262,情感精确度平均得分为87.24%,人工评价的逻辑相关、上下文连贯的回复占总回复的50%,说明设计的英语语言对话机器人系统性能良好，能有效提供多元化的英语情感对话回复，进而满足实际应用中学生英语对话练习的需要，能够优化英语教学模式，改进教师的授课方式，最终改善学生的学习效果。     

基于单语语料库和无监督学习的翻译系统研究

针对传统翻译系统在单语语料库中易出现翻译语料丢失和翻译准确率低的问题,以单语语料库中的自动英诗汉译为研究对象,提出基于无监督学习的神经网络机器翻译方法,该方法将序列到序列模型Seq2Seq和注意力机制Attention相结合,构建Seq2Seq+Attention的单语语言机器翻译模型;在编码器中加入BiLSTM网络,通过回译策略对机器翻译模型进行反向训练和翻译,从而将无监督学习方法转换为有监督学习,以提升最终翻译结果准确率。实验结果表明,在单语语料库中,提出的基于无监督机器翻译方法在不同训练次数下BLEU值最高可达25。且通过人工评分发现,人工评分总分可达17.72分,总体分数较高。由此说明提出的方法可有效避免翻译语料丢失现象,提升翻译准确率。     

基于小波去噪和LSTM的Seq2Seq水质预测模型

建立水质模型预测水质变化是保障饮用水安全、人类健康和维持生态平衡的关键. 本文提出了基于小波分解去噪和LSTM的双层双向Seq2Seq混合模型(W-Bi2Seq2Seq)来预测水质的变化. 使用Daubechies5 (db5)小波将数据集分解为低频序列和高频序列, 高频序列作为噪声去除, 仅保留低频信号用作所提出模型的输入. 选取了烟台市门楼水库的4项水质指标数据(pH、氨氮、电导率和浊度)用于模型的训练, 验证和测试. 所提出的小波双层双向模型(Bi2)与小波单层单向模型(Uni1)、小波单层双向模型(Bi1)、小波双层单向模型(Uni2)、传统的LSTM模型以及基于小波分解的LSTM模型(W-LSTM), 进行比较实验. 其实验结果显示, 在训练过程中, 4个Seq2Seq模型都具有很好的性能, 都能够很好拟合4项水质指标的历史数据集. 然而, 测试结果表明, Bi2在预测精度和泛化能力方面优于其他5个模型, 并且显著提高复杂度较高的水质数据的预测精度.     

基于指针网络融入混淆集知识的中文语法纠错

在中文语法纠错(CGEC)任务上,虽然替换类错误在数据集中占比最多,但还没有研究者尝试过将音近和形近知识融入基于神经网络的语法纠错模型中。针对这一问题,该文做了两方面的尝试。首先,该文提出了一种基于指针网络融入混淆集知识的语法纠错模型。具体而言,该模型在序列到编辑(Seq2Edit)语法纠错模型基础上,利用指针网络融入汉字之间的音近和形近知识。其次,在训练数据预处理阶段,即从错误-正确句对抽取编辑序列过程中,该文提出一种混淆集指导的编辑距离算法,从而更好地抽取音近和形近字的替换类编辑。实验结果表明,该文提出的两点改进均能提高模型性能,且作用互补;该文所提出的模型在NLPCC 2018评测数据集上达到了目前最优性能。实验分析表明,与基准Seq2Edit语法纠错模型相比,该文模型的性能提升大部分来自于替换类错误的纠正。     

基于注意力机制的Tree2Seq代码注释自动生成

代码注释可以帮助开发人员快速理解代码，降低代码维护成本。为了保留代码的结构信息，针对经典的Seq2Seq模型将代码的结构信息压缩为序列，导致结构信息丢失的问题，提出使用Tree-LSTM编码器直接将代码转化成抽象语法树进行编码，使注释生成模型能有效获取代码的结构信息，提升注释生成效果。采用基于注意力机制的Tree2Seq模型实现代码注释生成任务，避免了编码器端将所有输入信息压缩为固定向量，导致部分信息丢失的情况。通过在Java和Python 2种编程语言的数据集上进行实验，使用3种机器翻译常用的自动评测指标进行评估验证，并选取一部分测试数据进行了人工评估。实验结果表明，基于注意力机制的Tree2Seq模型能为解码器提供更全面且丰富的语义结构信息，为后续实验分析和改进提供指导。     

基于Seq2Seq模型的SparQL查询预测

近年来,随着以数据为中心的应用的大量增加,图数据模型逐渐被人们所关注,图数据库的发展也非常迅速,对于用户而言,用户往往更关心其在使用数据库过程中的效率问题.本文主要研究如何利用已有的信息进行图数据库的查询预测,从而进行数据的预加载与缓存,提高系统的响应效率.为了使得方法具有跨数据移植性,并深入挖掘数据间的联系,本研究将SparQL查询提取为序列的形式,使用Seq2Seq模型对其进行数据分析和预测,并使用真实的数据集对方法进行测试,实验表明本文的方案具有良好的效果.     

基于Seq2Seq自编码器模型的交通事故实时检测与评价

路侧检测设备可以精准获取交通流量和速度等实时数据,交管部门可以借此显著提升对交通异常状态的感知水平.通过分析交通状态和交通流数据特征,建立一套基于交通流序列数据的交通事故实时检测系统和预警流程.首先,在交通状态感知方面,所建立的Seq2Seq自编码模型引入Attention机制,实现对交通状态重要特征的捕捉;其次,在交通状态异常判定方面,利用Seq2Seq自编码器对输入的原始序列数据进行重构,对比原始数据可得到结构重构误差,根据设定的阈值实现交通预警等级的判定和交通事故的实时检测;最后,以上海市延安高架的流量和速度数据为基础,分别确定不同时空状态下的事故判定阈值,并通过混淆矩阵评价方法论证所提出交通事故实时检测模型的可行性.     

多特征嵌入的Seq2Seq风速预测模型

针对由于风速变化因素复杂导致的风速预测模型准确率低的问题,提出一种多特征嵌入的Seq2 Seq(序列到序列)风速预测模型.以Seq2 Seq为基础,将影响风速的多种因素数据进行多特征嵌入编码,实现对未来若干个小时风速的预测.通过准确率、预测评分和平均绝对误差等指标的实验评价,验证Seq2 Seq模型相比当前最优模型达到了更好的预测稳定性,风速多特征嵌入编码方法的加入显著提高了Seq2 Seq模型的预测准确性.实验结果验证了该模型的有效性.     

基于深度特征和Seq2Seq模型的网络态势预测方法

针对目前大多数的网络态势预测方法不能挖掘数据中的深度信息且需要手动提取与构造特征的问题,提出了深度特征网络态势预测方法DFS-Seq2Seq。首先将网络流、日志和系统事件等产生的数据进行清洗处理,使用深度特征融合算法自动合成深度关系特征,然后采用自动编码器对合成的特征进行提取,最后使用长短期记忆网络（LSTM）构建Seq2Seq模型对数据进行预测。通过设计缜密的实验在公开数据集Kent2016上对所提方法进行验证,结果显示在深度为2时与支持向量机（SVM）、贝叶斯、随机森林（RF）和LSTM这四种分类模型相比,其召回率分别提升了7.4%、11.5%、6.5%、3.0%。实验结果表明DFS-Seq2Seq可以在实际应用中有效地识别网络身份验证中的危险事件,对网络态势作出有效的预测。     

基于双向LSTM的Seq2Seq模型在加油站时序数据异常检测中的应用

加油时序数据包含加油行为的多维信息,但是指定加油站点数据较为稀疏,现有成熟的数据异常检测算法存在挖掘较多假性异常点以及遗漏较多真实异常点的缺陷,并不适用于挖掘加油站时序数据。提出一种基于深度学习的异常检测方法识别加油异常车辆,首先通过自动编码器对加油站点采集到的相关数据进行特征提取,然后采用嵌入双向长短期记忆（Bi-LSTM）的Seq2Seq模型对加油行为进行预测,最后通过比较预测值和原始值来定义异常点的阈值。通过在加油数据集以及信用卡欺诈数据集上的实验验证了该方法的有效性,并且相对于现有方法在加油数据集上均方根误差（RMSE）降低了21.1%,在信用卡欺诈数据集上检测异常的准确率提高了1.4%。因此,提出的模型可以有效应用于加油行为异常的车辆检测,从而提高加油站的管理和运营效率。     

基于深度学习的图书馆服务机器人研究

为提高图书馆服务机器人的趣味性,结合Seq2Seq基本原理,在对Seq2Seq引入注意力机制进行改进的基础上,搭建一个情感聊天机器人对话生成系统。结果表明,相较于传统的LSTM和GRU神经网络,改进后的Seq2Seq机器翻译模型回复更准确,生成的对话评分高达37%;对比传统的Seq2Seq+ECM,生成对话获得的评分更高,可以实现在图书馆场景下的高质量问答,也进一步说明该对话系统的可行性和有效性。