基于Seq2Seq模型的港口进出口货物量预测

港口进出口货物吞吐量是反映港口业务状况的重要指标,其准确预测将给港口经营管理人员进行决策提供重要的依据.利用机器翻译领域的Seq2Seq模型,对影响港口进出货物量的多种因素进行建模.Seq2Seq模型可以反映进出口货物量在时间维度上的变化规律,并且可以刻画天气、节假日等外部因素的影响,从而进行精准预测.Seq2Seq模型包含两个由循环神经网络（LSTM）组成的编码器和解码器,能够捕捉长短期时间范围内集装箱变化趋势,可以根据历史进出口货物量预测未来一段时间的货物量信息.在真实的天津港进出口集装箱数据集上进行了实验,结果表明Seq2Seq模型的深度学习预测方法效果优于传统的时间序列模型以及其他现有的机器学习预测模型.     

基于深度特征和Seq2Seq模型的网络态势预测方法

针对目前大多数的网络态势预测方法不能挖掘数据中的深度信息且需要手动提取与构造特征的问题,提出了深度特征网络态势预测方法DFS-Seq2Seq。首先将网络流、日志和系统事件等产生的数据进行清洗处理,使用深度特征融合算法自动合成深度关系特征,然后采用自动编码器对合成的特征进行提取,最后使用长短期记忆网络（LSTM）构建Seq2Seq模型对数据进行预测。通过设计缜密的实验在公开数据集Kent2016上对所提方法进行验证,结果显示在深度为2时与支持向量机（SVM）、贝叶斯、随机森林（RF）和LSTM这四种分类模型相比,其召回率分别提升了7.4%、11.5%、6.5%、3.0%。实验结果表明DFS-Seq2Seq可以在实际应用中有效地识别网络身份验证中的危险事件,对网络态势作出有效的预测。     

基于小波去噪和LSTM的Seq2Seq水质预测模型

建立水质模型预测水质变化是保障饮用水安全、人类健康和维持生态平衡的关键. 本文提出了基于小波分解去噪和LSTM的双层双向Seq2Seq混合模型(W-Bi2Seq2Seq)来预测水质的变化. 使用Daubechies5 (db5)小波将数据集分解为低频序列和高频序列, 高频序列作为噪声去除, 仅保留低频信号用作所提出模型的输入. 选取了烟台市门楼水库的4项水质指标数据(pH、氨氮、电导率和浊度)用于模型的训练, 验证和测试. 所提出的小波双层双向模型(Bi2)与小波单层单向模型(Uni1)、小波单层双向模型(Bi1)、小波双层单向模型(Uni2)、传统的LSTM模型以及基于小波分解的LSTM模型(W-LSTM), 进行比较实验. 其实验结果显示, 在训练过程中, 4个Seq2Seq模型都具有很好的性能, 都能够很好拟合4项水质指标的历史数据集. 然而, 测试结果表明, Bi2在预测精度和泛化能力方面优于其他5个模型, 并且显著提高复杂度较高的水质数据的预测精度.     

基于Seq2Seq模型的GRACE降尺度研究

为了克服GRACE数据低空间分辨率的局限，采用序列到序列（Seq2Seq）模型，对三种输入时间序列（地表温度、归一化植被指数和降雨）与GRACE时间序列的经验关系进行建模，将美国加利福尼亚州的GRACE数据空间分辨率由1°降尺度到0.1°。结果表明，Seq2Seq模型能获取到较为准确的时序特征与映射关系，通过遗传算法选出最佳超参数后的Seq2Seq模型，纳什系数可达0.97，均方根误差仅为0.23。通过实测地下水的验证可知，降尺度的GRACE数据与实测值有较强的相关性，相关系数最高可达0.85，能较为准确地反映地下水储量的变化。     

一种基于Seq2Seq框架和文本数据处理的问答对生成方法

为解决从未标记文本中自动化的生成问答对（Q&A）,提出了一种基于Seq2Seq框架和自动化构建数据的问答对生成方法（Seq2Seq-TDP-QAG）。首先,已知段落、问题、答案的阅读理解数据集中,通过构造函数从中获得线索、问题类型信息构造训练数据集,并用数据训练基于Seq2Seq框架的问题生成模型;其次,采用三步取样法从未标记文本中获取答案、线索、问题类型信息,构造问题生成模型的输入数据集,并输入模型中初步生成问题信息;最后,通过数据过滤器来控制问题的质量,生成高质量的问题信息,并和答案组成问答对。将提出的方法在SQuAD数据集上进行实验,与PCFG-Trans模型相比ROUGE-L和METEOR分别提升18.68和6.13,结果证明,Seq2Seq-TDP-QAG有能够生成质量更高的问答对。     

基于Seq2Seq自编码器模型的交通事故实时检测与评价

路侧检测设备可以精准获取交通流量和速度等实时数据,交管部门可以借此显著提升对交通异常状态的感知水平.通过分析交通状态和交通流数据特征,建立一套基于交通流序列数据的交通事故实时检测系统和预警流程.首先,在交通状态感知方面,所建立的Seq2Seq自编码模型引入Attention机制,实现对交通状态重要特征的捕捉;其次,在交通状态异常判定方面,利用Seq2Seq自编码器对输入的原始序列数据进行重构,对比原始数据可得到结构重构误差,根据设定的阈值实现交通预警等级的判定和交通事故的实时检测;最后,以上海市延安高架的流量和速度数据为基础,分别确定不同时空状态下的事故判定阈值,并通过混淆矩阵评价方法论证所提出交通事故实时检测模型的可行性.     

基于双向LSTM的Seq2Seq模型在加油站时序数据异常检测中的应用

加油时序数据包含加油行为的多维信息,但是指定加油站点数据较为稀疏,现有成熟的数据异常检测算法存在挖掘较多假性异常点以及遗漏较多真实异常点的缺陷,并不适用于挖掘加油站时序数据。提出一种基于深度学习的异常检测方法识别加油异常车辆,首先通过自动编码器对加油站点采集到的相关数据进行特征提取,然后采用嵌入双向长短期记忆（Bi-LSTM）的Seq2Seq模型对加油行为进行预测,最后通过比较预测值和原始值来定义异常点的阈值。通过在加油数据集以及信用卡欺诈数据集上的实验验证了该方法的有效性,并且相对于现有方法在加油数据集上均方根误差（RMSE）降低了21.1%,在信用卡欺诈数据集上检测异常的准确率提高了1.4%。因此,提出的模型可以有效应用于加油行为异常的车辆检测,从而提高加油站的管理和运营效率。     

Seq2Seq中文文本摘要在金融知识引擎系统中的应用

针对一个基于中文文本摘要的金融知识引擎系统,研究了Seq2Seq模型在系统中的应用。首先构建Seq2Seq模型,将研报等重要的数据输入模型的Encoder端,从Decoder端输出摘要。在seq2seq模型中加入了Attention(注意力)机制,也就是在产生输出的时候,对关系较大的输入输出数据赋以较大权重,再根据关注的区域产生下一个输出。最后通过LawRouge评价器对生成的金融数据进行效果评价。     

多维注意力机制改进燃气负荷预测

燃气负荷预测是一项让城市安全经济地调配燃气的重要的工作. 目前, 基于注意力机制的Seq2Seq模型越来越多地应用于燃气数据预测, 是一种有效的燃气负荷预测方法. 然而, 针对燃气负荷数据这种突变频率高、幅度大的特点, 一般基于注意力机制的Seq2Seq模型难以提取数据中的多维时间模式信息与应对数据随机突变情况, 在处理影响因素复杂的燃气负荷的预测问题时仍然需要改进. 为此, 本文提出多维注意力机制Seq2Seq模型. 一方面设计研究了多层次时间注意力模块, 综合单时间步长、多时间步长的注意力计算提取数据中不同时间模式信息; 另一方面, 设计增加了局部历史注意力模块, 以改进模型中无法区分重要历史信息的缺陷, 使模型在预测时倾向于参考更为重要的历史信息. 本改进模型针对燃气负荷的独特特性, 具有较好的预测表现. 使用国内某市区的燃气消耗数据与2016年电工数学建模竞赛的电力负荷数据的实验结果表明, 本改进模型相对于一般注意力机制Seq2Seq模型, MAE分别降低了17%与9%.     

基于改进Seq2Seq的翻译机器人纠错系统设计

针对传统英语翻译的语法纠错系统存在英语语法错误检测准确率低，纠正效果不佳的问题，提出一种基于Seq2Seq神经网络的英语翻译语法纠错模型。首先，采用Seq2Seq神经网络中的Encode部分对输入序列进行建模，并输出此序列的语义向量；然后在Decode部分引入Attention机制，实现原始序列到目标序列的直接映射，从而完成英语语法纠错。实验结果表明，在CoNLL2018数据集的英语语法纠错测试结果中，本模型的准确率、召回率和F_0.5值分别为35.44%、40.68%和32.56%,均高于传统CAMB语法纠错模型。在英语冠词错误纠正结果中，本方法的F_0.5取值为32.36%,比传统UIUC方法和Corpus GEC方法高出了7.02%和2.76%;介词错误纠错实验中，本方法比另外两种方法高出了5.91%和13.15%。综合分析可知，本模型对英语翻译语法纠错准确率和精度更高，对比于传统的语法纠错模型纠错效果更好，可在英语翻译机器人语法纠错系统中进行广泛应用和推广。     

基于CNN-Seq2Seq的航空发动机喘振诊断模型的研究

喘振是航空发动机在运行过程中一种危害性极大的气动失稳现象,严重时会导致飞行事故,引起人员和财产的巨大损失,因此寻求一种快速准确的发动机喘振故障的诊断方法对于保障航空发动机飞行安全具有重要的现实意义和价值。当前针对航空发动机喘振故障诊断的模型存在诊断时间长、诊断准确率不高的特点。为了解决这些问题,在序列到序列(Seq2Seq)模型的基础上,使用卷积神经网络(CNN)代替Seq2Seq中编码器-解码器结构上的长短时记忆网络(LSTM)构建得到基于CNN-Seq2Seq的航空发动机喘振诊断模型。该模型利用CNN局部连接以及权值共享的特点实现并行计算,从而大幅提高计算效率并降低诊断耗时。使用某型发动机上的多传感器试验数据对模型进行实验,实验结果表明该模型在显著降低模型大小和计算量的同时,在精确率、召回率及F1 Score上仍然获得了94.3%、92.1%、93.2%的表现,同时单次预测耗时仅需2 ms。     

一种基于区域海表面温度异常预测的ENSO预报深度学习模型

本文通过实验,从设计的四种深度学习网络模型中挑选出一种可以用来预测区域海平面温度异常 (SSTA) 的模型——序列到序列 (Seq2Seq) 模型,并确定了适合于此模型的一组最优的超参数 (编码器使用正序输入、不使用 L2 正则化和使用 Adam 优化器) 和输入变量个数。与传统的动力学 ENSO 预报模型相比,该模型在中长期 (提前 7 个月以上) 预测上的均方根误差 (RMSE) 表现要更好。在实际的 SSTA (Niño3.4 指数) 预测实验中,该模型可以较好地预测出 SSTA 变化趋势,但在峰值处表现较差。与其他动力学和统计模型相比,该模型有较好的预测结果。因此,考虑其在中长期优于动力学模型的表现以及整体较好的预测结果,该模型可以作为一种 ENSO 预报以及区域 SSTA 预测的深度学习模型。     

基于指针网络的抽取生成式摘要生成模型

作为自然语言处理中的热点问题,摘要生成具有重要的研究意义。基于Seq2Seq模型的生成式摘要模型取得了良好的效果,然而抽取式的方法具有挖掘有效特征并抽取文章重要句子的潜力,因此如何利用抽取式方法来改进生成式方法是一个较好的研究方向。鉴于此,提出了融合生成式和抽取式方法的模型。首先,使用TextRank算法并融合主题相似度来抽取文章中有重要意义的句子。然后,设计了融合抽取信息语义的基于Seq2Seq模型的生成式框架来实现摘要生成任务;同时,引入指针网络解决模型训练中的未登录词（OOV）问题。综合以上步骤得到最终摘要,并在CNN/Daily Mail数据集上进行验证。结果表明在ROUGE-1、ROUGE-2和ROUGE-L三个指标上所提模型比传统TextRank算法均有所提升,同时也验证了融合抽取式和生成式方法在摘要生成领域中的有效性。     

基于变分自编码器的生成式文本摘要研究

从单文档中生成简短精炼的摘要文本可有效缓解信息爆炸给人们带来的阅读压力。近年来,序列到序列(sequence-to-sequence,Seq2Seq)模型在各文本生成任务中广泛应用,其中结合注意力机制的Seq2Seq模型已成为生成式文本摘要的基本框架。为生成能体现摘要的特定写作风格特征的摘要,在基于注意力和覆盖率机制的Seq2Seq模型基础上,在解码阶段利用变分自编码器(variational auto-encoder,VAE)刻画摘要风格特征并用于指导摘要文本生成;最后,利用指针生成网络来缓解模型中可能出现的未登录词问题。基于新浪微博LCSTS数据集的实验结果表明,该方法能有效刻画摘要风格特征、缓解未登录词及重复生成问题,使得生成的摘要准确性高于基准模型。