基于Seq2Seq模型的港口进出口货物量预测

港口进出口货物吞吐量是反映港口业务状况的重要指标,其准确预测将给港口经营管理人员进行决策提供重要的依据.利用机器翻译领域的Seq2Seq模型,对影响港口进出货物量的多种因素进行建模.Seq2Seq模型可以反映进出口货物量在时间维度上的变化规律,并且可以刻画天气、节假日等外部因素的影响,从而进行精准预测.Seq2Seq模型包含两个由循环神经网络（LSTM）组成的编码器和解码器,能够捕捉长短期时间范围内集装箱变化趋势,可以根据历史进出口货物量预测未来一段时间的货物量信息.在真实的天津港进出口集装箱数据集上进行了实验,结果表明Seq2Seq模型的深度学习预测方法效果优于传统的时间序列模型以及其他现有的机器学习预测模型.     

基于小波去噪和LSTM的Seq2Seq水质预测模型

建立水质模型预测水质变化是保障饮用水安全、人类健康和维持生态平衡的关键. 本文提出了基于小波分解去噪和LSTM的双层双向Seq2Seq混合模型(W-Bi2Seq2Seq)来预测水质的变化. 使用Daubechies5 (db5)小波将数据集分解为低频序列和高频序列, 高频序列作为噪声去除, 仅保留低频信号用作所提出模型的输入. 选取了烟台市门楼水库的4项水质指标数据(pH、氨氮、电导率和浊度)用于模型的训练, 验证和测试. 所提出的小波双层双向模型(Bi2)与小波单层单向模型(Uni1)、小波单层双向模型(Bi1)、小波双层单向模型(Uni2)、传统的LSTM模型以及基于小波分解的LSTM模型(W-LSTM), 进行比较实验. 其实验结果显示, 在训练过程中, 4个Seq2Seq模型都具有很好的性能, 都能够很好拟合4项水质指标的历史数据集. 然而, 测试结果表明, Bi2在预测精度和泛化能力方面优于其他5个模型, 并且显著提高复杂度较高的水质数据的预测精度.     

基于CNN-Seq2Seq的航空发动机喘振诊断模型的研究

喘振是航空发动机在运行过程中一种危害性极大的气动失稳现象,严重时会导致飞行事故,引起人员和财产的巨大损失,因此寻求一种快速准确的发动机喘振故障的诊断方法对于保障航空发动机飞行安全具有重要的现实意义和价值。当前针对航空发动机喘振故障诊断的模型存在诊断时间长、诊断准确率不高的特点。为了解决这些问题,在序列到序列(Seq2Seq)模型的基础上,使用卷积神经网络(CNN)代替Seq2Seq中编码器-解码器结构上的长短时记忆网络(LSTM)构建得到基于CNN-Seq2Seq的航空发动机喘振诊断模型。该模型利用CNN局部连接以及权值共享的特点实现并行计算,从而大幅提高计算效率并降低诊断耗时。使用某型发动机上的多传感器试验数据对模型进行实验,实验结果表明该模型在显著降低模型大小和计算量的同时,在精确率、召回率及F1 Score上仍然获得了94.3%、92.1%、93.2%的表现,同时单次预测耗时仅需2 ms。     

基于Seq2Seq模型的GRACE降尺度研究

为了克服GRACE数据低空间分辨率的局限，采用序列到序列（Seq2Seq）模型，对三种输入时间序列（地表温度、归一化植被指数和降雨）与GRACE时间序列的经验关系进行建模，将美国加利福尼亚州的GRACE数据空间分辨率由1°降尺度到0.1°。结果表明，Seq2Seq模型能获取到较为准确的时序特征与映射关系，通过遗传算法选出最佳超参数后的Seq2Seq模型，纳什系数可达0.97，均方根误差仅为0.23。通过实测地下水的验证可知，降尺度的GRACE数据与实测值有较强的相关性，相关系数最高可达0.85，能较为准确地反映地下水储量的变化。     

基于改进Seq2Seq的翻译机器人纠错系统设计

针对传统英语翻译的语法纠错系统存在英语语法错误检测准确率低，纠正效果不佳的问题，提出一种基于Seq2Seq神经网络的英语翻译语法纠错模型。首先，采用Seq2Seq神经网络中的Encode部分对输入序列进行建模，并输出此序列的语义向量；然后在Decode部分引入Attention机制，实现原始序列到目标序列的直接映射，从而完成英语语法纠错。实验结果表明，在CoNLL2018数据集的英语语法纠错测试结果中，本模型的准确率、召回率和F_0.5值分别为35.44%、40.68%和32.56%,均高于传统CAMB语法纠错模型。在英语冠词错误纠正结果中，本方法的F_0.5取值为32.36%,比传统UIUC方法和Corpus GEC方法高出了7.02%和2.76%;介词错误纠错实验中，本方法比另外两种方法高出了5.91%和13.15%。综合分析可知，本模型对英语翻译语法纠错准确率和精度更高，对比于传统的语法纠错模型纠错效果更好，可在英语翻译机器人语法纠错系统中进行广泛应用和推广。     

基于深度特征和Seq2Seq模型的网络态势预测方法

针对目前大多数的网络态势预测方法不能挖掘数据中的深度信息且需要手动提取与构造特征的问题,提出了深度特征网络态势预测方法DFS-Seq2Seq。首先将网络流、日志和系统事件等产生的数据进行清洗处理,使用深度特征融合算法自动合成深度关系特征,然后采用自动编码器对合成的特征进行提取,最后使用长短期记忆网络（LSTM）构建Seq2Seq模型对数据进行预测。通过设计缜密的实验在公开数据集Kent2016上对所提方法进行验证,结果显示在深度为2时与支持向量机（SVM）、贝叶斯、随机森林（RF）和LSTM这四种分类模型相比,其召回率分别提升了7.4%、11.5%、6.5%、3.0%。实验结果表明DFS-Seq2Seq可以在实际应用中有效地识别网络身份验证中的危险事件,对网络态势作出有效的预测。     

基于Seq2Seq模型的SparQL查询预测

近年来,随着以数据为中心的应用的大量增加,图数据模型逐渐被人们所关注,图数据库的发展也非常迅速,对于用户而言,用户往往更关心其在使用数据库过程中的效率问题.本文主要研究如何利用已有的信息进行图数据库的查询预测,从而进行数据的预加载与缓存,提高系统的响应效率.为了使得方法具有跨数据移植性,并深入挖掘数据间的联系,本研究将SparQL查询提取为序列的形式,使用Seq2Seq模型对其进行数据分析和预测,并使用真实的数据集对方法进行测试,实验表明本文的方案具有良好的效果.     

基于Bayes网的时间序列预测

时间序列预测问题在气象、天文、电力、医学、生物、经济、金融和计算机等各个领域有着广泛的应用。本文将Bayes网模型用于该领域,提出并建立了一套基于Bayes的时间序列预测模型——静态]3ayes网预测模型,动态Bayes网预测模型和分类静态Bayes网预测模型。实验表明,这三个模型能更准确地描述用户在Web上的浏览特征,在预测准确率和存储复杂度方面都显著地优于传统的时间序列预测模型。     

引入BL-Seq2seq模型进行负荷预测

短期负荷预测在电力系统运行和调度中起着重要作用,为了更好地提取数据中蕴含的有效信息,提升短期负荷预测精度,本文引入Seq2seq算法的注意力机制提出了多层Bi-LSTM的Seq2seq深度学习模型(BL-Seq2seq)实现短期用电负荷预测.其中Seq2seq的编码端由多层Bi-LSTM组成,将输入数据进行编码,并在网络末端输出编码后的最终状态;Seq2seq解码端为单层LSTM,它将编码端的最终状态作为初始输入状态,同时每一步的输出值作为下一步的输入值.利用用电负荷实测数据,基于Keras平台进行仿真,仿真结果表明,与多个经典的深度学习的短期用电负荷预测模型相比,所提BL-Seq2seq模型的预测误差明显降低,大大提升了短期用电负荷预测精度.     

引入BL-Seq2seq模型进行负荷预测

短期负荷预测在电力系统运行和调度中起着重要作用,为了更好地提取数据中蕴含的有效信息,提升短期负荷预测精度,本文引入Seq2seq算法的注意力机制提出了多层Bi-LSTM的Seq2seq深度学习模型(BL-Seq2seq)实现短期用电负荷预测.其中Seq2seq的编码端由多层Bi-LSTM组成,将输入数据进行编码,并在网络末端输出编码后的最终状态;Seq2seq解码端为单层LSTM,它将编码端的最终状态作为初始输入状态,同时每一步的输出值作为下一步的输入值.利用用电负荷实测数据,基于Keras平台进行仿真,仿真结果表明,与多个经典的深度学习的短期用电负荷预测模型相比,所提BL-Seq2seq模型的预测误差明显降低,大大提升了短期用电负荷预测精度.     

基于Seq2Seq自编码器模型的交通事故实时检测与评价

路侧检测设备可以精准获取交通流量和速度等实时数据,交管部门可以借此显著提升对交通异常状态的感知水平.通过分析交通状态和交通流数据特征,建立一套基于交通流序列数据的交通事故实时检测系统和预警流程.首先,在交通状态感知方面,所建立的Seq2Seq自编码模型引入Attention机制,实现对交通状态重要特征的捕捉;其次,在交通状态异常判定方面,利用Seq2Seq自编码器对输入的原始序列数据进行重构,对比原始数据可得到结构重构误差,根据设定的阈值实现交通预警等级的判定和交通事故的实时检测;最后,以上海市延安高架的流量和速度数据为基础,分别确定不同时空状态下的事故判定阈值,并通过混淆矩阵评价方法论证所提出交通事故实时检测模型的可行性.     

Seq2Seq中文文本摘要在金融知识引擎系统中的应用

针对一个基于中文文本摘要的金融知识引擎系统,研究了Seq2Seq模型在系统中的应用。首先构建Seq2Seq模型,将研报等重要的数据输入模型的Encoder端,从Decoder端输出摘要。在seq2seq模型中加入了Attention(注意力)机制,也就是在产生输出的时候,对关系较大的输入输出数据赋以较大权重,再根据关注的区域产生下一个输出。最后通过LawRouge评价器对生成的金融数据进行效果评价。     

改进的RNA-Seq数据转录组表达分析研究

基于高通量测序的RNA-Seq(RNA-sequencing)是用于转录组研究的一种新技术，针对该技术在转录组表达分析研究中存在的读段多源映射和读段非均匀分布等难点，提出一个改进的转录组表达研究方法LDASeqII(Improvement of latent Dirichlet allocation for sequencing data)。模型利用剪接异构体结构信息对参数进行约束并进行外显子读段数目归一化处理，解决了读段非均匀分布下的多源映射问题。通过引入“伪外显子”和“伪转录本”分别处理接合区读段和噪声读段。将模型应用到真实数据集上，并与原LDASeq(Latent Dirichlet allocation for sequencing data)模型和目前流行的 Cufflinks与RSEM(RNA-Seq by expectation maximization)方法进行对比。结果显示,改进方法获得了更为准确的转录本及基因表达水平计算结果。     

基于双向LSTM的Seq2Seq模型在加油站时序数据异常检测中的应用

加油时序数据包含加油行为的多维信息,但是指定加油站点数据较为稀疏,现有成熟的数据异常检测算法存在挖掘较多假性异常点以及遗漏较多真实异常点的缺陷,并不适用于挖掘加油站时序数据。提出一种基于深度学习的异常检测方法识别加油异常车辆,首先通过自动编码器对加油站点采集到的相关数据进行特征提取,然后采用嵌入双向长短期记忆（Bi-LSTM）的Seq2Seq模型对加油行为进行预测,最后通过比较预测值和原始值来定义异常点的阈值。通过在加油数据集以及信用卡欺诈数据集上的实验验证了该方法的有效性,并且相对于现有方法在加油数据集上均方根误差（RMSE）降低了21.1%,在信用卡欺诈数据集上检测异常的准确率提高了1.4%。因此,提出的模型可以有效应用于加油行为异常的车辆检测,从而提高加油站的管理和运营效率。     

基于KL散度的RNA-Seq数据差异异构体比例检测

近年来,RNA-seq技术被广泛应用于差异表达基因和异构体的检测,但目前大多数方法都是识别单个异构体的差异表达,无法同时检测同一个基因中所包含异构体表达比例的差异,因此提出一个差异异构体比例检测方法。该方法基于先前设计的sLDASeq模型,运用该模型中隐含变量的概率分布,采用KL散度进行差异异构体比例的分析。首先使用最新的SEQC数据集评估sLDASeq模型表达水平的性能,结果表明该方法能准确地估计基因中异构体的比例。接着通过模拟数据集进行差异异构体比例的检测,与其他方法相比,实验结果表明该方法在差异异构体比例检测方面具有较高的准确性。     

基于混合注意力Seq2seq模型的选项多标签分类

选项多标签分类是高考文学类阅读理解选择题解答任务中的重要一环,对不同标签类型的选项调用不同的答题引擎,可以有效提高选择题答题准确率。由于选项类型复杂多样,一个选项可能有多个类别特征,将其看作多标签分类任务。传统多标签分类算法仅考虑到文本与标签间相关性,忽略了标签间相关性,且选项内部存在着强语义关联性,对最终的标签预测产生较大影响。为了充分利用选项内相关性,提出一种基于混合注意力的Seq2seq模型,同时考虑选项标签间相关性和选项内相关性。采用Bi-LSTM获得选项到标签的相互信息,利用多头自注意力获得选项内关联语义。为获取标签间语义相关性,使用标签嵌入方式进行隐式融合。在高考文学类阅读理解选择题数据集上的实验结果表明,对多种相关性建模能有效提升选项多标签分类精度。