基于Seq2Seq模型的港口进出口货物量预测

港口进出口货物吞吐量是反映港口业务状况的重要指标,其准确预测将给港口经营管理人员进行决策提供重要的依据.利用机器翻译领域的Seq2Seq模型,对影响港口进出货物量的多种因素进行建模.Seq2Seq模型可以反映进出口货物量在时间维度上的变化规律,并且可以刻画天气、节假日等外部因素的影响,从而进行精准预测.Seq2Seq模型包含两个由循环神经网络（LSTM）组成的编码器和解码器,能够捕捉长短期时间范围内集装箱变化趋势,可以根据历史进出口货物量预测未来一段时间的货物量信息.在真实的天津港进出口集装箱数据集上进行了实验,结果表明Seq2Seq模型的深度学习预测方法效果优于传统的时间序列模型以及其他现有的机器学习预测模型.     

基于小波去噪和LSTM的Seq2Seq水质预测模型

建立水质模型预测水质变化是保障饮用水安全、人类健康和维持生态平衡的关键. 本文提出了基于小波分解去噪和LSTM的双层双向Seq2Seq混合模型(W-Bi2Seq2Seq)来预测水质的变化. 使用Daubechies5 (db5)小波将数据集分解为低频序列和高频序列, 高频序列作为噪声去除, 仅保留低频信号用作所提出模型的输入. 选取了烟台市门楼水库的4项水质指标数据(pH、氨氮、电导率和浊度)用于模型的训练, 验证和测试. 所提出的小波双层双向模型(Bi2)与小波单层单向模型(Uni1)、小波单层双向模型(Bi1)、小波双层单向模型(Uni2)、传统的LSTM模型以及基于小波分解的LSTM模型(W-LSTM), 进行比较实验. 其实验结果显示, 在训练过程中, 4个Seq2Seq模型都具有很好的性能, 都能够很好拟合4项水质指标的历史数据集. 然而, 测试结果表明, Bi2在预测精度和泛化能力方面优于其他5个模型, 并且显著提高复杂度较高的水质数据的预测精度.     

基于Seq2Seq模型的SparQL查询预测

近年来,随着以数据为中心的应用的大量增加,图数据模型逐渐被人们所关注,图数据库的发展也非常迅速,对于用户而言,用户往往更关心其在使用数据库过程中的效率问题.本文主要研究如何利用已有的信息进行图数据库的查询预测,从而进行数据的预加载与缓存,提高系统的响应效率.为了使得方法具有跨数据移植性,并深入挖掘数据间的联系,本研究将SparQL查询提取为序列的形式,使用Seq2Seq模型对其进行数据分析和预测,并使用真实的数据集对方法进行测试,实验表明本文的方案具有良好的效果.     

基于Seq2Seq模型的GRACE降尺度研究

为了克服GRACE数据低空间分辨率的局限，采用序列到序列（Seq2Seq）模型，对三种输入时间序列（地表温度、归一化植被指数和降雨）与GRACE时间序列的经验关系进行建模，将美国加利福尼亚州的GRACE数据空间分辨率由1°降尺度到0.1°。结果表明，Seq2Seq模型能获取到较为准确的时序特征与映射关系，通过遗传算法选出最佳超参数后的Seq2Seq模型，纳什系数可达0.97，均方根误差仅为0.23。通过实测地下水的验证可知，降尺度的GRACE数据与实测值有较强的相关性，相关系数最高可达0.85，能较为准确地反映地下水储量的变化。     

基于双向LSTM的Seq2Seq模型在加油站时序数据异常检测中的应用

加油时序数据包含加油行为的多维信息,但是指定加油站点数据较为稀疏,现有成熟的数据异常检测算法存在挖掘较多假性异常点以及遗漏较多真实异常点的缺陷,并不适用于挖掘加油站时序数据。提出一种基于深度学习的异常检测方法识别加油异常车辆,首先通过自动编码器对加油站点采集到的相关数据进行特征提取,然后采用嵌入双向长短期记忆（Bi-LSTM）的Seq2Seq模型对加油行为进行预测,最后通过比较预测值和原始值来定义异常点的阈值。通过在加油数据集以及信用卡欺诈数据集上的实验验证了该方法的有效性,并且相对于现有方法在加油数据集上均方根误差（RMSE）降低了21.1%,在信用卡欺诈数据集上检测异常的准确率提高了1.4%。因此,提出的模型可以有效应用于加油行为异常的车辆检测,从而提高加油站的管理和运营效率。     

一种基于Seq2Seq框架和文本数据处理的问答对生成方法

为解决从未标记文本中自动化的生成问答对（Q&A）,提出了一种基于Seq2Seq框架和自动化构建数据的问答对生成方法（Seq2Seq-TDP-QAG）。首先,已知段落、问题、答案的阅读理解数据集中,通过构造函数从中获得线索、问题类型信息构造训练数据集,并用数据训练基于Seq2Seq框架的问题生成模型;其次,采用三步取样法从未标记文本中获取答案、线索、问题类型信息,构造问题生成模型的输入数据集,并输入模型中初步生成问题信息;最后,通过数据过滤器来控制问题的质量,生成高质量的问题信息,并和答案组成问答对。将提出的方法在SQuAD数据集上进行实验,与PCFG-Trans模型相比ROUGE-L和METEOR分别提升18.68和6.13,结果证明,Seq2Seq-TDP-QAG有能够生成质量更高的问答对。     

基于改进Seq2Seq的翻译机器人纠错系统设计

针对传统英语翻译的语法纠错系统存在英语语法错误检测准确率低，纠正效果不佳的问题，提出一种基于Seq2Seq神经网络的英语翻译语法纠错模型。首先，采用Seq2Seq神经网络中的Encode部分对输入序列进行建模，并输出此序列的语义向量；然后在Decode部分引入Attention机制，实现原始序列到目标序列的直接映射，从而完成英语语法纠错。实验结果表明，在CoNLL2018数据集的英语语法纠错测试结果中，本模型的准确率、召回率和F_0.5值分别为35.44%、40.68%和32.56%,均高于传统CAMB语法纠错模型。在英语冠词错误纠正结果中，本方法的F_0.5取值为32.36%,比传统UIUC方法和Corpus GEC方法高出了7.02%和2.76%;介词错误纠错实验中，本方法比另外两种方法高出了5.91%和13.15%。综合分析可知，本模型对英语翻译语法纠错准确率和精度更高，对比于传统的语法纠错模型纠错效果更好，可在英语翻译机器人语法纠错系统中进行广泛应用和推广。     

多维注意力机制改进燃气负荷预测

燃气负荷预测是一项让城市安全经济地调配燃气的重要的工作. 目前, 基于注意力机制的Seq2Seq模型越来越多地应用于燃气数据预测, 是一种有效的燃气负荷预测方法. 然而, 针对燃气负荷数据这种突变频率高、幅度大的特点, 一般基于注意力机制的Seq2Seq模型难以提取数据中的多维时间模式信息与应对数据随机突变情况, 在处理影响因素复杂的燃气负荷的预测问题时仍然需要改进. 为此, 本文提出多维注意力机制Seq2Seq模型. 一方面设计研究了多层次时间注意力模块, 综合单时间步长、多时间步长的注意力计算提取数据中不同时间模式信息; 另一方面, 设计增加了局部历史注意力模块, 以改进模型中无法区分重要历史信息的缺陷, 使模型在预测时倾向于参考更为重要的历史信息. 本改进模型针对燃气负荷的独特特性, 具有较好的预测表现. 使用国内某市区的燃气消耗数据与2016年电工数学建模竞赛的电力负荷数据的实验结果表明, 本改进模型相对于一般注意力机制Seq2Seq模型, MAE分别降低了17%与9%.     

多特征嵌入的Seq2Seq风速预测模型

针对由于风速变化因素复杂导致的风速预测模型准确率低的问题,提出一种多特征嵌入的Seq2 Seq(序列到序列)风速预测模型.以Seq2 Seq为基础,将影响风速的多种因素数据进行多特征嵌入编码,实现对未来若干个小时风速的预测.通过准确率、预测评分和平均绝对误差等指标的实验评价,验证Seq2 Seq模型相比当前最优模型达到了更好的预测稳定性,风速多特征嵌入编码方法的加入显著提高了Seq2 Seq模型的预测准确性.实验结果验证了该模型的有效性.     

Seq2Seq中文文本摘要在金融知识引擎系统中的应用

针对一个基于中文文本摘要的金融知识引擎系统,研究了Seq2Seq模型在系统中的应用。首先构建Seq2Seq模型,将研报等重要的数据输入模型的Encoder端,从Decoder端输出摘要。在seq2seq模型中加入了Attention(注意力)机制,也就是在产生输出的时候,对关系较大的输入输出数据赋以较大权重,再根据关注的区域产生下一个输出。最后通过LawRouge评价器对生成的金融数据进行效果评价。     

基于CNN-Seq2Seq的航空发动机喘振诊断模型的研究

喘振是航空发动机在运行过程中一种危害性极大的气动失稳现象,严重时会导致飞行事故,引起人员和财产的巨大损失,因此寻求一种快速准确的发动机喘振故障的诊断方法对于保障航空发动机飞行安全具有重要的现实意义和价值。当前针对航空发动机喘振故障诊断的模型存在诊断时间长、诊断准确率不高的特点。为了解决这些问题,在序列到序列(Seq2Seq)模型的基础上,使用卷积神经网络(CNN)代替Seq2Seq中编码器-解码器结构上的长短时记忆网络(LSTM)构建得到基于CNN-Seq2Seq的航空发动机喘振诊断模型。该模型利用CNN局部连接以及权值共享的特点实现并行计算,从而大幅提高计算效率并降低诊断耗时。使用某型发动机上的多传感器试验数据对模型进行实验,实验结果表明该模型在显著降低模型大小和计算量的同时,在精确率、召回率及F1 Score上仍然获得了94.3%、92.1%、93.2%的表现,同时单次预测耗时仅需2 ms。     

基于双编码器的短文本自动摘要方法

针对当前生成式文本摘要方法存在的语义信息利用不充分、摘要精度不够等问题,提出一种基于双编码器的文本摘要方法。首先,通过双编码器为序列映射（Seq2Seq）架构提供更丰富的语义信息,并对融入双通道语义的注意力机制和伴随经验分布的解码器进行了优化研究;然后,在词嵌入生成技术中融合位置嵌入和词嵌入,并新增词频-逆文档频率（TF-IDF）、词性（POS）、关键性得分（Soc）,优化词嵌入维度。所提方法对传统序列映射Seq2Seq和词特征表示进行优化,在增强模型对语义的理解的同时,提高了摘要的质量。实验结果表明,该方法在Rouge评价体系中的表现相比传统伴随自注意力机制的递归神经网络方法（RNN+atten）和多层双向伴随自注意力机制的递归神经网络方法（Bi-MulRNN+atten）提高10~13个百分点,其文本摘要语义理解更加准确、生成效果更好,拥有更好的应用前景。     

基于卷积注意力长短时记忆网络的轴承寿命预测方法EI北大核心CSCD

传统的滚动轴承寿命预测方法缺乏明确的学习机制,无法有效识别不同时序特征之间的差异并突出重要特征,影响其预测精度.为克服上述缺点,本文提出了一种基于卷积注意力长短时记忆网络(CAN-LSTM)的剩余使用寿命预测模型.该模型主要由两部分组成:前端为卷积注意力网络(CAN),学习通道和时间维度中的深层故障特征,提高特征的表征能力;后端为改进LSTM网络,基于退化特征对轴承进行寿命预测.归一化健康指标至[0,1]区间内,得到相同的失效阈值;使用五点平滑法对预测结果进行处理,实现预测结果的输出;利用留一法对轴承全寿命试验数据进行验证,测试模型的准确性和适应性.试验结果表明:所提模型的平均均方根误差和平均绝对值误差比仅用CNN模型预测值低54.12%和59.05%,比仅用LSTM模型预测值低39.06%和43.42%,比卷积长短时记忆网络(CNN-LSTM)低20.41%和25.86%.     

基于树结构长短期记忆神经网络的金融时间序列预测

针对传统方法对多噪声、非线性的时间序列无法进行有效预测的问题,以多尺度特征融合为切入点,提出并验证了基于树结构长短期记忆（LSTM）神经网络的预测方法。首先,提出了实现预测目标的核心方法,并分析了方法的内在优势;其次,构建了基于树结构长短期记忆神经网络的预测模型;最后,基于最近十年的国际黄金现货交易数据对模型进行了验证。实验结果表明,所提算法预测准确率高出最小成功率近10个百分点,证实了所提方法的有效性。     

基于变分自编码器的生成式文本摘要研究

从单文档中生成简短精炼的摘要文本可有效缓解信息爆炸给人们带来的阅读压力。近年来,序列到序列(sequence-to-sequence,Seq2Seq)模型在各文本生成任务中广泛应用,其中结合注意力机制的Seq2Seq模型已成为生成式文本摘要的基本框架。为生成能体现摘要的特定写作风格特征的摘要,在基于注意力和覆盖率机制的Seq2Seq模型基础上,在解码阶段利用变分自编码器(variational auto-encoder,VAE)刻画摘要风格特征并用于指导摘要文本生成;最后,利用指针生成网络来缓解模型中可能出现的未登录词问题。基于新浪微博LCSTS数据集的实验结果表明,该方法能有效刻画摘要风格特征、缓解未登录词及重复生成问题,使得生成的摘要准确性高于基准模型。     

基于LSTM-CNN-CBAM模型的股票预测研究

为了更好地对股票价格进行预测,进而为股民提供合理化的建议,提出了一种在结合长短期记忆网络（LSTM）和卷积神经网络（CNN）的基础上引入注意力机制的股票预测混合模型（LSTM-CNN-CBAM）,该模型采用的是端到端的网络结构,使用LSTM来提取数据中的时序特征,利用CNN挖掘数据中的深层特征,通过在网络结构中加入注意力机制--Convolutional Attention Block Module（CBAM）卷积模块,可以有效地提升网络的特征提取能力。基于上证指数进行对比实验,通过对比实验预测结果和评价指标,验证了在LSTM与CNN结合的网络模型中加入CBAM模块的预测有效性和可行性。