基于Seq2Seq模型的GRACE降尺度研究

为了克服GRACE数据低空间分辨率的局限，采用序列到序列（Seq2Seq）模型，对三种输入时间序列（地表温度、归一化植被指数和降雨）与GRACE时间序列的经验关系进行建模，将美国加利福尼亚州的GRACE数据空间分辨率由1°降尺度到0.1°。结果表明，Seq2Seq模型能获取到较为准确的时序特征与映射关系，通过遗传算法选出最佳超参数后的Seq2Seq模型，纳什系数可达0.97，均方根误差仅为0.23。通过实测地下水的验证可知，降尺度的GRACE数据与实测值有较强的相关性，相关系数最高可达0.85，能较为准确地反映地下水储量的变化。     

基于小波去噪和LSTM的Seq2Seq水质预测模型

建立水质模型预测水质变化是保障饮用水安全、人类健康和维持生态平衡的关键. 本文提出了基于小波分解去噪和LSTM的双层双向Seq2Seq混合模型(W-Bi2Seq2Seq)来预测水质的变化. 使用Daubechies5 (db5)小波将数据集分解为低频序列和高频序列, 高频序列作为噪声去除, 仅保留低频信号用作所提出模型的输入. 选取了烟台市门楼水库的4项水质指标数据(pH、氨氮、电导率和浊度)用于模型的训练, 验证和测试. 所提出的小波双层双向模型(Bi2)与小波单层单向模型(Uni1)、小波单层双向模型(Bi1)、小波双层单向模型(Uni2)、传统的LSTM模型以及基于小波分解的LSTM模型(W-LSTM), 进行比较实验. 其实验结果显示, 在训练过程中, 4个Seq2Seq模型都具有很好的性能, 都能够很好拟合4项水质指标的历史数据集. 然而, 测试结果表明, Bi2在预测精度和泛化能力方面优于其他5个模型, 并且显著提高复杂度较高的水质数据的预测精度.     

基于深度特征和Seq2Seq模型的网络态势预测方法

针对目前大多数的网络态势预测方法不能挖掘数据中的深度信息且需要手动提取与构造特征的问题,提出了深度特征网络态势预测方法DFS-Seq2Seq。首先将网络流、日志和系统事件等产生的数据进行清洗处理,使用深度特征融合算法自动合成深度关系特征,然后采用自动编码器对合成的特征进行提取,最后使用长短期记忆网络（LSTM）构建Seq2Seq模型对数据进行预测。通过设计缜密的实验在公开数据集Kent2016上对所提方法进行验证,结果显示在深度为2时与支持向量机（SVM）、贝叶斯、随机森林（RF）和LSTM这四种分类模型相比,其召回率分别提升了7.4%、11.5%、6.5%、3.0%。实验结果表明DFS-Seq2Seq可以在实际应用中有效地识别网络身份验证中的危险事件,对网络态势作出有效的预测。     

多特征嵌入的Seq2Seq风速预测模型

针对由于风速变化因素复杂导致的风速预测模型准确率低的问题,提出一种多特征嵌入的Seq2 Seq(序列到序列)风速预测模型.以Seq2 Seq为基础,将影响风速的多种因素数据进行多特征嵌入编码,实现对未来若干个小时风速的预测.通过准确率、预测评分和平均绝对误差等指标的实验评价,验证Seq2 Seq模型相比当前最优模型达到了更好的预测稳定性,风速多特征嵌入编码方法的加入显著提高了Seq2 Seq模型的预测准确性.实验结果验证了该模型的有效性.     

多维注意力机制改进燃气负荷预测

燃气负荷预测是一项让城市安全经济地调配燃气的重要的工作. 目前, 基于注意力机制的Seq2Seq模型越来越多地应用于燃气数据预测, 是一种有效的燃气负荷预测方法. 然而, 针对燃气负荷数据这种突变频率高、幅度大的特点, 一般基于注意力机制的Seq2Seq模型难以提取数据中的多维时间模式信息与应对数据随机突变情况, 在处理影响因素复杂的燃气负荷的预测问题时仍然需要改进. 为此, 本文提出多维注意力机制Seq2Seq模型. 一方面设计研究了多层次时间注意力模块, 综合单时间步长、多时间步长的注意力计算提取数据中不同时间模式信息; 另一方面, 设计增加了局部历史注意力模块, 以改进模型中无法区分重要历史信息的缺陷, 使模型在预测时倾向于参考更为重要的历史信息. 本改进模型针对燃气负荷的独特特性, 具有较好的预测表现. 使用国内某市区的燃气消耗数据与2016年电工数学建模竞赛的电力负荷数据的实验结果表明, 本改进模型相对于一般注意力机制Seq2Seq模型, MAE分别降低了17%与9%.     

基于Seq2Seq模型的SparQL查询预测

近年来,随着以数据为中心的应用的大量增加,图数据模型逐渐被人们所关注,图数据库的发展也非常迅速,对于用户而言,用户往往更关心其在使用数据库过程中的效率问题.本文主要研究如何利用已有的信息进行图数据库的查询预测,从而进行数据的预加载与缓存,提高系统的响应效率.为了使得方法具有跨数据移植性,并深入挖掘数据间的联系,本研究将SparQL查询提取为序列的形式,使用Seq2Seq模型对其进行数据分析和预测,并使用真实的数据集对方法进行测试,实验表明本文的方案具有良好的效果.     

基于Seq2Seq自编码器模型的交通事故实时检测与评价

路侧检测设备可以精准获取交通流量和速度等实时数据,交管部门可以借此显著提升对交通异常状态的感知水平.通过分析交通状态和交通流数据特征,建立一套基于交通流序列数据的交通事故实时检测系统和预警流程.首先,在交通状态感知方面,所建立的Seq2Seq自编码模型引入Attention机制,实现对交通状态重要特征的捕捉;其次,在交通状态异常判定方面,利用Seq2Seq自编码器对输入的原始序列数据进行重构,对比原始数据可得到结构重构误差,根据设定的阈值实现交通预警等级的判定和交通事故的实时检测;最后,以上海市延安高架的流量和速度数据为基础,分别确定不同时空状态下的事故判定阈值,并通过混淆矩阵评价方法论证所提出交通事故实时检测模型的可行性.     

Seq2Seq中文文本摘要在金融知识引擎系统中的应用

针对一个基于中文文本摘要的金融知识引擎系统,研究了Seq2Seq模型在系统中的应用。首先构建Seq2Seq模型,将研报等重要的数据输入模型的Encoder端,从Decoder端输出摘要。在seq2seq模型中加入了Attention(注意力)机制,也就是在产生输出的时候,对关系较大的输入输出数据赋以较大权重,再根据关注的区域产生下一个输出。最后通过LawRouge评价器对生成的金融数据进行效果评价。     

一种基于Seq2Seq框架和文本数据处理的问答对生成方法

为解决从未标记文本中自动化的生成问答对（Q&A）,提出了一种基于Seq2Seq框架和自动化构建数据的问答对生成方法（Seq2Seq-TDP-QAG）。首先,已知段落、问题、答案的阅读理解数据集中,通过构造函数从中获得线索、问题类型信息构造训练数据集,并用数据训练基于Seq2Seq框架的问题生成模型;其次,采用三步取样法从未标记文本中获取答案、线索、问题类型信息,构造问题生成模型的输入数据集,并输入模型中初步生成问题信息;最后,通过数据过滤器来控制问题的质量,生成高质量的问题信息,并和答案组成问答对。将提出的方法在SQuAD数据集上进行实验,与PCFG-Trans模型相比ROUGE-L和METEOR分别提升18.68和6.13,结果证明,Seq2Seq-TDP-QAG有能够生成质量更高的问答对。     

基于BERT与Seq2Seq模型的智能情感对话机器人系统设计

随着人工智能的发展，机器人广泛应用于各行各业中，而学生在英语学习过程中也可以利用对话模拟机器人进行英语练习，培养英语语感，提升英语水平。因此，研究利用改进后的序列到序列(Sequen to Sequence, Seq2Seq)模型，结合基于Transformers模型的双向编码器(Bidirectional Encoder Representations from Transformers, BERT)模型设计具有情感属性的智能对话模拟机器人，模拟人类在不同情境下的自然情感语境对话，以提升学生的口语英语水平。研究结果表明，研究构建模型的对数损失随着预测概率的增大稳定在2左右，改进Seq2Seq-BERT模型的Distinct-1平均得分为0.068,Embedding Average平均得分为0.262,情感精确度平均得分为87.24%,人工评价的逻辑相关、上下文连贯的回复占总回复的50%,说明设计的英语语言对话机器人系统性能良好，能有效提供多元化的英语情感对话回复，进而满足实际应用中学生英语对话练习的需要，能够优化英语教学模式，改进教师的授课方式，最终改善学生的学习效果。     

基于CNN-Seq2Seq的航空发动机喘振诊断模型的研究

喘振是航空发动机在运行过程中一种危害性极大的气动失稳现象,严重时会导致飞行事故,引起人员和财产的巨大损失,因此寻求一种快速准确的发动机喘振故障的诊断方法对于保障航空发动机飞行安全具有重要的现实意义和价值。当前针对航空发动机喘振故障诊断的模型存在诊断时间长、诊断准确率不高的特点。为了解决这些问题,在序列到序列(Seq2Seq)模型的基础上,使用卷积神经网络(CNN)代替Seq2Seq中编码器-解码器结构上的长短时记忆网络(LSTM)构建得到基于CNN-Seq2Seq的航空发动机喘振诊断模型。该模型利用CNN局部连接以及权值共享的特点实现并行计算,从而大幅提高计算效率并降低诊断耗时。使用某型发动机上的多传感器试验数据对模型进行实验,实验结果表明该模型在显著降低模型大小和计算量的同时,在精确率、召回率及F1 Score上仍然获得了94.3%、92.1%、93.2%的表现,同时单次预测耗时仅需2 ms。     

一种基于区域海表面温度异常预测的ENSO预报深度学习模型

本文通过实验,从设计的四种深度学习网络模型中挑选出一种可以用来预测区域海平面温度异常 (SSTA) 的模型——序列到序列 (Seq2Seq) 模型,并确定了适合于此模型的一组最优的超参数 (编码器使用正序输入、不使用 L2 正则化和使用 Adam 优化器) 和输入变量个数。与传统的动力学 ENSO 预报模型相比,该模型在中长期 (提前 7 个月以上) 预测上的均方根误差 (RMSE) 表现要更好。在实际的 SSTA (Niño3.4 指数) 预测实验中,该模型可以较好地预测出 SSTA 变化趋势,但在峰值处表现较差。与其他动力学和统计模型相比,该模型有较好的预测结果。因此,考虑其在中长期优于动力学模型的表现以及整体较好的预测结果,该模型可以作为一种 ENSO 预报以及区域 SSTA 预测的深度学习模型。     

基于变分自编码器的生成式文本摘要研究

从单文档中生成简短精炼的摘要文本可有效缓解信息爆炸给人们带来的阅读压力。近年来,序列到序列(sequence-to-sequence,Seq2Seq)模型在各文本生成任务中广泛应用,其中结合注意力机制的Seq2Seq模型已成为生成式文本摘要的基本框架。为生成能体现摘要的特定写作风格特征的摘要,在基于注意力和覆盖率机制的Seq2Seq模型基础上,在解码阶段利用变分自编码器(variational auto-encoder,VAE)刻画摘要风格特征并用于指导摘要文本生成;最后,利用指针生成网络来缓解模型中可能出现的未登录词问题。基于新浪微博LCSTS数据集的实验结果表明,该方法能有效刻画摘要风格特征、缓解未登录词及重复生成问题,使得生成的摘要准确性高于基准模型。     

基于深度学习的个性化聊天机器人研究

为了对传统的聊天机器人局限性进行改进,增强其回复时的个性化和多样化,并使其具有一定的准确性,研究改进了一种基于深度学习Seq2Seq模型的对话系统。对传统的编码器-解码器(Encoder-Decoder)模型进行了研究,在原有模型的基础上使用了深度LSTM结构并且加入注意力机制使其能更好地适应不同长度的问句。在解码过程中,将原有模型的贪心算法改为了Beam Search算法。在训练过程中,利用了多次训练的方法,训练出模拟电视剧角色的聊天机器人,为聊天机器人赋予一个特定的身份。通过使用两种自动评估指标BLEUs和Distinct-n去测试聊天机器人,并使用一些问句测试聊天机器人的反应,最终实验结果表明新模型与原有的模型相比,两种指标都取得了较好的效果,并且输出句子的合理性以及回复质量也有明显的提高。     

基于Self-Attention模型的机器翻译系统

近几年来神经机器翻译（Neural Machine Translation, NMT）发展迅速，Seq2Seq框架的提出为机器翻译带来了很大的优势，可以在观测到整个输入句子后生成任意输出序列。但是该模型对于长距离信息的捕获能力仍有很大的局限，循环神经网络（RNN）、 LSTM网络都是为了改善这一问题提出的，但是效果并不明显。注意力机制的提出与运用则有效地弥补了该缺陷。Self-Attention模型就是在注意力机制的基础上提出的，本文使用Self-Attention为基础构建编码器-解码器框架。本文通过探讨以往的神经网络翻译模型，分析Self-Attention模型的机制与原理，通过TensorFlow深度学习框架对基于Self-Attention模型的翻译系统进行实现，在英文到中文的翻译实验中与以往的神经网络翻译模型进行对比，表明该模型取得了较好的翻译效果。     

基于PSO优化混合RVM模型的进出口贸易预测算法

由于进出口贸易额波动较大,影响因素较多,一般预测算法难以得到较为准确的预测结果。针对该问题,提出基于PSO优化混合RVM模型的贸易预测方法。该方法首先找出影响进出口贸易的指标并通过主成分分析方法提取出指标的主因子作为模型的输入数据。然后在多个不同核函数的单一核RVM模型训练的基础上,根据单一核RVM模型预测误差采用多核加权的方法构建混合核RVM模型,最后通过PSO优化混合核模型参数以提高预测准确性。以深圳进出口贸易预测为例验证该方法能够较为准确地预测进出口贸易值。     

Application of a combined fuzzy multiple criteria decision making and optimization programming model to the container transportation demand split

The container transportation demand split is one of the most important decision issues for government transportation departments and port organizations. In previous studies, many researchers assumed that the shipping carrier would aim to minimize the total operation cost by selecting an appropriate port as the most favorable one to call, and the shipper would aim to minimize the inland freight cost by selecting the nearest port as the most favorable one to import and export international trade containers. Thus, a number of mathematical programming models have been developed. But in practice, the shipping carrier not only aims to minimize the total operation cost but also takes into account other criteria such as the volume of containers and port facility conditions when choosing an appropriate port as the most favorable one to call. The shipper not only aims to minimize the inland freight cost but also takes into account the frequency of ship callings when choosing an appropriate port as the most favorable one to import and export international trade containers.Thus, the purpose of this paper is to formulate a combined fuzzy multiple criteria decision making and optimization programming model for solving the container transportation demand split problem. There are two stages in this combined model: in stage one, we first compute the container transportation demand split rate by using fuzzy multiple criteria decision making (MCDM) method; whereas in stage two, an optimization mathematical programming network model is proposed for determining the inland origin destination (O-D) of import/export containers. The utilization of the proposed model is demonstrated with a case of Taiwanese ports. The results show that the proposed combined fuzzy MCDM and optimization programming model can be used to explain the container transportation demand split practice.     

基于遗传算法的出口集装箱送箱时间窗优化

基于对港口出口集装箱送箱时间窗的分析,综合考虑港口闸口处作业量平衡及堆场空间资源利用率两个影响港口整体服务质量的因素,在此基础上建立数学模型,在一个滚动计划周期内为出口集装箱分配送箱时间窗。通过数值实验证明,该模型能显著降低闸口作业不平衡量,从而提高港口资源利用率,同时缩短送箱集卡在闸口排队等待服务的时间。     

基于多通道Transformer的交通量预测方法

目前,我国高速公路拥堵程度居高不下,而交通流预测作为实现智能交通系统的重要一环,若能对其实现高精度的预测,那么将能够高效地管理交通,从而缓解拥堵。针对该问题,提出了一种考虑时空关联的多通道交通流预测方法（MCST-Transformer）。首先,将Transformer结构用于不同数据的内在规律提取,然后引入空间关联模块对不同数据间的关联特征进行挖掘,最后,借助通道注意力整合优化全局信息。采用广东省高速公路数据,实现了两小时内92个收费站的高精度流量预测。结果表明：MCST-Transformer优于传统机器学习方法以及部分基于注意力机制的时间序列模型,在120 min预测跨度下,相比贝叶斯回归,MAPE降低了5.1%;对比Seq2Seq-Att以及Seq2Seq这些深度学习算法,所提方法的总体MAPE也能降低0.5%,说明通过多通道的方式能够区分不同数据的特性,进而更好地预测。