多维注意力机制改进燃气负荷预测

燃气负荷预测是一项让城市安全经济地调配燃气的重要的工作. 目前, 基于注意力机制的Seq2Seq模型越来越多地应用于燃气数据预测, 是一种有效的燃气负荷预测方法. 然而, 针对燃气负荷数据这种突变频率高、幅度大的特点, 一般基于注意力机制的Seq2Seq模型难以提取数据中的多维时间模式信息与应对数据随机突变情况, 在处理影响因素复杂的燃气负荷的预测问题时仍然需要改进. 为此, 本文提出多维注意力机制Seq2Seq模型. 一方面设计研究了多层次时间注意力模块, 综合单时间步长、多时间步长的注意力计算提取数据中不同时间模式信息; 另一方面, 设计增加了局部历史注意力模块, 以改进模型中无法区分重要历史信息的缺陷, 使模型在预测时倾向于参考更为重要的历史信息. 本改进模型针对燃气负荷的独特特性, 具有较好的预测表现. 使用国内某市区的燃气消耗数据与2016年电工数学建模竞赛的电力负荷数据的实验结果表明, 本改进模型相对于一般注意力机制Seq2Seq模型, MAE分别降低了17%与9%.     

基于Electron-Vue的电视台字幕转换软件实现

目前的电视台采访和录音中,需要大量进行语音向文字的转换服务。因此,本文设计了一款基于VueElectron框架设计开发的电视台字幕转换软件,便于电视台工作人员进行语音识别转字幕的操作,极大地提高了工作人员的效率。该软件采用MVVM架构、Electron-Vue框架、LowDB数据库、Node.js环境、Lodash工具库以及Fs-extra操作文件系统模块,构建可视化界面。软件功能大致可以分为两部分,即导入音视频资源与展示和字幕识别与转换。软件主界面有3大窗口,分别为文件导入窗口、音视频展示窗口、字幕识别窗口。     

基于序列到序列模型的事件识别

事件识别是以事件为单位进行信息抽取的起点,对后续各个子任务都意义重大。针对事件识别任务,该文提出了一种融入文档信息的序列到序列方法,一方面借助神经网络减少了特征工程产生的人工依赖,另一方面借助注意力机制将局部的词、实体与全局的文档中事件的共现等信息统一建模。在LDC2017E02语料上实验结果表明,该方法能有效提高事件识别的性能。     

一种面向长文本小数据集自动摘要任务的数据增强策略

当前长文本自动摘要任务缺乏充足的数据集,限制了该领域相关算法、模型的研究。数据增强是在不直接补充训练数据的情况下增加训练数据的方法。针对上述长文本自动摘要数据缺乏问题,基于CogLTX框架,该文提出了一种面向长文本自动摘要任务的数据增强方法EMDAM(Extract-Merge Data Augmentation Method)。EMDAM主要分为抽取和归并两个核心环节。首先,从原有长文本数据集中“抽取”得到若干短句;其次,将抽取出的短句按照定义顺序“归并”为长文本;最终形成满足限定条件的新增长文本数据集。与基线模型相比较,该文在PubMED_Min、CNN/DM_Min、news2016zh_Min数据集上采用增强策略能明显提高基线模型的性能;而在SLCTDSets上使用该文的数据集增强策略,最终的Rouge得分相比未使用增强策略的模型提高了近两个百分点。上述实验结果表明,EMDAM可以在小数据集上进行扩展,为文本摘要研究提供数据支持。     

基于深度学习的图书馆服务机器人研究

为提高图书馆服务机器人的趣味性,结合Seq2Seq基本原理,在对Seq2Seq引入注意力机制进行改进的基础上,搭建一个情感聊天机器人对话生成系统。结果表明,相较于传统的LSTM和GRU神经网络,改进后的Seq2Seq机器翻译模型回复更准确,生成的对话评分高达37%;对比传统的Seq2Seq+ECM,生成对话获得的评分更高,可以实现在图书馆场景下的高质量问答,也进一步说明该对话系统的可行性和有效性。     

基于BiLSTM-Attention的微博热搜情绪指数分析

重大突然事件下的网络舆情安全治理对于相关部门至关重要，为更好地把握舆论走向，帮助相关部门引导舆论新闻的导向，该文针对微博热搜交互数据，提出基于BiLSTM-Attention-Seq2Seq模型来解决微博热搜情感分析问题，有助于关注微博网民热搜情绪指数，及时发现舆论风向问题，提升人民幸福感。     

融合全局编码与主题解码的文本摘要方法

基于编码器解码器的序列到序列模型广泛应用于生成式自动文摘，但传统Seq2Seq模型会产生重复、偏离主题等问题。该文提出两点优化：一是全局信息编码，通过卷积和自注意力机制获取原文全局信息并将其传递到解码器；二是主题信息解码，从原文中提取重要实体并将其编码为主题向量，帮助解码器获取值得聚焦的信息，提升文本摘要的真实性和可靠性。在LCSTS上的实验表明，全局编码和主题解码相较之前的模型在各项Rouge指标上均有提升，融合二者的模型提升效果更为明显。     

基于Seq2Seq模型的GRACE降尺度研究

为了克服GRACE数据低空间分辨率的局限，采用序列到序列（Seq2Seq）模型，对三种输入时间序列（地表温度、归一化植被指数和降雨）与GRACE时间序列的经验关系进行建模，将美国加利福尼亚州的GRACE数据空间分辨率由1°降尺度到0.1°。结果表明，Seq2Seq模型能获取到较为准确的时序特征与映射关系，通过遗传算法选出最佳超参数后的Seq2Seq模型，纳什系数可达0.97，均方根误差仅为0.23。通过实测地下水的验证可知，降尺度的GRACE数据与实测值有较强的相关性，相关系数最高可达0.85，能较为准确地反映地下水储量的变化。     

基于Seq2Seq模型的港口进出口货物量预测

港口进出口货物吞吐量是反映港口业务状况的重要指标,其准确预测将给港口经营管理人员进行决策提供重要的依据.利用机器翻译领域的Seq2Seq模型,对影响港口进出货物量的多种因素进行建模.Seq2Seq模型可以反映进出口货物量在时间维度上的变化规律,并且可以刻画天气、节假日等外部因素的影响,从而进行精准预测.Seq2Seq模型包含两个由循环神经网络（LSTM）组成的编码器和解码器,能够捕捉长短期时间范围内集装箱变化趋势,可以根据历史进出口货物量预测未来一段时间的货物量信息.在真实的天津港进出口集装箱数据集上进行了实验,结果表明Seq2Seq模型的深度学习预测方法效果优于传统的时间序列模型以及其他现有的机器学习预测模型.     

基于BERT与Seq2Seq模型的智能情感对话机器人系统设计

随着人工智能的发展，机器人广泛应用于各行各业中，而学生在英语学习过程中也可以利用对话模拟机器人进行英语练习，培养英语语感，提升英语水平。因此，研究利用改进后的序列到序列(Sequen to Sequence, Seq2Seq)模型，结合基于Transformers模型的双向编码器(Bidirectional Encoder Representations from Transformers, BERT)模型设计具有情感属性的智能对话模拟机器人，模拟人类在不同情境下的自然情感语境对话，以提升学生的口语英语水平。研究结果表明，研究构建模型的对数损失随着预测概率的增大稳定在2左右，改进Seq2Seq-BERT模型的Distinct-1平均得分为0.068,Embedding Average平均得分为0.262,情感精确度平均得分为87.24%,人工评价的逻辑相关、上下文连贯的回复占总回复的50%,说明设计的英语语言对话机器人系统性能良好，能有效提供多元化的英语情感对话回复，进而满足实际应用中学生英语对话练习的需要，能够优化英语教学模式，改进教师的授课方式，最终改善学生的学习效果。     

基于Seq2Seq模型的SparQL查询预测

近年来,随着以数据为中心的应用的大量增加,图数据模型逐渐被人们所关注,图数据库的发展也非常迅速,对于用户而言,用户往往更关心其在使用数据库过程中的效率问题.本文主要研究如何利用已有的信息进行图数据库的查询预测,从而进行数据的预加载与缓存,提高系统的响应效率.为了使得方法具有跨数据移植性,并深入挖掘数据间的联系,本研究将SparQL查询提取为序列的形式,使用Seq2Seq模型对其进行数据分析和预测,并使用真实的数据集对方法进行测试,实验表明本文的方案具有良好的效果.     

基于Self-Attention模型的机器翻译系统

近几年来神经机器翻译（Neural Machine Translation, NMT）发展迅速，Seq2Seq框架的提出为机器翻译带来了很大的优势，可以在观测到整个输入句子后生成任意输出序列。但是该模型对于长距离信息的捕获能力仍有很大的局限，循环神经网络（RNN）、 LSTM网络都是为了改善这一问题提出的，但是效果并不明显。注意力机制的提出与运用则有效地弥补了该缺陷。Self-Attention模型就是在注意力机制的基础上提出的，本文使用Self-Attention为基础构建编码器-解码器框架。本文通过探讨以往的神经网络翻译模型，分析Self-Attention模型的机制与原理，通过TensorFlow深度学习框架对基于Self-Attention模型的翻译系统进行实现，在英文到中文的翻译实验中与以往的神经网络翻译模型进行对比，表明该模型取得了较好的翻译效果。     

基于深度学习的关键词生成研究综述

关键词生成是自然语言处理中一项经典但具有挑战性的任务,需要从文档中自动生成一组具有代表性和特征性的词语。基于深度学习的序列到序列模型在这项任务中取得了显著的效果,弥补了以往关键词抽取存在的一个严重缺陷：无法产生不存在于原文中的关键词。由于其产生的结果更切合实际,关键词生成方法逐渐超越了以往的抽取方法,成为了关键词提取任务的主流方法。介绍了关键词提取的发展历程以及关键词生成任务的主要数据集,对基础设计采用序列到序列模型的关键词生成方法进行了分类梳理,分析其原理和优缺点。概述了关键词生成任务的评价方法,并对其未来研究重点进行了展望。     

一种基于区域海表面温度异常预测的ENSO预报深度学习模型

本文通过实验,从设计的四种深度学习网络模型中挑选出一种可以用来预测区域海平面温度异常 (SSTA) 的模型——序列到序列 (Seq2Seq) 模型,并确定了适合于此模型的一组最优的超参数 (编码器使用正序输入、不使用 L2 正则化和使用 Adam 优化器) 和输入变量个数。与传统的动力学 ENSO 预报模型相比,该模型在中长期 (提前 7 个月以上) 预测上的均方根误差 (RMSE) 表现要更好。在实际的 SSTA (Niño3.4 指数) 预测实验中,该模型可以较好地预测出 SSTA 变化趋势,但在峰值处表现较差。与其他动力学和统计模型相比,该模型有较好的预测结果。因此,考虑其在中长期优于动力学模型的表现以及整体较好的预测结果,该模型可以作为一种 ENSO 预报以及区域 SSTA 预测的深度学习模型。     

公安信息服务平台的智能人机对话生成方法研究

针对公安信息服务平台人机对话答非所问、服务能力低下的问题，研究提出了通过LSTM优化CNN模型的对话意图识别方法，将用户的对话分为意图清晰和意图不明的两种类型。对清晰意图的对话采用人工规范模块文本生成，而对于意图不明的对话则采用注意力机制优化的Seq2Seq模型进行对话生成。同时本次研究对LSTM-CNN意图识别模型和优化的Seq2Seq文本生成模型进行数据集仿真实验，LSTM-CNN的平均识别精度为0.943,召回率0.922,F1值为0.932,高于其他文本识别算法；而优化的人机对话系统对话生成答非所问的情况仅有4%,低于传统的文本生成方法。本次研究提出的公安信息服务平台的智能人机对话生成方法性能优越，可以有效提高公安工作的服务水平。     

基于深度学习的个性化聊天机器人研究

为了对传统的聊天机器人局限性进行改进,增强其回复时的个性化和多样化,并使其具有一定的准确性,研究改进了一种基于深度学习Seq2Seq模型的对话系统。对传统的编码器-解码器(Encoder-Decoder)模型进行了研究,在原有模型的基础上使用了深度LSTM结构并且加入注意力机制使其能更好地适应不同长度的问句。在解码过程中,将原有模型的贪心算法改为了Beam Search算法。在训练过程中,利用了多次训练的方法,训练出模拟电视剧角色的聊天机器人,为聊天机器人赋予一个特定的身份。通过使用两种自动评估指标BLEUs和Distinct-n去测试聊天机器人,并使用一些问句测试聊天机器人的反应,最终实验结果表明新模型与原有的模型相比,两种指标都取得了较好的效果,并且输出句子的合理性以及回复质量也有明显的提高。     

基于WaveNet的端到端语音合成方法

针对端到端语音合成系统中Griffin-Lim算法恢复相位信息合成语音保真度较低、人工处理痕迹明显的问题，提出了一种基于WaveNet网络架构的端到端语音合成方法。以序列映射Seq2Seq结构为基础，首先将输入文本转化为one-hot向量，然后引入注意力机制获取梅尔声谱图，最后利用WaveNet后端处理网络重构语音信号的相位信息，从而将梅尔频谱特征逆变换为时域波形样本。实验的测试语料为LJSpeech-1.0和THchs-30，针对英语、汉语两个语种进行了实验，实验结果表明平均意见得分（MOS）分别为3.31、3.02，在合成自然度方面优于采用Griffin-Lim算法的端到端语音合成系统以及参数式语音合成系统。     

基于CEEMDAN与LSTM-Attention的股市预测模型

具有时序特征的金融股票数据有非线性、非平稳和复杂动态的特点，对预测模型提出了挑战。提出一种基于自适应噪声完备集合经验模态分解的LSTM-Attention模型。通过重组后的高频、中频和低频分量，构建更为细化的LSTM-Attention模型，再通过加总合成获得目标预测值。实验结果分析表明，该模型在平均绝对误差(MAE)、均方根误差(RMSE)、均方误差(MSE)和决定系数四个指标上均优于现有模型，有效提升了模型预测的准确率，同时减少了计算开销。