引入BL-Seq2seq模型进行负荷预测

短期负荷预测在电力系统运行和调度中起着重要作用,为了更好地提取数据中蕴含的有效信息,提升短期负荷预测精度,本文引入Seq2seq算法的注意力机制提出了多层Bi-LSTM的Seq2seq深度学习模型(BL-Seq2seq)实现短期用电负荷预测.其中Seq2seq的编码端由多层Bi-LSTM组成,将输入数据进行编码,并在网络末端输出编码后的最终状态;Seq2seq解码端为单层LSTM,它将编码端的最终状态作为初始输入状态,同时每一步的输出值作为下一步的输入值.利用用电负荷实测数据,基于Keras平台进行仿真,仿真结果表明,与多个经典的深度学习的短期用电负荷预测模型相比,所提BL-Seq2seq模型的预测误差明显降低,大大提升了短期用电负荷预测精度.     

引入BL-Seq2seq模型进行负荷预测

短期负荷预测在电力系统运行和调度中起着重要作用,为了更好地提取数据中蕴含的有效信息,提升短期负荷预测精度,本文引入Seq2seq算法的注意力机制提出了多层Bi-LSTM的Seq2seq深度学习模型(BL-Seq2seq)实现短期用电负荷预测.其中Seq2seq的编码端由多层Bi-LSTM组成,将输入数据进行编码,并在网络末端输出编码后的最终状态;Seq2seq解码端为单层LSTM,它将编码端的最终状态作为初始输入状态,同时每一步的输出值作为下一步的输入值.利用用电负荷实测数据,基于Keras平台进行仿真,仿真结果表明,与多个经典的深度学习的短期用电负荷预测模型相比,所提BL-Seq2seq模型的预测误差明显降低,大大提升了短期用电负荷预测精度.     

多特征嵌入的Seq2Seq风速预测模型

针对由于风速变化因素复杂导致的风速预测模型准确率低的问题,提出一种多特征嵌入的Seq2 Seq(序列到序列)风速预测模型.以Seq2 Seq为基础,将影响风速的多种因素数据进行多特征嵌入编码,实现对未来若干个小时风速的预测.通过准确率、预测评分和平均绝对误差等指标的实验评价,验证Seq2 Seq模型相比当前最优模型达到了更好的预测稳定性,风速多特征嵌入编码方法的加入显著提高了Seq2 Seq模型的预测准确性.实验结果验证了该模型的有效性.     

基于注意力机制优化EDM机场客流量预测

针对标准编码解码模型(Encoder-Decoder Model,EDM)对于时间序列数据提取能力弱的问题,提出一种融合双向长短时记忆网络(Bi-directional Long Short-Term Memory,Bi-LSTM)和注意力机制(Attention)的编码解码模型.通过Bi-LSTM对输入数据从正反两个方向进行特征提取,基于注意力机制将所得到的特征根据不同时刻分配不同权重,根据解码阶段的不同时刻生成相应背景变量,进而实现对机场客流量的预测.选取上海虹桥机场为例用该算法进行实验仿真,实验结果表明,本文所提方法与RNN、LSTM相比,平均标准误差降低了57.9％以上,为机场客流量预测提供了一种新的思路.     

融合知识图谱与注意力机制的短文本分类模型

针对短文本缺乏上下文信息导致的语义模糊问题,构建一种融合知识图谱和注意力机制的神经网络模型。借助现有知识库获取短文本相关的概念集,以获得短文本相关先验知识,弥补短文本缺乏上下文信息的不足。将字符向量、词向量以及短文本的概念集作为模型的输入,运用编码器-解码器模型对短文本与概念集进行编码,利用注意力机制计算每个概念权重值,减小无关噪声概念对短文本分类的影响,在此基础上通过双向门控循环单元编码短文本输入序列,获取短文本分类特征,从而更准确地进行短文本分类。实验结果表明,该模型在AGNews、Ohsumed和TagMyNews短文本数据集上的准确率分别达到73.95%、40.69%和63.10%,具有较好的分类能力。     

融合全局编码与主题解码的文本摘要方法

基于编码器解码器的序列到序列模型广泛应用于生成式自动文摘，但传统Seq2Seq模型会产生重复、偏离主题等问题。该文提出两点优化：一是全局信息编码，通过卷积和自注意力机制获取原文全局信息并将其传递到解码器；二是主题信息解码，从原文中提取重要实体并将其编码为主题向量，帮助解码器获取值得聚焦的信息，提升文本摘要的真实性和可靠性。在LCSTS上的实验表明，全局编码和主题解码相较之前的模型在各项Rouge指标上均有提升，融合二者的模型提升效果更为明显。     

基于多粒度时间注意力RNN的航班客座率预测

准确预测航班客座率有利于处理航班机票超售、座位虚耗等问题,然而传统时间序列预测方法只关注航班近期每日客座率的变化特点,无法同时考虑其他因素的影响,预测效果不够理想。针对该问题,提出一种基于多粒度时间注意力机制的循环神经网络模型MTA-RNN。通过构建多级注意力机制获取航班客座率在不同时间粒度下的时序相关性,同时考虑航班自身属性及节假日等其他因素,得到未来一段时间内的目标航班客座率。在真实历史航班客座率数据集上的实验结果表明,MTA-RNN模型的预测准确率高于ARIMA模型、LSTM模型和Seq2seq模型。     

基于变分自编码器的生成式文本摘要研究

从单文档中生成简短精炼的摘要文本可有效缓解信息爆炸给人们带来的阅读压力。近年来,序列到序列(sequence-to-sequence,Seq2Seq)模型在各文本生成任务中广泛应用,其中结合注意力机制的Seq2Seq模型已成为生成式文本摘要的基本框架。为生成能体现摘要的特定写作风格特征的摘要,在基于注意力和覆盖率机制的Seq2Seq模型基础上,在解码阶段利用变分自编码器(variational auto-encoder,VAE)刻画摘要风格特征并用于指导摘要文本生成;最后,利用指针生成网络来缓解模型中可能出现的未登录词问题。基于新浪微博LCSTS数据集的实验结果表明,该方法能有效刻画摘要风格特征、缓解未登录词及重复生成问题,使得生成的摘要准确性高于基准模型。     

基于注意力机制特征融合的中文命名实体识别

命名实体识别是自然语言处理领域中信息抽取、信息检索、知识图谱等任务的基础。在命名实体识别任务中,Transformer编码器更加关注全局语义,对位置和方向信息不敏感,而双向长短期记忆（BiLSTM）网络可以提取文本中的方向信息,但缺少全局语义信息。为同时获得全局语义信息和方向信息,提出使用注意力机制动态融合Transformer编码器和BiLSTM的模型。使用相对位置编码和修改注意力计算公式对Transformer编码器进行改进,利用改进的Transformer编码器提取全局语义信息,并采用BiLSTM捕获方向信息。结合注意力机制动态调整权重,深度融合全局语义信息和方向信息以获得更丰富的上下文特征。使用条件随机场进行解码,实现实体标注序列预测。此外,针对Word2Vec等传统词向量方法无法表示词的多义性问题,使用RoBERTa-wwm预训练模型作为模型的嵌入层提供字符级嵌入,获得更多的上下文语义信息和词汇信息,增强实体识别效果。实验结果表明,该方法在中文命名实体识别数据集Resume和Weibo上F1值分别达到96.68%和71.29%,相比ID-CNN、BiLSTM、CAN-NER等...     

基于注意力机制的CNN-LSTM模型及其应用

时序数据存在时序性，并且其短序列的特征存在重要程度差异性。针对时序数据特征，提出一种基于注意力机制的卷积神经网络（CNN）联合长短期记忆网络（LSTM）的神经网络预测模型，融合粗细粒度特征实现准确的时间序列预测。该模型由两部分构成：基于注意力机制的CNN，在标准CNN网络上增加注意力分支，以抽取重要细粒度特征；后端为LSTM，由细粒度特征抽取潜藏时序规律的粗粒度特征。在真实的热电联产供热数据上的实验表明，该模型比差分整合移动平均自回归、支持向量回归、CNN以及LSTM模型的预测效果更好，对比目前企业将预定量作为预测量的方法，预测缩放误差平均值（MASE）与均方根误差（RMSE）指标分别提升了89.64%和61.73%。     

基于注意力机制的主题扩展情感对话生成

越来越多的研究开始聚焦于情感对话生成,然而现有的研究往往只关注情感因素,却忽视了对话中主题的相关性和多样性以及与主题密切相关的情感倾向,这可能导致生成响应的质量下降。因此提出一种融合主题信息和情感因素的主题扩展情感对话生成模型。该模型首先将对话上下文进行全局编码,引入主题模型以获得全局主题词,并使用外部情感词典获得全局情感词;其次在融合模块里利用语义相似度扩展主题词,并利用依存句法分析提取与主题相关的情感词;最后将上下文、主题词和情感词输入到一个基于注意力机制的解码器中,促使解码器生成主题相关的情感响应。实验结果表明,该模型能生成内容丰富且情感相关的回答。相较于主题增强情感对话生成模型（TE-ECG）,所提出的模型在unigram多样性（distinct-1）和bigram多样性（distinct-2）上平均提高了16.3%和15.4%;相较于基于注意力机制的序列到序列模型（Seq2SeqA）,所提出的模型在unigram多样性（distinct-1）和bigram多样性（distinct-2）上平均提高了26.7%和28.7%。     

基于注意力机制和残差网络的地铁客流量预测方法研究

研究基于注意力机制和残差网络的地铁客流量预测方法,达到提高客流量预测精度的目标,为城市交通智能管理提供数据保证。在地铁客流量预测问题描述的基础上,构建基于注意力机制和残差网络的客流量预测模型,将历史客流量数据划分成近邻、日周期、周周期模式时间序列数据,将其与客流量外部影响因素数据作为模型输入,分别利用结合ResNet34残差模块和分割注意力机制模块的ST-SANet网络,以及LSTM网络捕捉其更深层次多尺度信息特征,利用全连接层完成各部分输出特征的融合拼接,经过激活函数处理后,输出地铁客流量预测结果。实验结果表明：该方法可实现地铁客流量预测,学习率参数为1×10^-4时,地铁客流量预测损失最低;预测周期设定为15 min时,预测曲线与实际客流曲线贴合度最高。     

遥感图像语义分割的多特征注意力融合网络

针对高分辨率遥感图像中存在背景复杂、目标大小不一、类间具有相似性的问题，提出一种用于遥感图像语义分割的多特征注意力融合网络(Multi-feature Attention Fusion, MAFNet)。MAFNet基于编码和解码结构，在编码阶段，采用空间金字塔池化获取多尺度的上下文信息，同时融合特征通道之间的关联信息，提高特征图的语义表征能力；在解码阶段，基于注意力机制将高层特征与低层特征自适应地融合，逐级恢复目标的细节特征。在公开的数据集Potsdam和Vaihingen上设计了对比实验，PA值分别达到了89.6%和89.1%,验证了该方法的有效性。     

片段抽取型机器阅读理解算法研究

针对现有的机器阅读理解模型主要使用循环模型处理文本序列信息,这容易导致训练和预测速度慢且模型预测准确性不高等问题,提出了一种片段抽取型机器阅读理解算法QA-Reader.该算法利用大型预训练语言模型RoBERTa-www-ext获取问题和上下文的词嵌入表示;使用深度可分离卷积和多头自注意力机制进行编码;计算上下文和问题的双向注意力及上下文的自注意力,以融合上下文和问题之间的关联信息,拼接得到最终的语义表征;经过模型编码器预测得到答案,模型针对不可回答的问题计算了其不可回答的概率.在中文片段抽取型机器阅读理解数据集上进行了实验,结果表明QA-Reader模型与基线模型相比,其性能方面EM和F1值分别提高了3.821％、2.740％,训练速度提高了0.089％.     

基于时空注意力机制的加油站级客流量预测

加油站是重要的能源供给单位,对加油站站点的下一时段客流量进行精准预测,可为相关资源的调度与分配提供决策支撑。针对加油站级客流量预测问题,结合加油站客流数据的时空特征,提出一种基于注意力机制的时空网络模型。以路网结构建模的站级客流数据为输入,结合卷积神经网络、长短期记忆网络与注意力机制,解决站点间的空间依赖、短期与长期时序依赖以及长期时序依赖中的时间漂移问题,精准预测下一时段的站级客流量。在真实数据集上的实验结果表明,与历史平均模型、长短期记忆网络模型和双向长短期记忆网络模型等基线模型相比,该模型在均方误差（RMSE）、平均绝对误差与平均绝对百分比误差上均有所提升,其中RMSE提升22.89%。     

基于注意力机制的Tree2Seq代码注释自动生成

代码注释可以帮助开发人员快速理解代码，降低代码维护成本。为了保留代码的结构信息，针对经典的Seq2Seq模型将代码的结构信息压缩为序列，导致结构信息丢失的问题，提出使用Tree-LSTM编码器直接将代码转化成抽象语法树进行编码，使注释生成模型能有效获取代码的结构信息，提升注释生成效果。采用基于注意力机制的Tree2Seq模型实现代码注释生成任务，避免了编码器端将所有输入信息压缩为固定向量，导致部分信息丢失的情况。通过在Java和Python 2种编程语言的数据集上进行实验，使用3种机器翻译常用的自动评测指标进行评估验证，并选取一部分测试数据进行了人工评估。实验结果表明，基于注意力机制的Tree2Seq模型能为解码器提供更全面且丰富的语义结构信息，为后续实验分析和改进提供指导。     

融合注意力机制的电力集控安全隐患实体识别模型研究

针对电力集控安全隐患文本实体边界模糊、常用实体识别模型识别准确率低的问题，提出了一种融合注意力机制与基于Transformer的双向编码器表示(BERT)-双向长短时记忆(BiLSTM)-条件随机场(CRF)的电力集控安全隐患数据实体识别模型。首先，利用BERT层将安全隐患文本编码表示为融合上下文语义的字位置和句位置的向量表示组，以减少实体识别误差积累。然后，提出了BiLSTM网络层挖掘电力集控隐患文本的语义特征并进行标签概率预测，在此基础上加入注意力机制增加重要信息的权重，提高重要信息对安全隐患语义信息的影响程度。最后，利用CRF层为标注结果进行综合打分，得到全局最优标签序列。在不同的电力安全隐患实体信息类别上的对比试验显示，所提模型的准确率为97.54%、召回率为96.47%、F值为97.13%,与传统算法相比总体效果提升了5%～21%。该结果证明了电力集控安全隐患实体识别模型的有效性。     

融合多注意力神经网络的方面级情感分析

针对现有方面级情感分析模型中特征向量信息不足和语义丢失问题,提出一种多注意力融合的神经网络模型。利用词向量注意力机制捕捉句子上下文和方面词之间的语义关系;利用位置注意力机制影响方面词周围的情感特征;利用自注意力机制捕捉序列内部特征用于加强序列表示。为验证模型的有效性,在SemEval 2014 Task 4和ACL 14 Twitter基准数据集上进行实验,实验结果表明,所提模型取得的性能优于比较方法。     

多特征交互的方面情感三元组提取

方面情感三元组提取是方面级情感分析的子任务之一,旨在提取句子中的方面词、其对应的意见词和情感极性。先前研究集中于设计一种新范式以端到端的方式完成三元组提取任务。然而,这些方法忽略外部知识在模型中的作用,没有充分挖掘和利用语义信息、词性信息以及局部上下文信息。针对上述问题,提出了多特征交互的方面情感三元组提取（MFI-ASTE）模型。首先,该模型通过BERT预训练模型学习句子中的上下文语义特征信息,并使用自注意力机制加强语义特征;其次,使语义特征与所提取到的词性特征交互,二者相互学习,加强词性的组合能力与语义信息;再次,使用多个不同窗口的卷积神经网络提取每个单词的多重局部上下文特征并使用多分门控机制筛选这些多重局部特征;然后,采用双线性层融合提取到的三类外部知识特征;最后,利用双仿射注意力机制预测网格标记并通过特定的解码方案解码三元组。实验结果表明,该模型在四个数据集上的F1值比现有的主流模型分别提升了6.83%、5.60%、0.54%和1.22%。     

基于双向GRU和注意力机制模型的人体动作预测

针对人体动作预测中由于受到运动速度、运动幅度等不确定因素的影响,导致预测的第1帧动作不连续且准确预测时间较短的问题,提出一种基于双向门控循环单元(GRU)和注意力机制的端到端模型——BiAGRU-seq2seq.该模型的编码器部分采用双向GRU结构,使数据从正反2个方向同时输入;解码器部分采用单向GRU结构并加入了注意力机制,使编码器输出编码成一个包含多个子集的向量序列;然后将解码器的输入和输出数据同时送入残差架构中,用来模拟人体运动速度,使预测值更接近真实值.在TensorFlow框架下,利用目前动作捕捉数据最大的公开数据集human3.6m进行人体动作预测实验的结果表明,文中模型不仅能极大地降低短期动作预测的误差,也能较为准确地预测出多帧动作.