基于关键词生成的网格事件相似度并行计算

为实现在海量网格事件库中快速、准确地检索事件, 本文提出一种基于关键词生成的网格事件相似度并行计算方法. 该方法通过双向LSTM网络的编码器和单向LSTM网络的解码器构建指针生成网络生成事件关键词, 使用记忆网络作为指针生成网络的序列信息存储单元, 并将注意力机制用在输入序列上以将更重要的信息输入至解码器, 同时引入覆盖机制来解决生成重复文本问题. 在生成事件关键词后, 基于结构相似度和情境相似度计算事件总体相似度, 并利用GPU对LSTM网络和相似度计算进行加速. 实验结果表明: 相比基于机器学习的计算方法, 该方法在事件相似度计算性能上更好, 最高获得了4.04倍的加速比.     

基于社交媒体文本信息的金融时序预测

针对传统股票趋势预测模型中忽略社交媒体文本信息对股价变化的影响和时间序列的平稳性处理、长期依赖等问题,提出一种融合社交媒体文本信息和LSTM的股票趋势预测模型(BiTCN-LSTM).该模型分为情感分析和金融时序预测两部分.情感分析层将社交媒体文本信息输入到双向时间卷积网络进行特征提取和情感分析,得到积极或者消极的情感分类表示;金融时序预测层使用LSTM神经网络,将差分运算后的股票历史数据和文本情感特征向量加权融合作为网络输入,完成金融时序预测任务.通过上海证券综合指数数据集的实验验证,与传统金融时序预测模型相比,该模型的RMSE指标降低3.44-43.62.     

EMD-LSTM模型对金融时间序列的预测

针对金融时间序列高噪声以及非线性的特点,提出一种基于经验模态分解(EMD)和长短期记忆(LSTM)网络的金融时间序列预测模型.为避免对整体序列只进行一次经验模态分解后的模型训练过程中使用测试集的信息,将时间序列数据通过一定大小的时间窗口进行多步经验模态分解,并对分解后的序列去噪重构,再将重构后的序列作为LSTM网络的输...     

基于场景图感知的跨模态图像描述模型

针对图像描述方法中对图像文本信息的遗忘及利用不充分问题,提出了基于场景图感知的跨模态交互网络（SGC-Net）。首先,使用场景图作为图像的视觉特征并使用图卷积网络（GCN）进行特征融合,从而使图像的视觉特征和文本特征位于同一特征空间;其次,保存模型生成的文本序列,并添加对应的位置信息作为图像的文本特征,以解决单层长短期记忆（LSTM）网络导致的文本特征丢失的问题;最后,使用自注意力机制提取出重要的图像信息和文本信息后并对它们进行融合,以解决对图像信息过分依赖以及对文本信息利用不足的问题。在Flickr30K和MSCOCO (MicroSoft Common Objects in COntext)数据集上进行实验的结果表明,与Sub-GC相比,SGC-Net在BLEU1(BiLingualEvaluationUnderstudywith1-gram)、BLEU4 (BiLingualEvaluationUnderstudywith4-grams)、METEOR(Metric for Evaluation of Translation with Explicit ORdering)、ROU...     

基于CNN和LSTM的多通道注意力机制文本分类模型

针对传统的卷积神经网络（Convolutional Neural Network,CNN）和长短时记忆网络（Long Short-Term Memory,LSTM）在提取特征时无法体现每个词语在文本中重要程度的问题,提出一种基于CNN和LSTM的多通道注意力机制文本分类模型。使用CNN和LSTM提取文本局部信息和上下文特征;用多通道注意力机制（Attention）提取CNN和LSTM输出信息的注意力分值;将多通道注意力机制的输出信息进行融合,实现了有效提取文本特征的基础上将注意力集中在重要的词语上。在三个公开数据集上的实验结果表明,提出的模型相较于CNN、LSTM及其改进模型效果更好,可以有效提高文本分类的效果。     

基于LSTM-Attention与CNN混合模型的文本分类方法

针对传统长短时记忆网络（Long Short-Term Memory,LSTM）和卷积神经网络（Convolution Neural Network,CNN）在提取特征时无法体现每个词语在文本中重要程度的问题,提出一种基于LSTM-Attention与CNN混合模型的文本分类方法。使用CNN提取文本局部信息,进而整合出全文语义;用LSTM提取文本上下文特征,在LSTM之后加入注意力机制（Attention）提取输出信息的注意力分值;将LSTM-Attention的输出与CNN的输出进行融合,实现了有效提取文本特征的基础上将注意力集中在重要的词语上。在三个公开数据集上的实验结果表明,提出的模型相较于LSTM、CNN及其改进模型效果更好,可以有效提高文本分类的效果。     

基于PointNet和长短时记忆网络的三维人体动作预测

人体动作预测是计算机视觉和图形学领域的重要任务。现有的方法主要基于人体骨架和视频图像表示,相较于骨架和视频表示,三维几何数据表示人体动作更加直观和形象化。为此提出了一种基于PointNet和长短期记忆(LSTM)网络的三维点云表示的人体动作预测方法。首先,使用改进的PointNet对人体动作序列中的每帧三维点云进行特征提取;其次,通过LSTM学习动作序列的时间信息融合动作序列的时空特征;最后,将时空特征通过全连接神经网络(FC)进行动作预测;此外,还构造了三维点云表示的人体动作序列数据集。实验结果表明,所提方法在预测下一帧三维人体点云坐标时的平均损失值低于10^-3。     

基于Bi-LSTM和图注意力网络的多标签文本分类算法

针对当前大多数分类算法忽略标签之间相关性的问题,提出一种基于双向长短时记忆(Bi-LSTM)网络和图注意力网络(Graph Attention Network, GAT)的多标签文本分类算法。使用词嵌入工具对文本序列和标签中的词向量进行预处理后的文本序列和标签分别输入到Bi-LSTM网络和GAT网络中;提取文本序列的上下文信息和全局特征,以及GAT网络捕获标签之间的相关性;将特征向量和标签相关性进行组合对标签文本分类任务进行预测。实验结果表明,所提算法通过有效关注标签之间的相关性使得文本分类任务的精度得以明显提高,在多个评估指标的测试结果优于其他对比方法。     

一种跨层连接的循环神经网络门结构设计

针对循环神经网络(RNN)结构在深层网络中收敛较慢和训练效果较差的问题,分析了长短期记忆(LSTM)和Highway网络的门结构特征,提出了一种将层间信息进行跨层连接的门结构单元(CIGU).结合循环神经网络时间扩展的特点,通过设计层间门结构,使CIGU模型在空间上反向梯度下降时能够像LSTM在时间上传播一样具有长短期记忆能力,从而加强循环神经网络在空间上的深度学习能力.将设计的结构应用到LSTM中,并通过PTB语言数据集对不同的门结构进行训练和测试.结果表明:随着模型层数的加深,CIGU的训练收敛速度和测试结果比传统LSTM和基于Highway网络结构的LSTM显著提高.     

基于顺序遗忘编码和Bi-LSTM的命名实体识别算法

为了使长短时记忆网络(Long Short-Term Memory,LSTM)更精确地提取句子较远的特征信息,提出一种融合顺序遗忘编码(Fixed-size Oradinally Forgetting Encoding,FOFE)结合循环神经网络的命名实体识别算法。利用FOFE可以保留任意长度句子信息的编码方式来增强LSTM对句子特征的提取能力。利用Bi-LSTM和FOFE编码分别对向量化表示的文本进行特征提取和编码表示。结合得到的两个特征向量,通过注意力机制对Bi-LSTM的输入与输出之间的相关性进行计算,最后利用条件随机场学习标签序列的约束。该算法分别在英文和中文两种语言的数据集中进行了对比实验,F1值分别达到了91.30和91.65,验证了该方法的有效性。     

ALBERT结合双向网络的文本分类

针对目前多标签文本分类算法不能有效利用文本深层信息的缺陷,提出一种利用ALBERT模型进行文本深层信息的特征提取,使用双向LSTM网络进行特征训练,并结合注意力机制强化分类效果,完成分类的模型——ABAT模型。在百度发布的DuEE1.0数据集上进行实验,相对于各对比模型,该模型的各项性能均达到最优,Micro-Precision达到0.9625,Micro-F1达到0.9033,同时模型汉明损失下降到0.0023。实验结果表明,改进的ABAT模型能较好地完成多标签文本分类的任务。     

基于改进EAST的场景文本检测算法

文字在生活中随处可见,是人们沟通、互动和传递信息的主要媒介.EAST(Efficient and Accuracy Scene Text)模型是一种高效、准确的场景文本检测算法,可以出色地检测自然场景中的文本.但是该方法仍存在长文本检测精度不高等问题.论文对EAST模型进行了改进,在特征提取阶段用Resnet50深度网络来增加模型的鲁棒性,其次在特征融合阶段加入长短时记忆方法LSTM(Long-Short Term Memory),优化了样本信息.实验结果表明,论文设计的场景文字检测算法能够实时处理自然场景图像,准确定位图像中文字的位置,提高了检测精度.     

基于特征融合的文本情感分类

虽然卷积神经网络(CNN)可以提取局部特征,长短期记忆网络(LSTM)可以提取全局特征,它们都表现出了较好的分类效果,但CNN在获取文本的上下文全局信息方面有些不足,而LSTM容易忽略词语之间隐含的特征信息.因此,提出了用CNN_BiLSTM_Attention并行模型进行文本情感分类.首先,使用CNN提取局部特征,同...     

融合依存信息的关系导向型实体关系抽取方法

中文实体关系抽取多以字符序列处理文本,存在字符语义表征不足、长字符序列语义遗忘等问题,制约了远距离实体的召回率,为此提出了一种融合依存句法信息的关系导向型抽取方法。输入层以字符序列和基于同义词表示的词序列为输入;编码端用长短时记忆网络(LSTM)进行文本编码,并加入全局依存信息,用于产生关系门的表示;解码端加入依存类型信息,并在关系门的作用下,用双向长短时记忆网络(BiLSTM)解码得到实体关系三元组。该方法在SanWen、FinRE、DuIE、IPRE中文数据集上的F₁值分别较基线方法提高5.84%、2.11%、2.69%和0.39%。消融实验表明,提出的全局依存信息和依存类型信息表示方法均可提升抽取性能,对长句和远距离实体的抽取性能也稳定地优于基线方法。     

基于卷积注意力机制的情感分类方法

为提取文本的局部最优情感极性、捕捉文本情感极性转移的语义信息,提出一种基于卷积注意力机制的神经网络模型(CNN_attention_LSTM)。使用卷积操作提取文本注意力信号,将其加权融合到Word-Embedding文本分布式表示矩阵中,突出文本关注重点的情感词与转折词,使用长短记忆网络LSTM来捕捉文本前后情感语义关系,采用softmax线性函数实现情感分类。在4个数据集上进行的实验结果表明,在具有情感转折词的文本中,该模型能够更精准捕捉文本情感倾向,提高分类精度。     

基于混合神经网络的智能问答算法

为让用户通过输入自然语言就可以跟机器进行交互,实现文本的智能问答,提出基于混合神经网络的智能问答算法。将LSTM(long short-term memory)和CNN(convolutional neural network)相结合。利用LSTM计算问题和答案的语义特征,针对语义特征的选择进行改进。采用CNN对LSTM得到的语义特征进行筛选;通过计算问题和答案特征之间的相似度得到该模型的目标函数,给出问题对应的正确答案。仿真结果验证了该算法的可行性及有效性。     

LSTM模型在电力系统负荷预测中的应用

为解决数据随时间变化的电力系统短期负荷预测问题,本文阐述、采用和总结线性回归,普通BP神经网络,GRU神经网络,LSTM神经网络在电力系统短期负荷预测中应用的理论基础和方法,分别针对神经网络的多种预测方法进行归纳总结.LSTM即长短期记忆网络,拥有门机制,可以选择性的遗忘和记忆过去的信息,特别能记忆一个序列时间段的信息...     

融合词语统计特征和语义信息的文本分类方法研究

为了更好地表示文本语义信息,提高文本分类准确率,改进了特征权重计算方法,并融合特征向量与语义向量进行文本表示.首先基于文本复杂网络实现文本特征提取,接着利用网络节点统计特征改进TF-IDF得到特征向量,再基于LSTM抽取语义向量,最后将特征向量与语义向量相融合,使新的文本表示向量信息区分度更高.以网络新闻数据为实验对象的实验结果表明,改进特征权重计算方法,在特征向量中引入了语义和结构信息,并融合特征向量和语义向量,能进一步丰富文本信息,改善文本分类效果.     

基于改进的自注意力长短期记忆网络的传感器故障预检测方法

针对传感器故障检测方法对早期微弱故障信息不敏感以及抗异常值干扰能力差的问题,提出了一种基于因果卷积改进的自注意力长短期记忆网络(CCALSTM)模型和Shapiro-Wilk检验与阈值比较法相结合的故障预检测方法.首先在长短期记忆网络(LSTM)模型中引入基于因果卷积的自注意力机制,以提取局部信息特征,减少异常值对预测精度的影响;然后将预测结果与测量值进行残差计算,并利用滑动窗口选取合适长度的残差序列;最后将残差序列通过Shapiro-Wilk检验和阈值比较法相结合的故障检测方法进行故障预检测.通过传感器原始数据进行仿真实验,并与支持向量机(SVM)、误差反向传播网络(BP)、双向长短期记忆网络(Bi-LSTM)等常见预测模型进行对比,结果表明CCALSTM模型取得了更高的预测精度结果,且具有更高的鲁棒性;同时,所提出的故障预检测方法表现出对传感器早期微弱故障敏感,能够在故障潜伏期及时检测出故障.     

基于层级注意力模型的视频序列表情识别

长短期记忆网络(LSTM)广泛应用于视频序列的人脸表情识别,针对单层LSTM表达能力有限,在解决复杂问题时其泛化能力易受制约的不足,提出一种层级注意力模型:使用堆叠LSTM学习时间序列数据的分层表示,利用自注意力机制构建差异化的层级关系,并通过构造惩罚项,进一步结合损失函数优化网络结构,提升网络性能.在CK+和MMI数据集上的实验结果表明,由于构建了良好的层次级别特征,时间序列上的每一步都从更感兴趣的特征层级上挑选信息,相较于普通的单层LSTM,层级注意力模型能够更加有效地表达视频序列的情感信息.