远程监督的自适应实体抽取

针对传统领域知识实体抽取算法主要依赖专家的专业知识,需要的标注工作量较大,本文提出了基于远程监督的实体抽取算法并应用于粮油存储领域。算法在PU学习的框架下,通过判定和分类2个阶段抽取实体,利用双向长短期记忆网络进行二分类实体判别。再通过全连接网络实体类型判别,构建了一个粮油领域知识图谱。研究表明：本算法可以应用于粮油存储领域的知识图谱构建,适用于训练实体样本较少的实体抽取任务,能够缩小使用双向长短期记忆网络算法进行实体抽取任务所需的语料规模,并在使用更小语料规模的情况下达到与经典双向长短期记忆网络算法相当的实体抽取效果。     

基于TBA融合模型的股票指数预测

由于股票市场的波动性和复杂性特点，股指预测一直是金融预测研究中的难点．长短期记忆（long short-term memory, LSTM）网络模型常用于金融指数的预测中，但该模型在长时间序列上易导致数据信息利用不充分．利用双向长短期记忆（bidirectional LSTM, BiLSTM）网络模型、时间卷积网络（temporal convolutional network, TCN）和注意力机制协同提高了模型识别以及提炼长时间序列数据特征的能力，构建一种新型股指预测融合模型TCN-BiLSTM-attention（简称TBA模型）．以中国境内近30年的公开股指数据集为例，将TBA模型与目前金融类主流的机器学习、神经网络预测算法以及kaggle竞赛排行前列的模型在上证指数、沪深300指数与创业板指数进行预测对比和消融实验．结果显示，相较于对照实验组的平均预测误差，TBA模型有明显降低且表现稳定，兼具准确性与鲁棒性．研究结果可广泛用于基于时间序列的多种金融预测场景．     

基于ALBERT的中文医疗病历命名实体识别

医疗病历命名实体识别的主要任务是将临床电子病历中的非结构化文本转化为结构化数据,进而为面向医疗领域任务开展的数据挖掘提供基础支撑. 提出一种基于ALBERT模型融合学习的中文医疗病历命名实体识别模型. 首先,采用人工标注方式扩展样本数据集,结合ALBERT模型对数据集进行微调; 其次,采用双向长短记忆网络(BiLSTM)提取文本的全局特征; 最后,基于条件随机场模型(CRF)命名实体的序列标记. 在标准数据集上的实验结果表明,该方法进一步提高了医疗文本命名识别精度,减少了时间开销.     

基于LSTM-SNP的命名实体识别

脉冲神经P系统（SNPs）是抽象于生物神经元信息交互机制的高效并行计算系统。LSTM-SNP首次结合非线性SNP和长短期记忆神经网络（LSTM）,从而形成门控机制可解释的深度学习通用模型。LSTM-SNP作为传统序列分析模型LSTM的最新变体,在处理典型自然语言处理序列分析问题的性能表现未见相关研究。文章以命名实体识别任务为基础,通过在LSTM-SNP上增补不同的深度学习组件,对LSTM-SNP与传统LSTM以及其变体BiLSTM的性能差异进行了全面分析,为在自然语言处理任务中使用LSTM-SNP模型提供可靠的改进参考。通过以CoNLL-2003和OntoNotes5.0为标准数据集的对比实验,发现：LSTM-SNP模型与LSTM模型具有类似的实体识别性能,但随着预处理的操作,LSTM-SNP模型的整体性能提升更为显著;LSTM-SNP模型对命名实体的识别是一种行之有效的方法,且具有较大的应用潜力。     

基于BiLSTM-CRF的体育新闻主题词抽取方法

针对典型的循环神经网络方法在抽取主题词时因缺少上下文相关的句子级信息而导致识别准确率较低的问题,提出了一种基于双向长短期记忆网络条件随机场（BiLSTM-CRF）模型联合TextRank的主题词抽取方法。首先,利用TextRank对新闻文本进行主题句抽取,再使用双向长短期记忆（BiLSTM）模型获取文本的前后特征,最后使用条件随机场（CRF）完成句子级序列标注,得到主题词。在多组体育类新闻数据集上进行实验,该方法较对照组BiLSTM方法F1值提高约0.8%~5.1%,且用时更短。因此,改进的BiLSTM-CRF方法可显著提升主题词的抽取准确率和效率。     

基于ERNIE和BiLSTM的中文名词隐喻识别

隐喻普遍存在于自然语言中,精确的识别隐喻可以促进自然语言处理具体任务中语义的理解.为了提高中文名词隐喻识别效果,提出一种基于知识增强的语义表示(ERNIE)和双向长短期记忆网络(BiLSTM)的分类模型ERNIE_BiLSTM.该模型使用ERNIE进行编码,获取上下文相关的语义表示;并利用双向LSTM再次训练词向量,捕获文本长距离的语义关系.实验结果表明,ERNIE_BiLSTM模型在中文名词隐喻识别数据集上表现良好,准确率达到90.34％.     

基于BiLSTM-SA-TCN时间序列模型在股票预测中的应用

针对股票预测模型存在时效性和预测功能单一化的问题，本文在长短期记忆网络（LSTM）的基础上，提出了融合自注意力机制（SA）和时间卷积网络（TCN）的双向长短期记忆（BiLSTM）神经网络（BiLSTM-SA-TCN）股票预测模型.BiLSTM-SA-TCN模型中的学习单元和预测单元可以有效学习重要的股票数据，同时能够抓取长时间的依赖信息，输出次日股票收盘价预测值.实验结果表明，BiLSTM-SA-TCN模型在多个数据集上的预测结果更加稳定，模型泛化能力较高，在对比实验中，BiLSTM-SA-TCN模型在大部分数据集上均方根误差最小，平均绝对值误差最小，拟合度R²最优.     

基于知识图谱的数控机床故障问答系统研究

当前数控机床故障方面的查询机制尚不完善,机床工人在查找故障原因所在时往往需要花费较多的时间.为改善现状,从内蒙古某机械厂的数控机床故障数据中抽取其三元组,构建数控机床故障知识图谱,在此基础上开发知识图谱问答系统.构建数控机床故障知识图谱问答一般会包括4个步骤：数控机床故障问句实体识别;数控机床故障属性映射;数控机床故障实体链接;答案返回.设计ALBERT+Attention+BiLSTM+CRF模型识别问句中的数控机床故障实体;然后在所创的数控机床故障知识图谱中找到对应实体的三元组进行返回;通过训练属性映射模型,选择得分较高的几个三元组作为预选答案,最后通过实体链接重排序返回答案.在内蒙古某机械厂数控机床故障知识图谱数据集上分析并验证了所提方法的有效性.     

致密低渗油藏压裂井网气驱深度学习预测模型

压裂井网气驱将油藏压裂与注气井网驱油结合,是当前致密低渗油藏提高采收率有效技术之一．水力裂缝及多相流动复杂性,使得基于精细油藏数值模拟的压裂井网气驱效果预测变得困难且耗时．提出一种基于均方根传播（root mean square propagation,RMSProp）深度学习的压裂井网气驱效果预测方法．通过建立压裂直井/水平井混合井网气驱数值模拟模型,引入高斯函数定量表征压裂水平井多级裂缝分布特征．利用正交试验筛选试验样本方案,自主编程实现数值模拟结果自动提取与数据处理,建立致密低渗油藏压裂井网气驱样本数据库．基于随机森林算法,筛选油藏地质、裂缝、生产等关键参数重要性特征,通过误差逆传播（back propagation,BP）神经网络、长短期记忆单元（long short-term memory,LSTM）、双向长短期记忆单元（bi-directional long short-term memory,BiLSTM）等深度学习算法,建立日产油、地层压力和采出程度预测代理模型,通过与油藏数值模拟对比,验证模型准确性．结果表明,BiLSTM算法在预测压裂井网气驱和压裂衰竭开发时效果最好...     

徽派建筑知识图谱的半自动化构建

本文针对徽派建筑数据异构多源和非结构化的特点,提出一种BiLSTM-CRF模型与徽派建筑词典相结合的命名实体识别方法,利用先验知识的辅助作用,提升实体识别效果,完成对建筑实体进行的识别抽取.利用Neo4j图数据库存储知识,用属性图模型表示知识.最后使用Neo4j图数据库对构建的徽派建筑知识图谱进行了可视化展示.研究结果表明,此方法能够有效地构建徽派建筑领域知识图谱,为今后徽派建筑知识智能化推荐和搜索系统研究奠定基础.     

基于改进的LSTM癫痫预测算法研究

癫痫作为一种脑神经系统疾病,因其反复性强和治愈性低的特点,成为了 目前医学界的难题.癫痫的患病率在世界上仅次于急性脑卒中的慢性疾病,达0.4％-1.4％.针对疾病发作的实时预测困难的问题,提出一种基于长短期记忆网络(LSTM)改进的癫痫发作预测算法研究.对经过预处理的电脑信号采用小波变换提取信号中的不同能量特征作为LSTM的输入参数,将电子搜索算法(ESA)和随时间反向传播算法(BPTT)相结合更快更准确地调整网络参数,以实现癫痫病发作的短时预测.与现有的网络预测分类模型LSTM、SVM进行对比试验,本文算法较传统分类算法提高了分类精度,达93.7％.     

基于梯度提升树的飞机机身对接状态识别

为了实时监控飞机机身的对接过程,针对机身对接数据没有标注和样本不平衡的特点,提出基于梯度提升树（GBDT）的机身对接状态识别方法. 通过定位器及定位器上的载荷传感器,实时获取机身对接过程中的位移和载荷数据. 结合飞机部件对接的工艺流程对历史对接数据进行状态标注,提出准确、高效的对接状态自动标注方法. 在经过标注的对接数据上训练基于GBDT的机身对接状态识别模型,通过该模型可以获得各个特征的重要性. 与长短期记忆网络（LSTM）、卷积神经网络（CNN）以及一些传统机器学习方法相比,该方法对接状态识别的宏F₁（macro_F₁）指标高达0.998,能够精准地识别每一种对接状态且训练速度较快.     

基于CNN与注意力BiLSTM的轴承剩余使用寿命预测方法

滚动轴承的剩余使用寿命（Remaining Useful Life,RUL）预测对于旋转机械的运行和维护具有重要意义.以卷积神经网络（Convolutional Neural Network,CNN）为代表的深度学习方法虽然可以从轴承振动信号中自动提取特征，却不能对特征进行自适应的选择以提高模型对重要特征的关注程度.针对上述问题，提出一种基于CNN和注意力双向长短期记忆网络（Bidirectional Long Short-Term Memory,BiLSTM）的轴承RUL预测方法.首先通过CNN对振动信号进行空间特征提取；然后利用BiLSTM提取时序特征；接着利用注意力机制增强模型对重要特征的关注程度，并以全连接层作为解码器预测健康指标（Health Indicator,HI）；最后利用加权平均法对HI预测值进行修正，并利用多项式拟合曲线进行RUL预测.结果表明,所提方法的绝对百分比误差比卷积长短期记忆网络（CNN-LSTM）低14.36%，比传统的自组织映射网络（SOM）低21.28%，可用于多故障模式下的RUL预测.     

基于多尺度分解和深度学习的锂电池寿命预测

针对目前的剩余寿命预测（RUL）方法存在模型适应性差及预测不准确等问题,提出多尺度深度神经网络的锂电池健康退化预测模型. 通过经验模态分解（EEMD）方法和相关性分析（CA）,将采集到的锂电池能量数据分解为主趋势数据和波动数据;采用深度置信网络（DBN）和长短期记忆网络（LSTM）,分别对主趋势与波动数据进行建模;将DBN与LSTM预测结果进行有效集成,得到锂电池的健康预测结果. 实验结果表明,利用该方法能够有效地对锂电池的健康趋势进行拟合,得到准确的RUL预测结果,性能优于其他典型的预测方法.     

基于深度强化学习的文本实体关系抽取方法

从文本大数据中快速准确地抽取文本的实体关系信息是构建知识图谱的关键.针对目前主流的远程监督关系抽取方法常常忽略实体对的类型信息和句子语法信息的问题,该文提出了一种基于深度强化学习的文本实体关系抽取方法.首先,利用结合实体周围词注意力机制的双向长短期记忆网络作为句子编码的第一个模块;然后,在此基础上加入实体类型嵌入模块,...     

基于LSTM的内部用户安全行为评估方法

内部用户安全行为评估方法由于较少考虑用户操作行为的前后关联性,导致用户操作行为评估的准确率受到影响。针对该情况,结合长短期记忆网络（LSTM）适合处理时间序列问题的特性,提出了一种基于LSTM的内部用户安全行为评估方法。该方法首先对数据作向量化处理;然后按照N vs 1方案进行数据划分,利用LSTM算法对已知用户操作行为习惯进行统一建模;最后使用双峰阈值（bimodal threshold）机制来确定判决阈值,并对用户操作行为进行评估。实验结果表明,该方法的数据划分方案提升了其检测未知用户操作异常的能力,而且通过引入双峰阈值机制,提高了其检测未知用户异常操作的查准率与查全率。     

基于LSTM和灰色模型的股价时间序列预测研究

影响股价的因素错综复杂，因此在考虑多变量情形下，对时间序列中常用的长短期记忆网络（LSTM）进行修正，并选取股票价格进行预测.首先，采用方差膨胀因子（VIF）进行变量的筛选，再结合自适应提升法（Adaboost）模型查看特征变量的重要程度.其次，用爬虫对投资者情绪进行文本分析，计算情绪指数等指标并揭示其与股价的关系.然后，对格力电器、飞科电器、美的集团3支股票进行股价预测，对比多层感知器（MLP）模型、LSTM模型，并选择适当的模型作为基准模型，在基准模型的基础上加上情绪指数、投资者关注度等指标构建了LSTM-EM模型.进一步，在考虑了投资者情绪后对残差项使用GM （1，1）模型进行修正.实证结果表明，该模型能对股价进行较为精确的预测.     

基于LSTM与衰减自注意力的答案选择模型

针对答案选择过程中存在语句特征、语句间的相关语义信息提取不充分的问题,在长短时记忆网络(LSTM)的基础上,提出基于LSTM和衰减自注意力的答案选择模型(DALSTM). DALSTM使用LSTM和衰减自注意力编码层提取丰富的上下文语义信息,通过衰减矩阵缓解反复使用注意力机制出现的权重过集中于关键词的问题.使用注意力机制对问题与答案间的信息进行双向交互,融合问答对间的相似性特征,丰富问答对间的相关语义信息.在WiKiQA、TrecQA及InsuranceQA数据集上的模型评估结果表明,相较于其他基于BiLSTM的先进模型,DALSTM的整体性能表现更好,3个数据集的平均倒数排名（MRR）分别达到0.757、0.871、0.743.     

基于LSTM模型的SCR喷氨串级预测控制

常规PID对时变、时滞的SCR系统控制效果不佳,难以满足环保排放要求。因此提出一种基于长短期记忆神经网络（LSTM）滚动预测的串级预测控制策略。将LSTM网络预测输出组装成下一时刻输入数据,建立能自动微调的SCR系统模型;通过将LSTM网络与预测控制方法相结合应用于SCR喷氨优化控制中,并在此优化控制方案基础上加入PID控制,建立喷氨量的串级预测控制系统。结果表明：该控制策略对于SCR系统调节速度快、动态控制性能好、能克服模型失配的影响。     

基于双尺度长短期记忆网络的交通事故量预测模型

为了降低交通事故的发生、减少财产损失,建立新型交通事故量预测模型. 该模型利用双尺度分解方程将原始交通事故时间序列分解为多个子层,并利用长短期记忆（LSTM）网络对得到的低频子层进行预测;利用双尺度重构方程将低频子层的预测结果进行重构. 分别构建LSTM预测模型、门控循环单元(GRU)预测模型、自编码(SAEs)预测模型和双尺度长短期记忆网络(DS-LSTM)预测模型,利用这4个预测模型对2个数据集进行预测. 结果表明,本研究模型相较其他模型能够有效预测交通事故时间序列,且具有较强的鲁棒性. 对于2个数据集,相较于原始的LSTM模型,DS_LSTM预测模型预测准确度分别提高6%、28%;对2个不同数据库(利兹和UK)的测试表明本研究模型具有较好的泛化性能.