基于双向LSTM的气动回路故障诊断方法研究

论文提出一种基于双向LSTM的气动回路故障诊断方法,使用AMESim软件建立某生产线的气动回路仿真模型,模拟气动回路的单重故障和多重故障,记录仿真数据,制作该气动回路的故障诊断数据集,在Matlab环境下建立双向LSTM网络架构进行气动回路故障诊断实验与分析,结果表明双向LSTM模型在多重故障识别的正确率高于LSTM模...     

基于知识图谱的恶意域名检测方法

人工智能在恶意域名检测领域的应用越来越广泛,而传统的恶意域名检测方法主要采用黑名单方式,存在时效性较差的问题。因此,提出了一种将知识图谱与恶意域名检测相结合的系统,完成了信息在知识图谱中的存储和表示。将系统的嵌入式模型作为输入,使用BiLSTM神经网络提取特征并完成最终的检测。实验表明,在通过真实数据构造的数据集上,该系统性能良好,对恶意域名的检测准确率高达99.31%。     

基于深度学习的中文生物医学实体关系抽取系统

在生物医学文本挖掘领域,生物医学的命名实体和关系抽取具有重要意义.然而目前中文生物医学实体关系标注语料十分稀缺,这给中文生物医学领域的信息抽取任务带来许多挑战.该文基于深度学习技术搭建了中文生物医学实体关系抽取系统.首先利用公开的英文生物医学标注语料,结合翻译技术和人工标注方法构建了中文生物医学实体关系语料.然后在结合...     

基于交互式特征融合的嵌套命名实体识别

现有命名实体识别模型在字嵌入过程中多采用字符向量、字向量等不同单词表示向量的拼接或累加方式提取信息,未考虑不同单词表示特征之间的相互依赖关系,导致单词内部特征信息获取不足。提出一种基于交互式特征融合的嵌套命名实体识别模型,通过交互的方式构建不同特征之间的通信桥梁,以捕获多特征之间的依赖关系。采用交互机制得到包含不同单词表示信息的字嵌入向量,基于双向长短时记忆网络提取单词的表示特征,并对不同单词的表示特征进行交互,捕获特征之间的相互依赖关系。为进一步提取序列特征的上下文信息,采用基于特征交互的多头注意力机制捕获句子上下文的依赖关系。在此基础上,采用二元序列标记法过滤非实体区域,得到粗粒度候选区间,并对其进行细粒度划分以判断实体类别。实验结果表明,该模型的召回率和F1值为72.4%和71.2%,相比现有的嵌套命名实体识别模型,F1值平均提高了1.72%。     

基于ALBERT-BiLSTM-Att的微博评论情感分析研究

针对传统语言模型无法直接提取句子的双向语义特征,导致情感分类准确率较低的情况,提出一种结合预训练语言模型ALBERT、BiLSTM以及Attention机制的微博评论情感分析模型ALBERT-BiLSTM-Att。在公开数据集weibo_senti₁00k上,经过五折交叉验证实验,ALBERT-BiLSTM-Att模型的准确率达到93.30%。     

RF-BiLSTM神经网络在海浪预测中的应用

由于风浪数据的随机性, 复杂性, 影响因素多, 多为时间序列的特点, 造成了传统预测模型预测难度大, 精确率低, 构建了基于随机森林的注意力机制与双向长短期记忆神经网络相结合的海浪预测模型. 该模型对输入进行优化, 可以使用过去和未来的数据信息进行预测, 提高了海浪波高的预测精度. 该模型利用随机森林对输入变量筛选优化, 降低网络复杂度, 然后将注意力机制与双向长短期记忆神经网络相结合建立预测模型, 并利用实际数据进行验证. 结果显示, 和BP, LSTM, BiLSTM模型比较, RF-BiLSTM模型的预测精度更高, 拟合程度更好, 在海浪数值的预测预报中有重要意义.     

融合注意力机制的药用植物文本命名实体识别

药用植物文本的命名实体识别对中医药领域的信息抽取和知识图谱构建起着重要作用。针对药用植物属性文本存在长序列语义稀疏的问题,提出一种基于注意力机制的双向长短时记忆网络(BiLSTM)和条件随机场(CRF)模型相结合的疾病实体识别方法（BiLSTM+ATT-CRF,BAC）。首先对药用植物属性文本进行预处理和半自动化标注构建数据集,并进行预训练得到低维词向量;然后将这些低维词向量输入BiLSTM网络中,得到双向语义依赖的特征向量;Attention层把注意力集中到与当前输出特征高度相关的信息上;最后通过条件随机场（CRF）算法获取最优的标签序列并解码输出。实验结果表明,BAC方法针对药用植物属性文本的长序列语义稀疏问题,疾病命名实体识别效果较传统方法更优。利用BAC方法训练好的模型从1680条文本句子中识别疾病命名实体,共抽取出1422个疾病实体。与药用植物名称进行匹配,共抽取出4316个药用植物治疗疾病的三元组数据。     

注意力机制的BiLSTM模型在招聘信息分类中的应用

目前IT招聘信息分类中传统算法存在长距离依赖,且无法突出IT岗位关键词对文本分类特征影响等问题.本文通过训练双向长短期记忆网络BiLSTM与注意力机制相结合的多层文本分类模型,将其应用到招聘信息分类中.该模型包括One-hot词向量输入层、BiLSTM层、注意力机制层和输出层.其中One-hot层构建招聘词典,节省了大量训练词向量时间,BiLSTM层可获取更多上下文不同距离的语义信息,注意力机制层对经过BiLSTM层编码数据进行加权转变可提升序列化学习任务.实验表明：基于该模型的IT招聘信息分类准确率达到93.36%,与其他模型对比,提高约2%.该模型更有针对性的分析不同岗位对就业者能力的要求,实现了不同岗位招聘信息的分类,对高校毕业生就业指导有重要意义.     

基于改进迁移学习和多尺度CNN-BiLSTM-Attention的短期电力负荷预测方法

针对目标域负荷数据样本不足导致模型训练不充分从而预测精度不高的问题,提出一种改进的分层级迁移学习策略结合多尺度CNN-BiLSTM-Attention模型的短期电力负荷预测方法。设计串并行相叠加的多尺度CNN作为特征提取器,把提取到的特征作为输入传递到两层BiLSTM结构进行进一步的学习,引入注意力机制调节捕获的信息向量权重。按照基础模型的结构划分层级,将源域数据按照拟合优度值的高低输入至模型进行分层级的迁移学习训练,保留每一层最优的训练权重,之后使用目标域数据对模型进行微调得到最终的预测模型。经实验证明,所提出的多尺度CNN-BiLSTM-Attention模型能有效提高负荷预测精度,在负荷数据样本不足时,改进的分层迁移学习策略相比于直接迁移学习能有效降低预测误差。以目标域6个月数据为例,MAPE指标降低13.31%,MAE指标降低15.16%,RMSE指标降低14.37%。     

水利综合知识图谱构建研究

基于对水利知识特点的分析,提出了水利综合知识体系的描述方法,包括水利知识的定义、组成与关联;构建了水利知识图谱的构建框架和关键技术体系,以水利行业结构化业务数据的实体关系转换为基础,采用双向长短期记忆神经网络(Bi-directional Long Shot-Term Memory Neural Network,BiLSTM)与条件随机场(Conditional Random Fields,CRF)方法识别半结构化、非结构化学科知识文本以及互联网数据中的水利实体,使用模式匹配和共现网络分析方法抽取各实体间关系,对涉水对象及其属性进行补充,基于风险最小化的最小风险映射模型(Risk Minimization based Ontology Mapping,RiMOM)进行了多源异构水利实体的融合,实现了涉水对象与水利学科知识的融合与关联,形成水利综合知识的建模和表达。在图谱构建过程中,累计抽取水利实体136万个,构建实体关系300余万条,抽取的水利实体对象的标注准确率在80%以上。基于该图谱可实现水利知识的跨域查询与检索,学科图谱与水网图谱间关系查询,挖掘不同水利实体间的隐含关系,提高水利...