基于Bi-LSTMA-CNNA的线上评论情感分析模型

基于深度学习的文本情感分析是目前自然语言处理研究的重要方向,在卷积神经网络、双向长短期记忆网络的基础上提出一种性能优于前面两种算法的情感分析算法.改进后的情感分析算法结合传统的深度学习结构,将双向长短期记忆网络、卷积神经网络以及注意力机制相结合,其中双向长短期记忆网络与注意力机制相结合的部分主要用来提取全局特征,并对目...     

基于卷积-双向长短期记忆网络的电池SOC预测

锂电池的预测性维护是电池应用的重点,实现它的关键是有效地预测锂电池的荷电状态(SOC)。随着信息技术和深度学习网络算法的发展,深度学习法在SOC预测方面显示出很好的潜力。提出了一种基于卷积-双向长短期记忆网络(CNN-BiLSTM)的SOC预测方法,利用卷积神经网络(CNN)模型提取局部特征,双向长短期记忆网络(BiLSTM)充分利用双向SOC的时间信息。在公共数据集上的对比实验表明,该模型提高了SOC预测的准确性。     

基于预训练BERT模型的客服工单自动分类研究

本文介绍了工单文本分类的理论和应用,并对文本分析的分词、机器学习、深度学习等技术方法进行了描述。基于预训练BERT模型提出了95598客服工单自动分类的方法,设计了电力客服工单自动分类的流程,最后通过一个实际的案例对算法模型进行校验,并与传统的文本挖掘方法进行了对比。算例的结果表明,所使用的工单分类算法能显著提高分类的准确性,在分类效率上也较高。     

基于深度学习的电网调控文本知识抽取方法

电力系统的发展对电力系统知识的使用提出新的要求,为了实现非结构化电网调控文本知识的自动抽取,文中提出了基于注意力的双向长短期记忆网络和条件随机场的深度学习模型。深度学习模型从调度规程等文本数据中抽取电网运行规则和电网事故处理流程。实验结果表明,提出的模型的语料精度、召回率和F1分数分别为91.00%,89.98%和90.49%,结果略优于另外3种模型。在训练集和测试集上分别进行F1评估,识别精度差异很小,说明模型学习中没有发生过拟合现象,提出的深度学习模型具备良好的泛化能力。     

水电工程施工安全隐患文本智能分类与知识挖掘北大核心CSCD

基于隐患排查信息的知识挖掘对于工程安全管理具有重要的支持作用。自然语言处理(natural language processing,NLP)技术是目前实现文本知识挖掘的重要方法,知识挖掘的深度和精度是该类方法的重要衡量指标。为了提升水电工程安全隐患文本知识挖掘效率,本文提出了一种结合文本分类与文本挖掘技术的隐患文本知识挖掘方法。该方法利用RoBERTa-wwm-CNN混合深度学习模型进行隐患文本快速智能分类,在此基础上,通过绘制隐患词云图实现不同种类隐患管理要点的可视化分析,以词共现网络构建为基础,分析隐患数据间的内在联系。将该方法应用于白鹤滩水电站安全隐患文本挖掘分析,与现有较先进的文本分类模型相比,本文所提模型精度有所提升,验证了所提模型的优越性。     

基于双向长短期记忆网络的区域电网新能源消纳预测算法

目前,区域电网新能源消纳问题日益严重,采用优化算法进行区域电网新能源消纳评估的技术难度大、求解效率低、消耗时间长。为此,本文提出基于双向长短期记忆网络（BiLSTM）的区域电网新能源消纳预测算法。首先分析影响区域电网新能源消纳的因素,并进行新能源消纳预测数据准备;然后提出基于BiLSTM的区域电网新能源消纳预测算法,利用电网历史运行数据训练模型,实现区域电网新能源消纳的快速准确在线预测;最后利用实际电网数据验证了所提算法的有效性,为电网运行人员提供参考。     

基于Kbert文本聚类模型的变压器故障识别

变压器故障分析报告文本包含设备故障现象的描述,但描述语言因人而异、专业性强,且单个故障描述文本中可能存在多种故障类型,造成机器自动判断困难。因此提出一种针对变压器故障描述进行具体故障类型聚类的机器识别算法Kbert(BERT+K-Means++)。该算法首先将变压器故障文本转换为批量化高维文本矩阵;其次,根据故障表述文本迭代改进中文BERT模型中关键权重参数,以获得全局语义向量。同时在迭代改进中,根据样本拟合的难易程度,Kbert模型对不同样本的识别损失值权重进行动态修正;最后,通过K-Means++算法,Kbert改进了原有单一BERT模型难以处理单一故障文本包含多故障类型的不足。算例对全国782份真实变压器故障分析报告文本进行了故障类型识别。结果表明,所提出的Kbert模型克服了变压器故障描述文本距离长、样本种类分类不均导致的机器训练效果不佳的问题,性能指标F₁值优于常用BERT和Bi-LSTM+Attention方法,实现了多种变压器故障信息的高准确率快速聚类识别。     

基于BiLSTM神经网络的锂电池SOH估计与RUL预测

针对锂电池健康状态(state of health,SOH)估计与剩余寿命(remaining useful life,RUL)预测问题,设计一种基于双向长短期记忆(bi-directional long short-Term memory,BiLSTM)神经网络模型的预测方法。首先,提取美国国家航空航天局（national aeronautics space and administration,NASA)锂电池的容量数据,将容量数据转为SOH数据并作为模型输入数据;其次,建立双层BiLSTM神经网络,使用加速自适应矩估计算法（nesterov-accelerated adaptive moment estimation,Nadam）优化函数动态调整学习率;然后,通过双向长短期记忆神经网络模型分析锂电池数据,建立电池容量、SOH和RUL之间的联系;最后,全连接层输出电池SOH的估计曲线,从而预测其剩余寿命。通过NASA数据进行预测实验,BiLSTM神经网络的RUL预测误差稳定在3以内,SOH预测曲线的拟合度稳定在94.211%-95.839%,BiLSTM神经网络具有更高的鲁棒性和准确性。     

基于字词融合的高铁道岔多级故障诊断组合模型

为有效提升高速铁路道岔维护效率和故障定位准确率,面向其故障文本数据,提出了一种基于字词融合的高速铁路道岔多级故障诊断组合模型。首先,建立高速铁路道岔专业词库,将文本表示为字向量与词向量并进行深度融合。其次,考虑到故障文本存在类别不均衡问题,采用Borderline-SMOTE算法对不均衡文本数据进行处理,优化故障文本数据分布。接着使用BiLSTM(Bi-directional long short-term memory)-CNN(convolutional neural network)的组合神经网络提取故障文本深度特征,最后通过分类器实现智能故障诊断。采用我国高速铁路道岔故障文本数据进行模型性能验证,结果显示所提模型的一级故障诊断准确率达到95.62%,二级故障诊断准确率达到93.81%,证明多级故障诊断精度可达到理想效果。     

MRC-PBM: 一种中文电子病历嵌套命名 实体识别方法

中文电子病历实体包含大量的医学领域词汇并具有明显的嵌套特征。嵌套实体识别时往往存在目标实体定位不完整、不准确的问题。针对这一问题,提出了一种基于机器阅读理解的中文电子病历嵌套命名实体识别模型MRC-PBM (machine reading comprehension-position information biaffine and MLP)。该模型将命名实体识别(named entity recognition, NER)转化为机器阅读理解任务,将中文电子病历文本和预定义的查询语句串联作为输入,使用基于医学的预训练模型MC＿BERT获取词向量,然后通过双向长短期记忆网络模型(BiLSTM)和多粒度扩张卷积模型分别获取双向的特征信息以及单词之间的信息,得到相应的特征向量,最后使用Hybrid-PBM预测器进行实体预测。在嵌套和平面NER数据集上进行实验。实验表明,该模型在糖尿病语料和公开医学数据集上优于其他主流神经网络模型,F1值比基线模型提高了1.21%～5.80%。     

基于深度学习的110kV电网监控信号语义解析及态势感知模型

新型电力系统的大力建设对电网监控信号的高效准确识别技术提出了更高的要求。首先分析了Soft-Masked BERT语言模型的基本原理,建立了基于Soft-Masked BERT的信号文本纠错模型。根据国家电网典型事件表梳理了包含常规与故障情况下的“信号语义—电网事件”规则字典。综合上述模型建立了基于RNN的电网态势感知模型,提出了基于深度学习的电网监控信号语义解析及态势感知求解流程。最后,以某地110kV变电站实际监控信号为测试数据,利用所提RNN模型并结合Pycorrector工具包及Pytorch软件对该地区电网监控信号进行语义解析及态势感知仿真分析,验证了模型的有效性及正确性。     

基于W-BiLSTM的可再生能源超短期发电功率预测方法

针对现有新能源超短期预测方法难以有效挖掘和分析数据的固有波动规律,且当时序过长时易丢失重要信息等问题,提出了一种基于注意力(Attention)机制的小波分解-双向长短时记忆网络(W-BiLSTM)超短期风、光发电功率预测方法.首先,利用小波分解提取输入时间序列的时域信息和频域信息.随后,考虑双向信息流,采用双向长短时...     

混凝土坝施工文档实体知识智能挖掘方法

混凝土坝施工信息多以文档文本的形式呈现,其体量大、分布广、内在关系复杂,人工操作难以准确、高效地提取信息知识内容,理清错综复杂的施工信息关系.在自然语言处理技术中,命名实体是文本信息知识的载体,实现精确快速的实体识别是施工知识挖掘的重要前提.本文提出一种融合深度学习与关联规则技术的混凝土坝施工文档知识智能识别及挖掘分析...     

基于BERT-DSA-CNN和知识库的电网调控在线告警识别

电网调控告警识别是实现智能电网调度的重要环节。为提高电网调控告警识别的准确率,针对电网数据量庞大、有效信息提取困难、传统知识库知识迁移能力较差等问题,提出一种基于BERT-DSA-CNN和知识库的电网调控在线告警识别方法。首先在自然语言处理-深度学习的文本数据挖掘架构基础上,经过分词、去停用词等步骤,利用BERT模型获取电网调控告警信息词向量。然后将词向量输入CNN深度学习模型进行训练,并根据电网告警信息的特点引入DSA机制对CNN模型进行改进。最后提出了融合深度学习模型和传统知识库的电网调控在线告警识别方案。通过大量的算例结果分析得出,该方法相比Word2vec、传统CNN、传统知识库、离线学习等方法,具有更高的准确性和有效性,对不同的故障类型均具有较好的识别能力,为工程应用提供了一种思路。     

基于并行机器学习的风功率超短期预测

针对风功率存在间歇性、随机性和波动性的特征及组合预测模型耗时长的问题,提出一种并行解决方案,建立集合经验模态分解（EEMD）与双向长短期记忆（BiLSTM）神经网络相结合的风功率并行组合预测模型。首先,利用EEMD将原始风功率序列分解为一系列本征模态函数;其次,借助多进程信息传递接口为本征模态函数构建并行BiLSTM神经网络子模型阵列,并采用贝叶斯优化算法率定各子模型超参数;最后,将并行子模型预测序列合成后便得到风功率预测结果。实例验证表明,所建模型在单步预测、多步预测和执行效率方面较五组对照模型均具备一定的优势。研究成果可为电网发电计划的制定及电力系统经济运行提供数据支撑和参考价值。