基于BERT和联合学习的裁判文书命名实体识别

正确识别裁判文书中的实体是构建法律知识图谱和实现智慧法院的重要基础。然而常用的命名实体识别（NER）模型并不能很好地解决裁判文书中的多义词表示和实体边界识别错误的问题。为了有效提升裁判文书中各类实体的识别效果,提出了一种基于联合学习和BERT的BiLSTM-CRF（JLB-BiLSTM-CRF）模型。首先,利用BERT对输入字符序列进行编码以增强词向量的表征能力;然后,使用双向长短期记忆（BiLSTM）网络建模长文本信息,并将NER任务和中文分词（CWS）任务进行联合训练以提升实体的边界识别率。实验结果表明,所提模型在测试集上的精确率达到了94.36%,召回率达到了94.94%,F1值达到了94.65%,相较于BERT-BiLSTM-CRF模型分别提升了1.05个百分点、0.48个百分点和0.77个百分点,验证了JLB-BiLSTM-CRF模型在裁判文书NER任务上的有效性。     

基于问答交互的答案句选择算法

答案选择任务的精度对问答系统、文本处理等应用的效果具有重要的影响.针对答案选择模型问句与候选答案句语义信息和句子浅层特征利用不充分的问题,提出一种基于问答句交互的答案选择模型.给定问句Q和候选答句A,模型首先使用BiLSTM编码器对它们进行编码,然后针对问句Q使用Feed-Forward注意力机制得到句子编码;针对答句...     

PCC-BiLSTM-GRU-Attention组合模型预测方法

传统预测模型在处理多元时间序列时, 常常难以捕捉其非线性动力系统的复杂变化规律导致预测精度较低. 针对此问题, 本文将PCC-BiLSTM-GRU-Attention组合模型的预测方法进行了探讨和验证. 该方法首先使用Pearson相关系数(PCC)进行相关性检验并删除无关特征, 实现了对多元数据的降维选优. 其次使用双向长短期记忆神经网络(BiLSTM)双向提取时序特征. 最后使用GRU神经网络融合注意力机制(Attention), 进一步学习双向时序特征的变化规律, 精准捕捉关键时刻的信息. 为了验证该方法在多元时间序列中的可行性, 本文以股票价格预测作为实验场景, 并与BP模型、LSTM模型、GRU模型、BiLSTM-GRU模型、BiLSTM-GRU-Attention模型进行对比. 验证结果表明: 本文探讨的PCC-BiLSTM-GRU-Attention组合模型的预测方法相比其他模型具有较高的预测精度, 其平均绝对百分比误差(MAPE)达到了2.484%, 决定系数达到了0.966.     

基于CNN-BiLSTM-Attention的超短期电力负荷预测

超短期电力负荷预测对电力系统的快速响应和实时调度至关重要,准确预测负荷能保障电力系统的安全并提高用电效率。为获得准确可靠的负荷预测结果,针对电网负荷数据非线性和时序性等特征,提出了一种基于CNN-BiLSTM-Attention(AC-BiLSTM)的新型超短期电力负荷预测方法。该方法首先将卷积神经网络(CNN)和双向长短期记忆(BiLSTM)网络相结合充分提取负荷数据本身的时空特征。然后引入注意力(Attention)机制自动为BiLSTM隐藏层状态分配相应的权重,以区分不同时间负荷序列的重要性,能够有效减少历史信息的丢失并突出关键历史时间点的信息。最后通过全连接层输出最终负荷预测结果。以某地区真实负荷数据为例进行了实验分析。通过两种实验场景对比,验证了该方法具有较高的预测精度,可以为电力系统规划和稳定运行提供可靠的依据。     

面向电网调度领域的实体识别技术

近年随着电网调度领域数据自动化、智能化管理需求的日益增长,知识图谱成为提供知识管理、智能查询、辅助决策等功能的重要技术.实体作为构成知识图谱的核心要素,识别的准确率将直接影响知识图谱的质量.针对电网调度领域,首先分析电网调度实体识别研究现状,明确了实体识别任务目标,然后根据电网调度领域文本数据特征,设计了同时满足局部特...     

基于Self-Attention和Bi-LSTM的中文短文本情感分析

短文本情感分析用于判断文本的情感极性,在商品评论、舆情监控等领域有重要应用。由于目前主流的基于词注意力机制的双向循环神经网络模型性能很大程度上依赖于分词的准确性,且注意力机制需较多的参数依赖,无法使模型更多的关注短文本的内部序列关系。针对上述问题,该文提出了基于字向量表示方法并结合Self-attention和BiLSTM的中文短文本情感分析算法。首先,对短文本进行字向量化表示,采用BiLSTM网络提取文本上下文关系特征,通过自注意力机制动态调整特征权重,Softmax分类器得到情感类别。在COAE 2014微博数据集和酒店评论数据集的实验结果表明,采用字向量文本表示方法较词向量更适合短文本,自注意力机制可以减少外部参数依赖,使模型能学到更多的文本自身关键特征,分类性能可分别提高1.15%和1.41%。     

民航突发事件实体识别方法研究

针对民航突发事件实体自动获取的问题,提出一种将双向长短期记忆网络(BiLSTM)与条件随机场(CRF)结合的民航突发事件实体识别方法。利用领域词典对民航突发事件实体进行自动标注,并将已标注的数据转化为分布式字符向量;采用BiLSTM模型获取序列文本的上下文特征;通过CRF模型获得序列标注结果。实验结果表明,与传统的CRF方法相比,该方法的F值有明显的提升,有效解决了传统方法在识别民航突发事件文本信息中包含复合实体或混合实体方面效率低且大量使用人工定义特征模板的问题,为民航突发事件知识图谱的自动构建提供了更好的方法支撑。     

基于BERT和多窗口门控CNN的电机领域命名实体识别

针对电机领域命名实体识别困难、精度不高的问题,提出了一种基于BERT和多窗口门控CNN的电机领域命名实体识别模型。该模型首先利用BERT预训练模型生成句子的字向量序列,根据电机领域文本的上下文动态微调字向量,增强字向量的语义表达;其次,构建具有全局时序特征感知单元和多窗口门控CNN单元的双分支特征提取层,形成句子的多级语义特征表示;最后,通过CRF对字符序列进行解码,得到每个字符对应的标签。在小规模的自建电机领域数据集与多组模型进行的对比实验结果表明,该模型命名实体识别性能均优于其他模型,macro-F1值达到了90.16%,验证了该方法对电机领域实体识别的有效性。     

基于双通道脑电信号的在线实时睡眠分期系统

当代社会睡眠问题日益突出,及时检测评估睡眠质量有助于诊断睡眠疾病.针对目前市面上睡眠监测类产品发展参差不齐的现状,本文搭建了一个基于双通道脑电信号的在线实时睡眠分期系统,利用第三方接口脑环获取脑电数据,结合CNN-BiLSTM神经网络模型,在PC电脑端实现了在线的实时睡眠分期与音乐调控功能.系统使用基于卷积神经网络CNN和双向长短时记忆神经网络BiLSTM相结合的算法模型对脑电信号进行自动特征提取,CNN能够提取高阶特征, BiLSTM可以捕捉睡眠数据前后的依赖性和关联性,睡眠分期准确率更高.实验结果表明,本文算法模型在Sleep-EDF公共数据集上的四分类任务中取得了92.33%的分期准确率,其Kappa系数为0.84,本系统的实时睡眠分期功能在自采集睡眠数据分期实验中取得79.17%的分期准确率,其Kappa系数为0.70.相比其他睡眠监测类产品,本系统睡眠分期准确率更高,应用场景更多样,实时性和可靠性强,并且可以根据分期结果对用户进行相应的音乐调控,改善用户睡眠质量.     

基于藏文BERT的藏医药医学实体识别

藏医药文本字符嵌入对藏医药医学实体识别有着重要意义,但目前藏文缺少高质量的藏文语言模型。本文结合藏文结构特点使用普通藏文新闻文本训练基于音节的藏文BERT模型,并基于藏文BERT模型构建BERT-BiLSTM-CRF模型。该模型首先使用藏文BERT模型对藏医药文本字符嵌入进行学习,增强字符嵌入对藏文字符及其上下文信息的表示能力,然后使用BiLSTM层进一步抽取藏医药文本中字符之间的依赖关系,最后使用CRF层强化标注序列的合法性。实验结果表明,使用藏文BERT模型初始化藏医药文本字符嵌入有助于提高藏医药医学实体识别效果,F1值达96.18%。