基于BILSTM-CRF的高校政策语义角色标注研究

采用融合自注意力机制的双向长短期记忆模型（SelfAtt-BILSTM）和条件随机场模型（CRF）,构建一种SelfAtt-BILSTM-CRF模型,对政策文本进行语义角色标注,以提取政策主要内容。采用某高校政策文件为实验数据集,利用BILSTM模型自动学习序列化语句上下文特征,融合自注意力机制增加重要特征元素的权重,通过CRF层利用特征进行序列标注,提取语义角色,以实现政策文件的主要内容挖掘。经过对比验证,该模型能够有效地提取政策文本内容,在标注数据集上F1值达到78.99%。实验结果同时表明,自注意力机制能够有效提高神经网络模型的语义角色标注效果。     

基于深度神经网络的语义角色标注

该文提出了一个基于多层长短期记忆神经网络的语义角色标注方法,并装置了新颖的“直梯单元”(elevator unit, EU)。EU包含了对单元内部输入和输出的线性连接,使信息可以通畅地在不同层之间传播。通过EU,一个20层的LSTM网络可以得到比较充分的优化。重要的是,这个线性连接包含的“门”函数可以正则和控制信息在时间方向和空间方向上的传播。不同层次的抽象信息也可以被EU直接带到输出层进行语义角色标注。尽管这个模型非常简单,不需要任何额外的特征输入,但是它取得了理想的实验结果,在CoNLL-2005公开数据集上取得了F=81.56%的结果,在CoNLL-2012公开数据集上取得了F=82.53%的结果,比之前最好的结果分别提高了0.5%和1.26%。另外,在领域外的数据集上我们也取得了F值2.2%的显著提升,这是当前世界上最好的性能。该模型比较简洁,非常容易实现和并行,在单一的K40 GPU上取得了每秒11.8K单词的解析速度,远远高于之前的方法。     

基于Self-Attention的句法感知汉语框架语义角色标注

框架语义角色标注(Frame Semantic Role Labeling, FSRL)是基于FrameNet标注体系的语义分析任务。语义角色标注通常对句法有很强的依赖性,目前的语义角色标注模型大多基于双向长短时记忆网络Bi-LSTM,虽然可以获取句子中的长距离依赖信息,但无法很好地获取句子中的句法信息。因此,引入Self-Attention机制来捕获句子中每个词的句法信息。实验结果表明,该模型在CFN(Chinese FrameNet,汉语框架网)数据集上的F₁值得到了提升,证明了融入self-attention机制可以改进汉语框架语义角色标注模型的性能。     

结合Hybrid Attention机制和BiLSTM-CRF的汉语否定语义表示及标注

阅读理解中否定是一种复杂的语言现象,其往往会反转情感或态度的极性。因此,正确分析否定语义对语篇理解具有重要意义。现有否定语义分析方法存在两个问题：第一,研究的否定词较少达不到应用目的;第二,目前汉语否定语义标注只是标注整个句子,这无法明确否定语义。针对该问题提出基于汉语框架语义知识库（Chinese FrameNet）进行否定语义角色标注方法。在框架语义学理论指导下结合汉语否定语义特征对已由FrameNet继承的否定框架重新构建;为了解决捕捉长距离信息以及句法特征问题,提出一种基于Hybrid Attention机制的BiLSTMCRF语义角色标注模型,其中,Hybrid Attention机制层将局部注意与全局注意结合准确表示句子中的否定语义,BiLSTM网络层自动学习并提取语句上下文信息,CRF层预测最优否定语义角色标签。经过比对验证,该模型能够有效提取出含有否定语义信息,在否定语义框架数据集上F1值达到89.82%。     

基于分层输出神经网络的汉语语义角色标注

语义角色标注是自然语言处理中的一项重要任务。当下针对中文语义角色标注的主流做法是通过基于特征的统计机器学习实现的。然而,统计机器学习的方法需要引入经验性的人工特征,这在一定程度上增加了工作量。深度学习在自然语言处理领域的应用使得特征的自动学习成为可能。文章尝试了一种适用于语义角色标注的深层神经网络架构,该模型能自然地推广到其他标注任务。实验表明,深度学习算法能够有效地用于语义角色标注任务,但是我们仍然发现,模型对语义层面知识的学习是相当有限的,基于深度学习的方法还不能取代基于人工特征的统计机器学习算法。     

基于依存关系的语义角色标注

针对以句法成分为基本标注单元语义角色标注的瓶颈问题,描述一个以依存关系为标注单元的语义角色标注系统,经过依存关系分析、谓词标识、特征抽取、角色识别和角色分类,最终在CoNLL2008 SRL Shared Task自动依存分析的WSJ测试集取得了较好的结果,F1值达到了80．94％,结果证明共性能明显好于基于句法分析的SRL。     

基于联合方法的中文语义角色标注

目前基于机器学习的中文语义角色标注(Semantic Role Labeling,SRL)方法大致可以分为两类:基于深层句法分析的方法和基于浅层句法分析的方法.由于基于这两种方法的SRL系统在性能和健壮性上各有优缺点,本文试图联合基于这两种方法的SRL系统的输出,通过一些全局特征训练出联合模型,对候选角色进行过滤,然后解决不满足句子论元结构限制的冲突角色得到最终标注结果,来提高标注的性能.在Chinese PropBank 1.0语料集上,联合模型的F值达到了78.41％,在基于深层句法分析的SRL的F值67.34％和基于浅层句法分析的SRL的F值71.67％基础上有了显著的提高,从而证明我们的联合方法是非常有效的.     

依存关系语义角色标注研究

描述了一个基于依存关系的语义角色标注系统,该系统把依存关系作为语义角色标注的基本单元。通过手工或自动标注出来的依存关系,构造出依存关系树,并从树上抽取特征。用最大熵模型对句中谓词的语义角色进行识别和分类。为了消除不必要的结构化信息,在预处理阶段,依存关系树经过了Xue的剪枝算法处理。通过特征工程,丰富的特征及其组合被应用于系统。最终使用 CoNLL 2008 shared task提供的数据作为训练、开发和测试集,使用手工标注的依存关系,F1值达到了86.25%;使用MSTParser自动产生的依存关系,F1值达到了81.66%。     

基于最大熵分类器的语义角色标注

语义角色标注是浅层语义分析的一种可行方案.描述了一个采用最大熵分类器的语义角色标注系统,该系统把句法成分作为语义标注的基本单元,用最大熵分类器对句子中谓词的语义角色同时进行识别和分类.最大熵分类器中使用了一些有用的特征及其组合.在后处理阶段,在具有嵌套关系的结果中,只有概率最高的语义角色被保留.在预测了全部能够在句法分析树中找到匹配成分的角色以后,采用简单的后处理规则去识别那些找不到匹配成分的角色.最终在开发集和测试集上分别获得了75.49%和75.60%的F1值,此结果是已知的基于单一句法     

基于语义组块分析的汉语语义角色标注

近些年来,中文语义角色标注得到了大家的关注,不过大多是传统的基于句法树的系统,即对句法树上的节点进行语义角色识别和分类。该文提出了一种与传统方法不同的处理策略,我们称之为基于语义组块分析的语义角色标注。在新的方法中,语义角色标注的流程不再是传统的“句法分析——语义角色识别——语义角色分类”,而是一种简化的“语义组块识别——语义组块分类”流程。这一方法将汉语语义角色标注从一个节点的分类问题转化为序列标注问题,我们使用了条件随机域这一模型,取得了较好的结果。同时由于避开了句法分析这个阶段,使得语义角色标注摆脱了对句法分析的依赖,从而突破了汉语语法分析器的时间和性能限制。通过实验我们可以看出,新的方法可以取得较高的准确率,并且大大节省了分析的时间。通过对比,我们可以发现在自动切分和词性标注上的结果与在完全正确的切分和词性标注上的结果相比,还有较大差距。     

基于Attention-BiLSTM-LSTM神经网络的短期电力负荷预测方法

短期电力负荷预测是电力系统中的重要问题之一,准确的预测结果可以提高电力市场的灵活性和资源利用效率,对电力系统高效运行具有重要意义.为了提高预测精度,针对电网负荷数据的时序性特征,提出一种基于Attention-BiLSTM-LSTM神经网络的短期电力负荷预测方法.该方法首先针对电力负荷的影响因素(温度、节假日等)提取特...     

基于动态句法剪枝机制的中文语义角色标注

语义角色标注（Semantic Role Labeling,SRL）旨在识别给定句子中所包含的谓词及对应的语义论元,从而为信息抽取、自动问答和阅读理解等任务的语义理解提供帮助．构建句法特征作为实现语义角色标注任务的关键步骤,在很大程度上影响着任务的性能．针对现有的神经网络模型未能有效构建句法特征,例如现有研究采取离线式的人工定式句法裁剪方案,不可避免地造成关键句法信息丢失或者裁剪效果减弱等问题,本文提出基于动态句法剪枝机制的端到端神经网络模型,并将其用于中文语义角色标注任务．具体地,我们提出两种创新的动态句法剪枝机制：基于递归神经网络模型的动态句法剪枝机制（Recur-DSP）和基于带句法标签的图卷积网络模型的句法剪枝机制（SGCN-DSP）.Recur-DSP采用递归神经网络模型进行句法结构编码与融合,并对句法树的每一个连接处通过Gumbel-Softmax函数离散化实现动态句法裁剪．SGCN-DSP采用图卷积神经网络模型为句法依存树的依存弧结构以及对应的标签进行统一建模,并提出对应的动态句法裁剪机制．在基准数据集上的实验结果显示所提方法超过当前的最好模型,获得当前中文语义角色标注的...     

基于依存树的中文语义角色标注

现有中文语义角色标注主要集中在基于短语结构句法树的标注。基于此,提出一种基于依存树的中文语义角色标注方法。将中文句子转化为标准的依存树,作为实验数据集,特征选取时结合知网,将语义信息引入特征集,以提高系统的召回率,并采用最大熵分类器进行实验,获得90.68%的F值。结果表明,在标准的句法树上,当基于依存关系的标注系统中加入新特征时,该中文语义角色标注取得了比基于句法成分标注更好的成绩。     

基于语义角色标注的文本水印算法

为保护数字文本的知识产权,提出一种利用语义角色嵌入水印信息的文本水印算法。采用Unicode编码和Huffman编码对水印进行预处理形成特定形式的水印信息串,借助自然语言处理技术标注文本中的语义角色,将水印信息映射为语义角色的位置,实现水印的嵌入与提取。算法对文本的格式和内容不做任何修改,具有很强的隐蔽性和鲁棒性,能有效抵抗常见的格式变换和攻击,同时能提供较大的水印容量,与其它文本水印算法相比具有一定的优越性。     

中文名词性谓词语义角色标注

研究了中文名词性谓词的语义角色标注(semantic role labeling,简称SRL).在使用传统动词性谓词SRL相关特征的基础上,进一步提出了名词性谓词SRL相关的特征集.此外,探索了中文动词性谓词SRL对中文名词性谓词SRL的影响,并且联合谓词自动识别实现了全自动的中文名词性谓词SRL.在中文NomBank上的实验结果表明,中文动词性谓词的SRL合理使用能够大幅度提高中文名词性谓词的SRL性能;基于正确句法树和正确谓词识别,中文名词性谓词的SRL性能F1值达到了72.67,大大优于目前国内外的同类系统;基于自动句法树和自动谓词识别,性能F1值为55.14.     

基于Self-Attention的多语言语义角色标注联合学习方法

为解决文本语言输出标签序列过于模糊的问题,建立一种相对平稳的级联重排序模式,提出基于Self-Attention的多语言语义角色标注联合学习方法.按照卷积神经网络的框架连接需求,搭建卷积神经网络、处理文本词向量及提取分类特征实施多语言文本词的向量化处理,并根据分类特征的提取行为,完成基于Self-Attention理论的多语言文本分类调节.实验结果表明,该方法的文本语言输出标签序列的模糊性水平明显降低,而级联重显示指标却大幅提升,整个物理排序模式开始逐渐趋于稳定.     

基于Self-Attention的多语言语义角色标注联合学习方法

为解决文本语言输出标签序列过于模糊的问题,建立一种相对平稳的级联重排序模式,提出基于Self-Attention的多语言语义角色标注联合学习方法.按照卷积神经网络的框架连接需求,搭建卷积神经网络、处理文本词向量及提取分类特征实施多语言文本词的向量化处理,并根据分类特征的提取行为,完成基于Self-Attention理论的多语言文本分类调节.实验结果表明,该方法的文本语言输出标签序列的模糊性水平明显降低,而级联重显示指标却大幅提升,整个物理排序模式开始逐渐趋于稳定.     

基于改进一维卷积和双向长短期记忆神经网络的故障诊断方法

针对工业领域中故障诊断数据存在时序性和夹杂强噪声的特点导致的收敛速度慢以及诊断精度低的问题,提出了一种基于改进一维卷积和双向长短期记忆（1DCNN-BiLSTM）神经网络融合的故障诊断方法。该方法包括故障振动信号的预处理、特征的自动提取以及振动信号的分类。首先,采用自适应白噪声的完整经验模态分解（CEEMDAN）技术对原始振动信号进行预处理;其次,构建1DCNN-BiLSTM双通道模型,将处理后信号输入双向长短期记忆（BiLSTM）神经网络模型和一维卷积神经网络（1DCNN）模型两个通道,从而对信号的时序相关性特征、局部空间的非相关性特征和弱周期性规律进行充分提取;然后,针对信号夹杂强噪声的问题,对压缩与激励网络（SENet）模块进行改进并将其作用于两个不同的通道;最后,输入全连接层将双通道提取的特征进行融合并借助Softmax分类器实现对设备故障的精确识别。使用凯斯西储大学轴承数据集进行实验,结果表明改进后的SENet模块同时作用于1DCNN通道和stacked BiLSTM通道,1DCNN-BiLSTM双通道模型在保证快速收敛的情况下有最高诊断精度96.87%,优于传统单通道模型,有效提高了机械设备故障诊断效率。     

基于词汇语义特征的中文语义角色标注研究

语义角色除了受句法结构限制之外,同词汇的语义特征也有着紧密的内在联系。对于一些仅依靠句法分析不能很好解决的角色标注问题,如句法结构相同的两个成分所对应的角色分别为完全不同的施事、受事角色的情况,可以通过引入一些词汇语义特征来进行处理。该文基于北京大学的语义词典CSD,引入了配价数、主客体语义类等词汇语义特征来进行语义角色标注研究。10折交叉验证的结果显示,通过引用词汇语义特征,所有角色标注的总体评价F值比单纯使用句法特征上升了1.11%,而其中Arg0和Arg1角色标注的F值达到93.85%和90.60%,比仅使用句法特征进行角色标注分别提高了1.10%和1.26%。     

一种细粒度的汉语语义角色标注数据集的构建方法

语义角色对自然语言的语义理解和分析有着重要的作用,其自动标注技术依赖良好的语义角色标注训练数据集。目前已有的大部分语义角色数据集在语义角色的标注上都不够精确甚至粗糙,不利于语义解析和知识抽取等任务。为了满足细粒度的语义分析,该文通过对实际语料的考察,提出了一种改进的汉语语义角色分类体系。在此基础上,以只有一个中枢语义角色的语料作为研究对象,提出了一种基于半自动方法的细粒度的汉语语义角色数据集构建方法,并构建了一个实用的语义角色数据集。截至目前,该工程一共完成了9 550条汉语语句的语义角色标注,其中含有9 423个中枢语义角色,29 142个主要周边语义角色,3 745个辅助周边语义角色,172条语句被进行了双重语义角色标注,以及104条语句被进行了不确定语义事件的语义角色标注。我们采用Bi-LSTM+CRF的基线模型在构建好的汉语语义角色数据集和公开的Chinese Proposition Bank数据集进行了关于主要周边语义角色的基准实验。实验表明,这两个语义角色数据集在主要周边语义角色自动识别方面存在差异,并且为提高主要周边语义角色的识别准确率提供了依据。