超像素词包模型与SVM分类的图像标注

为了改善基于词包模型与支持向量机(SVM)分类一幅图对应一个标签的单标签分类问题,提出了一种基于超像素词包模型与SVM分类的图像标注算法.将超像素分割结果作为词包模型的基本单元,用词包模型生成的视觉词汇表示超像素区域特征,保留了图像中的同质区域,很好地利用了图像的区域特征.仿真结果表明,该方法能有效改善基于词包模型与SVM分类的单标签分类问题,且分类的准确性有所提高.     

基于双层CNN-BiGRU-CRF的事件因果关系抽取

针对现有事件因果关系抽取方法关系边界识别能力弱和文本语义表征不足的问题,提出一种基于双层CNN-BiGRU-CRF深度学习模型的事件因果关系抽取方法。将因果关系抽取任务转换为两次序列标注任务分别由两层CNN-BiGRU-CRF模型完成,上层模型用于识别事件因果关系语义角色词,其标注结果作为特征输入下层模型划分因果关系边界。在每层模型中,采用突发事件样本数据对BERT模型进行微调,形成文本表示模型以获取语义特征向量矩阵,利用卷积神经网络和双向门控循环单元分别提取局部和全局深层特征,并将上述特征在每个时间序列步进行线性加权融合以增强语义表征能力,最终基于残差思想将高区分度特征输入CRF模型解码完成序列标注任务。在中文突发事件语料集上的实验结果表明,与BiLSTM-Att-规则特征、GAN-BiGRU-CRF等因果关系抽取方法相比,该方法的事件因果关系抽取效果更好,F值达到91.81%,能有效实现事件因果关系的准确抽取。     

基于神经网络的词义消歧

在计算机语言学中,词义消歧是自然语言处理的一个重要问题,词义消歧即指根据上下文确定对象语义的过程,在词义、句义、篇章中都会出现这种词语在上下文的语义环境中有不同的含义的现象。本文提出一种基于神经网络的模型实现词义消歧,将词向量输入神经网络,通过分类的方式实现消歧的目的。实验表明,基于神经网络的词义消歧比传统的统计方法消歧具有更高的准确度。     

基于条件随机域的词性标注模型

词性标注主要面临兼类词消歧以及未知词标注的难题,传统隐马尔科夫方法不易融合新特征,而最大熵马尔科夫模型存在标注偏置等问题。本文引入条件随机域建立词性标注模型,易于融合新的特征,并能解决标注偏置的问题。此外,又引入长距离特征有效地标注复杂兼类词,以及应用后缀词与命名实体识别等方法提高未知词的标注精度。在条件随机域模型框架下,本文进一步探讨了融合模型的方法及性能。词性标注开放实验表明,条件随机域模型获得了96.10%的标注精度。     

基于ALBERT-BGRU-CRF的中文命名实体识别方法

命名实体识别是知识图谱构建、搜索引擎、推荐系统等上层自然语言处理任务的重要基础,中文命名实体识别是对一段文本序列中的专有名词或特定命名实体进行标注分类。针对现有中文命名实体识别方法无法有效提取长距离语义信息及解决一词多义的问题,提出一种基于ALBERT-双向门控循环单元（BGRU）-条件随机场（CRF）模型的中文命名实体识别方法。使用ALBERT预训练语言模型对输入文本进行词嵌入获取动态词向量,有效解决了一词多义的问题。采用BGRU提取上下文语义特征进一步理解语义,获取长距离词之间的语义特征。将拼接后的向量输入至CRF层并利用维特比算法解码,降低错误标签输出概率。最终得到实体标注信息,实现中文命名实体识别。实验结果表明,ALBERT-BGRU-CRF模型在MSRA语料库上的中文命名实体识别准确率和召回率分别达到95.16%和94.58%,同时相比于片段神经网络模型和CNN-BiLSTM-CRF模型的F1值提升了4.43和3.78个百分点。     

结合Hybrid Attention机制和BiLSTM-CRF的汉语否定语义表示及标注

阅读理解中否定是一种复杂的语言现象，其往往会反转情感或态度的极性。因此，正确分析否定语义对语篇理解具有重要意义。现有否定语义分析方法存在两个问题：第一，研究的否定词较少达不到应用目的；第二，目前汉语否定语义标注只是标注整个句子，这无法明确否定语义。针对该问题提出基于汉语框架语义知识库（Chinese FrameNet）进行否定语义角色标注方法。在框架语义学理论指导下结合汉语否定语义特征对已由FrameNet继承的否定框架重新构建；为了解决捕捉长距离信息以及句法特征问题，提出一种基于Hybrid Attention机制的BiLSTMCRF语义角色标注模型，其中，Hybrid Attention机制层将局部注意与全局注意结合准确表示句子中的否定语义，BiLSTM网络层自动学习并提取语句上下文信息，CRF层预测最优否定语义角色标签。经过比对验证，该模型能够有效提取出含有否定语义信息，在否定语义框架数据集上F1值达到89.82%。     

汉语框架语义角色的自动标注

基于山西大学自主开发的汉语框架语义知识库(CFN),将语义角色标注问题通过IOB策略转化为词序列标注问题,采用条件随机场模型,研究了汉语框架语义角色的自动标注.模型以词为基本标注单元,选择词、词性、词相对于目标词的位置、目标词及其组合为特征.针对每个特征设定若干可选的窗口,组合构成模型的各种特征模板,基于统计学中的正交表,给出一种较优模板选择方法.全部实验在选出的25个框架的6 692个例句的语料上进行.对每一个框架,分别按照其例句训练一个模型,同时进行语义角色的边界识别与分类,进行2-fold交叉验证.在给定句子中的目标词以及目标词所属的框架情况下,25个框架交叉验证的实验结果的准确率、召回率、F1-值分别达到74.16%,52.70%和61.62%.     

基于条件随机场的汉语框架语义角色自动标注

在给定目标词及其所属框架的条件下,汉语框架语义角色标注可以分为语义角色识别和角色分类两个步骤。该文将此任务通过IOB2标记策略形式化为词序列标注问题,以词为基本标注单元,采用条件随机场模型进行自动标注实验。先对语料使用清华大学的基本块自动分析器进行分析,提取出15个块层面的新特征,并将这些特征标记形式化到词序列上。以文献[20]已有的12个词层面特征以及15个块层面特征共同构成候选特征集,采用正交表方法来选择模型的最优特征模板。在与文献[20]相同的语料上,相同的3组2折交叉验证实验下,语义角色标注的总性能的F1-值比文献[20]的F1-值提高了近1%,且在显著水平0.05的t-检验下显著。实验结果表明: (1)基于词序列模型,新加入的15个块层面特征可以显著提高标注模型的性能,但这类特征主要对角色分类有显著作用,对角色识别作用不显著;(2) 基于词序列的标注模型显著好于以基本块为标注单元以及以句法成分为标注单元的标注模型。     

基于深度学习的隐性评价对象识别方法

在线评论文本具有口语化的特点,其评价词缺少对应的评价对象,影响了细粒度情感分析的效果。为此,提出一种利用深度学习自动识别评价对象的方法。设计研究领域的文本序列标注规范,在对评论语料分词后,进行评价词与评价对象的命名实体标注,得到单词序列、词性序列和标注序列。将单词序列、词性序列转为神经网络语言模型的词向量,并用循环神经网络进行训练,采用条件随机场(CRF)输出评价对象标签,得到缺失的评价对象。实验结果表明,与单一CRF模型相比,BiLSTM+CRF模型和BiGRU+CRF模型的识别效果较好,BiGRU+CRF模型的F1值最高可达0.84。     

基于Mogrifier LSTM的序列标注关系抽取方法

对文本中的上下文信息进行充分利用能够提高关系抽取性能,但当前多数基于深度学习的关系抽取方法仅捕获文本序列中的浅层特征信息,在长序列文本中易丢失上下文信息。针对传统LSTM中输入和隐藏状态之间相互独立且缺少信息交互的问题,建立一种基于Mogrifier LSTM的序列标注关系抽取模型。将由词嵌入、字符嵌入和位置嵌入构成的嵌入层结果输入Mogrifier LSTM层,该层通过在传统LSTM计算之前交替地让当前输入与之前隐藏状态进行多轮运算,以增强上下文交互能力。使用自注意力机制提高模型对重要特征的关注度,同时采用基于关系的注意力机制获取特定关系下的句子表示,从而解决实体关系重叠问题。在关系分类模块,利用Bi-LSTM进行序列标注,将句子中的每个词汇映射为相应的标签。实验结果表明,在NYT数据集上该模型的F1值达到0.841,优于HRL、OrderRL等模型,在存在SEO重叠类型的关系抽取中,F1值仍能达到0.745,所提模型能够在一定程度上解决关系重叠问题同时有效提升关系抽取性能。     

基于词元语义特征的汉语框架排歧研究

框架排歧指的是在一个给定的句子中,判断句中目标词激起的语义场景与该目标词可能激起的哪个框架一致,则将该框架分配给当前的目标词。框架排歧最重要的一个步骤就是特征选择,目前常用的方法是人工特征选择方法,但是这种方法不能有效地利用每个目标词的语义特征,而且大量实验表明,不同的目标词取得最好的结果时所用的特征模板是不同的。因此,该文为每个目标词设置一个特征模板,并提出了特征模板的自动选择算法,首先从语料中抽取特征构成特征集,然后利用打分机制,把特征集中得分最高的特征逐个加入到特征模板中,直到相邻两次的得分不再增加。该文借助汉语框架网语义资源,利用最大熵模型建模,使用自动特征选择算法选出特征模板,并进行5-fold交叉验证,平均精确率可达到84.46%。     

汉语框架自动识别中的歧义消解

该文研究了汉语框架自动识别中的歧义消解问题,即对给定句子中的目标词,基于其上下文环境,从现有的框架库中,为该目标词自动标注一个合适的框架。该文将此任务看作分类问题,使用最大熵建模,选用词、词性、基本块、依存句法树上的若干特征,并使用开窗口技术和BOW策略,以目前汉语框架语义知识库中的88个词元的2 077条例句为训练、测试语料,进行了3-fold交叉验证实验,最好结果取得69.28%的精确率(Accuracy)。     

基于时间特性的微博热门话题检测算法研究

为了提高词义消歧的质量, 对歧义词汇的上下文进行结构分析, 提出了一种利用句法知识来指导消歧过程的方法。在歧义词汇上下文的句法树中, 提取句法信息和词性信息作为消歧特征; 同时, 使用朴素贝叶斯模型作为消歧分类器。利用词义标注语料对分类器的参数进行优化, 然后对测试数据中的歧义词汇进行消歧。实验结果表明, 消歧的准确率有所提升, 达到了66. 7%。     

傣文自动分词系统的设计与实现

傣文自动分词是傣文信息处理中的基础工作,是后续进行傣文输入法开发、傣文自动机器翻译系统开发、傣文文本信息抽取等傣文信息处理的基础,受限于傣语语料库技术,傣文自然语言处理技术较为薄弱。本文首先对傣文特点进行了分析, 并在此基础上构建了傣文语料库,同时将中文分词方法应用到傣文中,结合傣文自身的特点,设计了一个基于音节序列标注的傣文分词系统,经过实验,该分词系统达到了95.58%的综合评价值。     

基于隐最大熵原理的汉语词义消歧方法

该文针对最大熵原理只能利用上下文中的显性统计特征构建语言模型的特点,提出了采用隐最大熵原理构建汉语词义消歧模型的方法。在研究了《知网》中词语与义原之间的关系之后,把从训练语料获取的文本上下文中的词语搭配信息转换为义原搭配信息,实现了基于义原搭配信息的文本隐性语义特征提取方法。在结合传统的上下文特征后,应用隐最大熵原理进行文本中多义词的词义消歧。实验结果表明,采用文中所提方法对十个多义动词进行词义消歧,正确率提高了约4%。     

基于词分布式表征的汉语框架排歧模型

框架排歧是根据句子中目标词的上下文语境,从框架库中为该目标词自动选择一个合适的框架。该任务在一定程度上解决了动词中一词多义的现象。该文基于词语及句子的分布式表征,提出了基于距离和基于词语相似度矩阵的框架排歧模型。与传统方法相比,该模型有效避免了人工选择特征,克服了特征空间维度过高、特征之间没有关联性等缺点,使框架排歧的准确率达到65.71%。并与当前最好的模型,进行显著性和一致性检验,进一步验证了词分布式表征对框架排歧任务的有效性。     

基于支持向量机分类和语义信息的中文跨文本指代消解

跨文本(实体)指代消解(CDCR)的任务就是把所有分布在不同文本但指向相同实体的词组合在一起形成一个指代链。传统的跨文本指代消解主要采用聚类方法来解决信息检索中遇到的重名消歧问题。将聚类问题转换为分类问题,并采用支持向量机(SVM)分类器来解决信息抽取中的重名消歧和多名聚合问题。该方法可有效融合实体名称的构词特征、读音特征以及文本内部和文本外部的多种语义特征。在中文跨文本指代语料库上的实验表明,同聚类方法相比,该方法在提高精度的同时,也提高了召回率。     

基于WordSmith软件的平行语料库加工处理系统设计

平行语料库加工处理过程中,传统的系统很难将当前字的标记与其它序列字符的同现特征统计出来,导致切分错误情况频频发生。为此,设计基于WordSmith软件的平行语料库加工处理系统。在硬件设计上,使用S3C6410处理器实现文本分析功能,生成标注文件,用于后续加工处理;在软件设计上,使用WordSmith软件提取出语料库中的词表,并进行削尾处理,使用6字标注集实现语料的分词处理,处理完成后,根据计算的词语相似度实现语料对齐处理。至此,系统设计完成。实验结果表明:设计的基于WordSmith软件的平行语料库加工处理系统在分词实验中没有出现切分异常的情况,并且在兼类词消歧实验中,召回率为95.6,K值为97.2,均高于传统的加工处理系统。     

FrameNet中有定的零形式识别

在FrameNet,有定的零形式识别旨在发现框架语义标注语料中需要填充的零形式框架元素,有助于篇章理解能力的提高。针对该任务,该文提出一个简单的二级流水线的有定的零形式识别方法 第一级基于规则在语义角色标注的基础上检测出语料中的零形式,第二级使用最大熵分类器预测检测出来的零形式类别, 以达到有定的零形式识别的目的。实验在SemEval-2010 Task 10的测试集中的结果显示,零形式检测的召回率和分类准确率分别为60.1%和53.5%,接近于评测给出的最好结果。