基于领域知识融合的复述识别方法研究

复述识别任务，即判断两个句子是否表达相同的语义。传统的复述识别任务针对的是通用领域，模型通过理解两个句子的语义，比较句子的语义相似度从而进行复述判断。而在特定领域的复述识别任务中，模型必须结合该领域的专业知识，才能准确地理解两个句子的语义，并进一步判断出它们的区别与联系。该文针对特定领域提出了一种基于领域知识融合的复述识别方法。方法首先为句子检索专业知识，再将专业知识融入到每个句子的语义中，最后实现更准确的语义相似度判断。该文在计算机科学领域的复述识别数据集PARADE上进行了相关实验，实验结果显示，该文方法在F₁指标上达到了73.9,比基线方法提升了3.1。     

基于语言特征自动获取的反问句识别方法

反问句是以疑问的形式表达强烈情感的修辞方式,对其有效识别可为自然语言处理中的情感分析任务提供技术支持。该文提出了一种基于语言特征自动获取的反问句识别方法。首先,利用标签注意机制,建立了一个数据驱动的特征抽取模型,用于获取与任务相关的词汇、句法结构、符号标记和话题等语言特征。其次,利用Bi-LSTM模型分别对句子和语言特征进行表示,两者的交互注意被用于获取句子的各个词和符号的注意力权重向量。该权重向量作用于句子的表示,用于构建一个强化语言特征的反问句识别模型。在中文微博数据集上的实验结果表明,提出的方法与之前的工作相比,反问句识别性能有显著提升。     

一种融合注意力机制的自适应实体识别方法

为了解决命名实体识别任务在面向新兴应用领域时,需要面对烦琐的模型重构过程和语料严重不足的问题,该文提出了一种基于注意力机制的领域自适应命名实体识别方法。首先,在通用领域数据集上构建了基于BERT(bidirectional encoder representations from transformers)预训练语言模型的双向长短时记忆条件随机场(BERT-BiLSTM-CRF)命名实体识别模型;接着,在古代汉语语料集上对原有模型进行微调的同时插入了基于注意力机制的自适应神经网络层;最后,在目标域内应用迁移学习方法训练模型进行对比实验。实验结果表明,自适应迁移学习方法减少了对目标域语料的依赖。该文提出的基于注意力机制的自适应神经网络模型相比通用域BERT-BiLSTM-CRF模型的命名实体识别结果F₁值提高了4.31%,相比古代汉语域BERT-BiLSTM-CRF模型的命名实体识别结果F₁值提高了2.46%,实验表明,该文方法能够提升源域模型迁移学习的效果,并完成跨领域命名实体识别模型的构建。     

旅游场景下的实体别名抽取联合模型

目前互联网中包含了大量的实体介绍文本,为实体知识构建提供了资源基础。别名作为实体的一种属性,是实体正式名称的不同表达,在知识图谱构建中具有重要意义。该文以景点介绍文本作为语料,结合不同别名描述方式提出别名标注策略,人工构建别名标注数据集。别名抽取可分为实体识别与关系分类两个子任务。该文提出基于深度学习的景点实体别名抽取联合模型,同时完成两个子任务。在该文构建的数据集上的实验结果表明,联合模型与流水线式处理模型相比性能有显著提高。     

基于MRC动态数据生成的命名实体识别方法

命名实体识别任务常常因训练数据类别不平衡，导致模型泛化能力较差。该文提出了一种新的机器阅读理解(Machine Reading Comprehension, MRC)模型框架，使其可以同时识别多个首尾索引以提取多个实体文段，并在此MRC模型基础上，针对数据不平衡问题，提出动态数据生成方法(Dynamic Data Generation method, DDG),使用MRC模型动态地生成用于训练和预测的数据，以辅助序列标注(Sequence Labeling)模型进行命名实体识别。该文分别在中英文数据集上进行了实验，并且在Weibo数据集上取得优于当前SOTA模型+1.93%F₁值的结果。     

基于迁移学习的讽刺检测

准确的讽刺检测对于情感分析等任务至关重要.传统的方法严重依赖于离散的人工制定的特征.现有的研究大多将讽刺检测作为一种标准的监督学习文本分类任务,但是监督学习需要有大量数据,而这些数据的收集和标注都存在困难.由于目标任务有限的数据集可能导致讽刺检测的低性能,为此将讽刺检测作为一种迁移学习任务,将讽刺标记文本的监督学习与外部分析资源的知识转移相结合.通过转移的资源知识来改进神经网络模型,以此提升对目标任务的检测性能.在公开可用的数据集上的实验结果表明,提出的基于迁移学习的讽刺检测模型优于现有较先进的讽刺检测模型.     

乌兹别克语命名实体数据集构建研究

命名实体识别(NER)是自然语言处理领域的一个重要任务,用于在文本中识别实体并将其分类为预定义的类型。乌兹别克语(简称乌语)命名实体识别在国内外相关研究中处于初级阶段,目前为止尚没有公开、通用的乌语命名实体识别数据集,导致了乌语命名实体识别的进展受到了限制。该文旨在构建一个基于乌兹别克语新闻文本的NER数据集,收集了500篇乌兹别克语新闻文章,并人工标注了其中的人名、地名和组织机构名。随后,利用实体命名识别的主流深度学习模型在该数据集上进行了实验与比较分析。实验结果表明,主流深度学习模型的F₁值均在90%以上,证明了该文构建的数据集的有效性和可用性。该文旨在推动乌语命名实体识别领域的研究发展,为该领域提供数据集和基线模型,以扩展相关研究。     

面向社交媒体评论的上下文语境讽刺检测模型

讽刺是日常交际中一种常见的语用现象,能够丰富说话者的观点并间接地表达说话者的深层含义。讽刺检测任务的研究目标是挖掘目标语句的讽刺倾向。针对讽刺语境表达变化多样以及不同用户、不同主题下的讽刺含义各不相同等特征,构建融合用户嵌入与论坛主题嵌入的上下文语境讽刺检测模型。该模型借助ParagraphVector方法的序列学习能力对用户评论文档与论坛主题文档进行编码,从而获取目标分类句的用户讽刺特征与主题特征,并利用一个双向门控循环单元神经网络得到目标句的语句编码。在标准讽刺检测数据集上进行的实验结果表明,与传统Bag-of-Words、CNN等模型相比,该模型能够有效提取语句的上下文语境信息,具有较高的讽刺检测分类准确率。     

基于多特征融合的混合神经网络模型讽刺语用判别

在社交媒体中,存在大量的反讽和讽刺等语言现象,这些语言现象往往表征了一定的情感倾向性。然而这些特殊的语言现象所表达的语义倾向性,通常与其浅层字面含义相去甚远,因此加大了社交媒体中文本情感分析的难度。鉴于此,该文主要研究中文社交媒体中的讽刺语用识别任务,构建了一个覆盖反讽、讽刺两种语言现象的语料库。基于此挖掘反讽和讽刺的语言特点,该文通过对比一些有效领域特征,验证了在反讽和讽刺文本的识别中,其结构和语义等深层语义特征的重要性。同时,该文提出了一种有效的多特征融合的混合神经网络判别模型,融合了卷积神经网络与LSTM序列神经网络模型,通过深层模型学习深层语义特征和深层结构特征,该模型获得了较好的识别精度,优于传统的单一的神经网络模型和BOW(Bag-of-Words)模型。     

融合多相似度注意的神经网络旅游问题识别方法

中文旅游问题匹配的目标是发现两个相似的问题，然而，在自然语言字面表达中存在多样性，且一个旅游问题通常又包括多个方面信息。因此，采用单一的相似度计算方法将导致信息获取不够完整、有用信息丢失、问题匹配不准确等问题。该文探讨利用答案作为辅助信息，通过多种句子相似度函数，抽取问题中不同方面的信息，生成不同的句子相似度向量表示，以增强句子间的关系。在此基础上，设计一个GRU融合层，使不同方面的信息进行融合，构建一个融合多种句子相似度函数的注意力网络的相似旅游问题识别模型。在旅游问答数据集的实验表明，该文方法提升了相似旅游问题识别任务的性能。     

一种话题敏感的抽取式多文档摘要方法

抽取式摘要的核心问题在于合理地建模句子,正确地判断句子重要性。该文提出一种计算句子话题重要性的方法,通过分析句子与话题的语义关系,判断句子是否描述话题的重要信息。针对自动摘要任务缺乏参考摘要作为训练数据的问题,该文提出一种基于排序学习的半监督训练框架,利用大规模未标注新闻语料训练模型。在DUC2004多文档摘要任务上的实验结果表明,该文提出的话题重要性特征能够作为传统启发式特征的有效补充,改进摘要质量。     

用于社交媒体的中文命名实体识别

社交领域的中文命名实体识别(NER)是自然语言处理(NLP)中一项重要的基础任务。目前基于词粒度信息或者外部知识的中文命名实体识别方法,都会受到中文分词(CWS)和溢出词(OOV)等问题的影响。因此,该文提出了一种基于字符的使用位置编码和多种注意力的对抗学习模型。联合使用位置编码和多头注意力能够更好地捕获字序间的依赖关系,而使用空间注意力的判别器则能改善对外部知识的提取效果。该文模型分别在Weibo2015 数据集和Weibo2017数据集上进行了实验,实验结果中的F₁值分别为56.79%和60.62%。与多个基线模型相比,该文提出的模型性能更优。     

融合词语场景的隐喻情绪识别方法

从认知学角度，隐喻情绪由句子中“源语义场景-目标语义场景”词对的情绪场景融合而成。鉴于此特点，该文提出了融合词语场景的隐喻情绪识别模型。该模型借助情绪词典及大规模语料库，构建了词语情绪分布表示获取算法，用于捕获句子中映射词对的情绪分布表示。在此基础上，利用注意力机制与最大池化策略，编码句子的多情绪场景融合表示，以刻画句子情绪形成的诱因。最后，设计情绪分类器，联合句子情绪及上下文表示作为输入，多角度地构建句子的语义，以提升隐喻情绪识别性能。在隐喻情绪数据集上进行实验，与基线模型和最好评测模型进行对比，该文提出的模型在宏F₁值上提升了5.74%与2.73%。另外，定性的实例分析解释了词语场景对隐喻情绪识别的作用。     

基于语义相关性的命名实体识别算法研究

高质量的命名实体识别算法往往依赖海量的高质量标注数据来帮助实体识别模型的训练,然而大规模标注数据的获取存在诸多困难,如何通过文本信息自身的相关性来提高实体识别的准确性受到越来越多科研工作者的关注。该文有效地利用文本信息的语义相关性引入“实体联合器”概念,通过其与实体的高相关性,提高实体的数字化表征能力,进而实现对实体的有效识别。基于此,首先提出了一种实体联合器识别模型,通过文本关联结构信息来实现非标签文本的实体联合器识别;之后,采用经典的BiLSTM网络模型,提取句子的语义表征,并利用特征融合机制实现实体联合器与句子特征融合;由于实体联合器与实体有较强的关联性,又提出了针对实体表征及句子整体表征的约束机制,确保实体联合器在特征学习过程中的指导作用,精准高效地识别文本数据中的实体。通过在公开的数据集CoNLL03、NCBI Disease上对该文算法进行测试,相关实验结果证明了该文所提出算法的优越性和合理性。     

基于注意力机制的多模态幽默识别

近年来,幽默识别逐渐成为自然语言处理领域的热点研究之一。已有的研究多聚焦于文本上的幽默识别,在多模态数据上开展此任务的研究相对较少,现有方法在学习模态间交互信息上存在不足。该文提出了基于注意力机制的模态融合模型,首先对单模态上下文进行独立编码,得到单一模态的特征向量;然后将注意力机制作用于两种模态的特征序列,使用层级注意力结构捕获多模态信息在段落上下文中的关联与交互。该文在UR-FUNNY公开数据集上进行了实验,相比之前最优结果在精确率上提升了1.37%。实验表明,该文提出的模型能很好地对多模态上下文进行建模,引入多模态交互信息和段落上下文信息可提高幽默识别的性能。     

基于脑电网络图特征的情绪识别研究

针对情绪脑电信号提出一种网络图特征学习与情绪识别算法。首先,利用情绪脑电数据构建对应的情绪脑电网络;其次,在由情绪脑电网络尺度定义的高维空间构建脑电网络样本间的局部邻接关系图以挖掘样本集的分布特性,进而得到样本集的图拉普拉斯矩阵;在此基础上,进一步利用谱图理论对情绪脑电网络的最优低维空间映射进行求解,在保留原始样本局部邻接关系的前提下实现对情绪脑电网络的降维与重新表达,并将每个情绪脑电网络样本表示成1组脑电网络特征集;最后利用提取到的情绪脑电网络特征集,结合支持向量机分类学习算法,针对情绪识别任务进行识别模型的训练和学习,实现对情绪状态的准确解码与识别。在国际公开情绪脑电数据集的实验结果表明：相较于传统情绪识别算法,本文所提方法能有效提升情绪识别准确率,在基于公开数据集的多类情绪识别任务中分别达到91.85%（SEED数据集, 3类）、79.36%（MAHNOB-HCI数据集,3类）和79%（DEAP数据集,4类）的稳健识别效果。     

结合注意力机制与图卷积网络的汉语复句关系识别

复句的关系识别是为了区分句子语义关系的类别,是自然语言处理(NLP)中必不可少的基础研究任务。现有研究无法使机器在表层判别缺少显式句间连接词句子的语义关系类型。该文将Attention机制与图卷积神经网络(GCN)相结合应用到汉语复句语义关系识别中,通过BERT预训练模型获取单句词向量,输入到Bi-LSTM获取句子位置表示,经Attention机制得到各位置间权重构建图网络以捕获句子间的语义信息,通过图卷积抽取深层的关联信息。该文的方法对缺少显式句间连接词句子的关系识别达到了较好的识别效果,为进一步研究计算机自动分析、识别处理复句的基本方法奠定基础。实验结果表明,在汉语复句语料库(CCCS)和汉语篇章树库(CDTB)数据集上,与先前最好的模型相比,其准确率分别为77.3%和75.7%,提升约1.6%,宏平均F₁值分别为76.2%和74.4%,提升约2.1%,说明了该文方法的有效性。     

面向作文自动评分的优美句识别

语言优美是学生写作能力中重要的一部分。该文提出一个面向作文自动评分的作文优美句识别任务,主要识别中学生中文作文中的优美句。相比传统文本分类任务,优美句识别更加难以用特征工程的方式解决。因此,该文提出一种基于卷积神经网络(CNN)和双向长短时记忆(BiLSTM)网络的混合神经网络结构进行优美句识别,并和CNN、BiLSTM网络进行了对比。实验证明,混合神经网络的准确率最高,达到89.23%,F₁值与BiLSTM相当,达到75.39%。此外,该文将优美句子特征用于作文自动评分任务,可使计算机评分和人工评分的大分差比例下降21.41%。     

基于依存句法和图注意力网络的句子匹配

句子匹配是自然语言处理的一项基本任务,可应用于自然语言推理、释义识别等多个场景。目前,主流的模型大多采用注意力机制来实现两个句子之间单词或短语的对齐。然而,这些模型通常忽略了句子的内在结构,没有考虑文本单元之间的依存关系。针对此问题,提出了一种基于依存句法和图注意力网络的匹配模型。设计两种建模方式将句子对建模为语义图。使用图注意力网络对构建的图进行编码以进行句子匹配。实验结果表明,提出的模型可以较好地学习图结构,在自然语言推理数据集SNLI和释义识别数据集Quora上分别达到了88.7%和88.9%的准确率。     

基于主题提示的电力命名实体识别

传统的命名实体识别方法可以凭借充足的监督数据实现较好的识别效果.而在针对电力文本的命名实体识别中,由于对专业知识的依赖,往往很难获取足够的监督数据,即存在少样本场景.同时,由于电力行业的精确性要求,相比于一般的开放领域任务,电力领域的实体类型更多,因此难度更大.针对这些挑战,本文提出了一个基于主题提示的命名实体识别方法.该方法将每个实体类型视为一个主题,并使用主题模型从训练语料中获取与类型相关的主题词.通过枚举实体跨度、实体类型、主题词以填充模板并构建提示句.使用生成式预训练语言模型对提示句排序,最终识别出实体与对应类型标签.实验结果表明,在中文电力命名实体识别数据集上,相比于几种传统命名实体方法,基于主题提示的方法取得了更好的效果.