基于领域知识融合的复述识别方法研究

复述识别任务，即判断两个句子是否表达相同的语义。传统的复述识别任务针对的是通用领域，模型通过理解两个句子的语义，比较句子的语义相似度从而进行复述判断。而在特定领域的复述识别任务中，模型必须结合该领域的专业知识，才能准确地理解两个句子的语义，并进一步判断出它们的区别与联系。该文针对特定领域提出了一种基于领域知识融合的复述识别方法。方法首先为句子检索专业知识，再将专业知识融入到每个句子的语义中，最后实现更准确的语义相似度判断。该文在计算机科学领域的复述识别数据集PARADE上进行了相关实验，实验结果显示，该文方法在F₁指标上达到了73.9,比基线方法提升了3.1。     

基于语义与情感的句子相似度计算方法

针对汉语语句表意灵活复杂多变的特点,提出一种基于语义与情感的句子相似度计算方法,从表意层面计算句子相似度。该方法使用哈工大LTP平台对句子进行预处理,提取词语、词性、句法依存标记与语义角色标记,将语义角色标注结果作为句中语义独立成分赋予相似度权重系数,综合句法依存关系与词法关系计算两句相同标签语义独立成分相似度得到部分相似度,加权计算部分相似度得到句子整体相似度。另外,考虑到情感与句式因子,在整体相似度的基础上对满足条件的两句计算情感减益与句式减益。实验结果表明,该方法能有效提取出句子语义独立成分,从语义层面上计算句子相似度,解决了信息遗漏与句子组成成分不一致的问题,提高了句子相似度计算的准确率与鲁棒性。     

基于语义角色标注的汉语句子相似度算法

在语义角色标注过程中,经常需要检索相似的已标注语料,以便进行参考和分析。现有方法未能充分利用动词及其支配的成分信息,无法满足语义角色标注的相似句检索需求。基于此,本文提出一种新的汉语句子相似度计算方法。该方法基于已标注好语义角色的语料资源,以动词为分析核心,通过语义角色分析、标注句型的相似匹配、标注句型间相似度计算等步骤来实现句子语义的相似度量。为达到更好的实验效果,论文还综合比较了基于知网、词向量等多种计算词语相似度的算法,通过分析与实验对比,将实验效果最好的算法应用到句子相似度计算的研究中。实验结果显示,基于语义角色标注的句子相似度计算方法相对传统方法获得了更好的测试结果。     

专利中基于语义角色的术语相似度计算方法

术语是由一个到多个单词按照某种语义角色组合而成的,传统的基于统计的相似度计算方法,将术语看作一个基本单元来进行计算,忽略了术语内部的语义角色,且对于上下文信息不丰富的术语,无法利用统计的方法取得理想的效果;基于语义资源的相似度计算方法,所涵盖的词语有限,因此不包含在语义资源中的术语便无法计算相似度。针对这些问题,该文针对专利提出了基于语义角色的术语相似度计算方法,该方法弥补了传统方法的不足。该文对术语内部的单词进行语义角色标注,通过共享最近邻方法计算单词的相似度,然后根据不同的语义角色,利用单词相似度来计算术语相似度。实验表明,该方法与传统方法相比,取得了较好的效果。     

面向问句复述识别的语义正交化匹配方法研究

问句复述识别任务旨在判断两个自然问句的语义是否等价。问句的语义理解与交互是解决该任务的关键因素。现有工作通常基于问句的语义级编码,通过融合或交互的方式,抽取问句的浅层语义特征,以此支持复述问句之间的语义计算。但是如果能找到两个问句的相同点和不同点,就可以基于这些信息得到更为准确的判断结果。基于此想法,该文提出了语义正交化匹配方法,将语义正交化引入到问句复述识别任务中。通过语义正交化方法将每个问句拆分为与另一个问句的相似表示和差异表示,这不仅丰富了问句的语义表示,而且实现了问句的多粒度特征语义融合。该文在中文数据集LCQMC和英文数据集Quora上进行实验,证明了语义正交化匹配方法在问句复述识别任务中的有效性。     

基于框架语义分析的汉语句子相似度计算

句子相似度计算在自然语言处理的许多领域中发挥着重要作用.已有的汉语句子相似度计算方法由于考虑句子的语义不全面,使得相似度计算结果不够准确,为此提出一种新的汉语句子相似度计算方法.该方法基于汉语框架网语义资源,通过多框架语义分析、框架的重要度度量、框架的相似匹配、框架间相似度计算等关键步骤来实现句子语义的相似度量.其中多框架语义分析是从框架角度对句子中的所有目标词进行识别、框架选择及框架元素标注,从而达到全面刻画句子语义的目的;在此基础上根据句子中框架的语义覆盖范围对不同框架的重要度进行区分,能够使得相似度结果更准确.在包含多目标词的句子集上的实验结果显示,基于多框架语义分析的句子相似度计算方法相对传统方法获得了更好的测试结果.     

基于Transformer和重要词识别的句子融合方法

句子融合是为多个句子生成言简意赅、符合语法的句子,可应用到自动摘要、复述生成等自然语言处理任务。目前句子融合方法已取得一定成效,但还存在重要信息缺失、语义偏离原句等问题。该文提出基于Transformer和重要词识别的方法来缓解上述问题。该方法包括两个模块,(1)重要词识别模块：利用序列标注模型识别原句重要词;(2)句子融合模块：将重要词与原句输入到Transformer框架并利用BERT进行语义表示,然后在全连接层引入基于原句和词表获得的向量作为先验知识进行句子融合。基于NLPCC2017摘要任务集构建句子融合数据集,并进行相关实验,结果表明所提方法的性能明显优于基线系统。     

基于CNN和BiLSTM的短文本相似度计算方法

文本语义相似度学习在自然语言处理领域扮演着重要角色。传统的基于统计学习的方法只能对句子的浅层语义进行建模,在深层语义上效果表现不佳。针对统计学习方法无法有效解决深层语义的问题,提出一种基于卷积神经网络(Convolutional Neural Networks,CNN)和双向长短期记忆(Bidirectional Long Short Term Memory,BiLSTM)相结合的短文本相似度计算方法,利用CNN与BiLSTM相结合的孪生神经网络结构提取句子不同粒度的特征,对句子进行深层语义编码。此外,结合attention机制将提取到的单词级别的特征组合拼接成句子的语义向量表示,最后通过匹配层来判断文本的语义相似度。实验结果表明,基于Quora Questions Pairs数据集,所提出的短文本相似度计算方法准确率为84. 58%,F1值为85. 02%,优于其他方法。     

基于局部和全局语义融合的跨语言句子语义相似度计算模型

跨语言句子语义相似度计算旨在计算不同语言句子之间的语义相似程度。近年来,前人提出了基于神经网络的跨语言句子语义相似度模型,这些模型多数使用卷积神经网络来捕获文本的局部语义信息,缺少对句子中远距离单词之间语义相关信息的获取。该文提出一种融合门控卷积神经网络和自注意力机制的神经网络结构,用于获取跨语言文本句子中的局部和全局语义相关关系,从而得到文本的综合语义表示。在SemEval-2017多个数据集上的实验结果表明,该文提出的模型能够从多个方面捕捉句子间的语义相似性,结果优于基准方法中基于纯神经网络的模型方法。     

基于小句相似度计算的专有名词识别

专有名词识别是中文信息处理领域的一个难题。句子相似度计算方法在中文信息处理领域有着广泛的应用。本文探索性地使用句子相似度计算方法来解决专有名词识别问题，并针对专有名词识别的研究背景对小句相似度计算方法做了一些改进，改进的计算方法不仅考虑了公共字符，而且还加入了语义信息和结构信息。实验证明该方法是可行的。     

基于树核函数的中文零指代项识别研究

介绍了一种基于树核函数的零指代项识别方法,并给出了具体的实现系统。为了能够裁剪出包含零指代项的句法结构树,首先对CTB的语料进行了相关的人工标注,构建了一个基准语料库;然后,提出了3种不同的裁剪策略,获得了零指代项的结构化信息,生成了零指代项分类器;最后,构建了一个基于规则的原型系统,作为研究内容的实验对象。实验结果显示,提出的基于树核函数的零指代项识别方法获得的识别率明显优于基于规则的原型系统。     

Concept generalization and fusion for abstractive sentence generation

Text summarization is either extractive or abstractive. Extractive summarization is to select the most salient pieces of information (words, phrases, and/or sentences) from a source document without adding any external information. Abstractive summarization allows an internal representation of the source document so as to produce a faithful summary of the source. In this case, external text can be inserted into the generated summary. Because of the complexity of the abstractive approach, the vast majority of work in text summarization has adopted an extractive approach.In this work, we focus on concepts fusion and generalization, i.e. where different concepts appearing in a sentence can be replaced by one concept which covers the meanings of all of them. This is one operation that can be used as part of an abstractive text summarization system. The main goal of this contribution is to enrich the research efforts on abstractive text summarization with a novel approach that allows the generalization of sentences using semantic resources. This work should be useful in intelligent systems more generally since it introduces a means to shorten sentences by producing more general (hence abstractions of the) sentences. It could be used, for instance, to display shorter texts in applications for mobile devices. It should also improve the quality of the generated text summaries by mentioning key (general) concepts. One can think of using the approach in reasoning systems where different concepts appearing in the same context are related to one another with the aim of finding a more general representation of the concepts. This could be in the context of Goal Formulation, expert systems, scenario recognition, and cognitive reasoning more generally.We present our methodology for the generalization and fusion of concepts that appear in sentences. This is achieved through (1) the detection and extraction of what we define as generalizable sentences and (2) the generation and reduction of the space of generalization versions. We introduce two approaches we have designed to select the best sentences from the space of generalization versions. Using four NLTK¹ corpora, the first approach estimates the “acceptability” of a given generalization version. The second approach is Machine Learning-based and uses contextual and specific features. The recall, precision and F1-score measures resulting from the evaluation of the concept generalization and fusion approach are presented.     

Improving sentiment analysis via sentence type classification using BiLSTM-CRF and CNN

Different types of sentences express sentiment in very different ways. Traditional sentence-level sentiment classification research focuses on one-technique-fits-all solution or only centers on one special type of sentences. In this paper, we propose a divide-and-conquer approach which first classifies sentences into different types, then performs sentiment analysis separately on sentences from each type. Specifically, we find that sentences tend to be more complex if they contain more sentiment targets. Thus, we propose to first apply a neural network based sequence model to classify opinionated sentences into three types according to the number of targets appeared in a sentence. Each group of sentences is then fed into a one-dimensional convolutional neural network separately for sentiment classification. Our approach has been evaluated on four sentiment classification datasets and compared with a wide range of baselines. Experimental results show that: (1) sentence type classification can improve the performance of sentence-level sentiment analysis; (2) the proposed approach achieves state-of-the-art results on several benchmarking datasets.     

Spatial representation of context-dependent sentences and its application to sentence generation

We propose a novel approach to embedding sentences into a high-dimensional space. Independent words in the sentence are located at points in the space, and the sentence is represented by a curve along these words. A set of functions that evaluates a sequence of words is designed over this space and is helpful for searching for words that are likely to follow the observed sentences. More generally, our approach makes sentences sequentially depending on the context. We simplify Japanese grammar and subsequently implement it as a grammar that constrains simple sentences to be generated. In this study, we performed experiments in which we created a dictionary containing 2877 different independent words and constructed a semantic space from texts in eight digital archived books, consisting of 8495 independent words and 161 paragraphs in total. It was demonstrated that several meaningful sentences can be generated that are likely to follow untrained input sentences.     

Segment-based emotion recognition from continuous Mandarin Chinese speech

Recognition of emotion in speech has recently matured to one of the key disciplines in speech analysis serving next generation human-machine interaction and communication. However, compared to automatic speech recognition, that emotion recognition from an isolated word or a phrase is inappropriate for conversation. Because a complete emotional expression may stride across several sentences, and may fetch-up on any word in dialogue. In this paper, we present a segment-based emotion recognition approach to continuous Mandarin Chinese speech. In this proposed approach, the unit for recognition is not a phrase or a sentence but an emotional expression in dialogue. To that end, the following procedures are presented: First, we evaluate the performance of several classifiers in short sentence speech emotion recognition architectures. The results of the experiments show that the WD-KNN classifier achieves the best accuracy for the 5-class emotion recognition what among the five classification techniques. We then implemented a continuous Mandarin Chinese speech emotion recognition system with an emotion radar chart which is based on WD-KNN; this system can represent the intensity of each emotion component in speech. This proposed approach shows how emotions can be recognized by speech signals, and in turn how emotional states can be visualized.     

基于注意力机制的混合神经网络关系分类方法

关系分类是自然语言处理领域的一项重要语义处理任务。传统的关系分类方法通过人工设计各类特征以及各类核函数来对句子内部2个实体之间的关系进行判断。近年来,关系分类方法的主要工作集中于通过各类神经网络获取句子的语义特征表示来进行分类,以减少手动构造各类特征。在句子中,不同关键词对关系分类任务的贡献程度是不同的,然而重要的词义有可能出现在句子中的任意位置。为此,提出了一种基于注意力的混合神经网络关系分类模型来捕获重要的语义信息,用来进行关系分类,该方法是一种端到端的方法。实验结果表明了该方法的有效性。     

基于情感关键句抽取的情感分类研究

情感分析需要解决的一个重要问题是判断一篇文档的极性是正面的还是负面的.情感分类的正确率很难达到普通文本分类的水平,因为情感分类更难更复杂.在判断文档的情感极性时,不同的句子具有不同的情感贡献度,所以,对整篇文档的关键句和细节句进行区分将有助于提高情感分类的性能.关键句通常简短且具有判别性,而细节描述句通常复杂多样且容易引入歧义.在关键句抽取算法中,考虑3类属性:情感属性、位置属性和关键词属性.为了更好地利用关键句和细节句之间的差异性和互补性,将抽取的关键句分别用于有监督的和半监督的情感分类.在有监督情感分类中,采用的是分类器融合的方法;在半监督情感分类中,采用的是Co-training算法.在8个领域上进行实验,结果表明所提方法性能明显优于Baseline,从而证明情感关键句抽取算法是有效的.     

二句式非充盈态有标复句关系类别的自动标识

复句关系类别的识别是对复句分句之间语义关系的甄别,是分析复句语义关系的关键。在现代汉语复句中,二句式和三句式复句占绝大多数,而三句式复句又可以拆分为二句式复句,所以多句式复句的研究归结起来就是二句式复句的研究。因此,本文以二句式非充盈态有标复句为研究对象,结合汉语复句的句法理论、关系标记搭配理论,以汉语复句语料库以及搜索引擎获取的复句为语料,进行二句式非充盈态有标复句关系类别的自动标识。使用本文提出的方法对二句式非充盈态有标复句关系类别进行自动识别,准确率达89%,实验结果证明了本文方法的有效性。     

关系词非充盈态复句的特征融合CNN关系识别方法

汉语文章中复句占多数,复句关系类别的识别是对复句分句之间的语义关系的甄别,是分析复句语义的关键.在关系词非充盈态复句中,部分关系词缺省,因此,不能通过关系词搭配的规则来对非充盈态复句进行类别识别,且通过人工分析分句的特征进行类别识别费时费力.本文以二句式非充盈态复句为研究对象,采用在卷积神经网络中融合关系词特征的FCNN模型,尽可能减少对语言学知识和语言规则的依赖,通过学习自动分析两个分句之间语法语义等特征,从而识别出复句的关系类别.使用本文提出的方法对复句关系类别识别准确率达97%,实验结果证明了该方法的有效性.     

英语情态句的情感倾向性分析

该文研究了英语情态句的情感倾向性分析问题。情态句是英语中的常用句型,在用户评论文本中占有很大的比例。由于其独有的语言学特点,情态句中的情感倾向很难被已有的方法有效地分析。在该文中,我们借助词性标签进行了情态句的识别,并提出了一种情态特征用于帮助情态句情感倾向性的分析。为了进一步提高分析效果,我们还给出了通过合并同义情态特征来缓解情态特征稀疏性问题的方法。实验结果表明,在二元及三元情感倾向性分类问题上,该文提出的方法在F值上较经典分类方法分别有4%及7%的提高。