基于最近邻算法的短语结构语法关系判定方法

提出了一种基于词义相似度和最近邻算法的"N1+N2"结构短语语法关系判定方法.首先从"N1+N2"结构中两对名词间的语义相似度定义了短语结构间的相似度,在此基础上给出最近邻分类算法所需要的短语结构间距离的概念;然后建设了一个标注了词语语义类别和短语语法关系的"N1+N2"结构的样本语料库,建立了一种能够标注"N1+N2"结构关系的最近邻分类算法;最后用测试集中计算机标注结果与人工标注结果比较来测试算法效果.实验结果显示,基于论文所提算法的计算机自动标注结果正确率达到97.55％,该结果证明了论文设计算法的有效性.     

N1+N2结构语法关系判定的SVM算法

短语结构的语法关系判定是自然语言处理领域的关键问题之一,应用支持向量机进行分类判定,其核心问题是如何将汉语短语结构转换为适合支持向量机使用的数值向量的形式。在自建N1+N2结构语料库的基础上,利用《同义词词林》对N1+N2结构内部两个名词进行语义编码,并将编码转换为数值向量,运用支持向量机的方法判定该结构的语法关系,按照训练集与测试集9∶1的比例使用随机交叉验证的方法进行检验,平均正确率达到86.2%。实验结果证明了所提算法的有效性,也证明了运用人工智能方法处理自然语言处理领域的问题势在必行。     

一种基于搭配的中文词汇语义相似度计算方法

词汇间的语义相似度计算在自然语言处理相关的许多应用中有基础作用。该文提出了一种新的计算方法,具有高效实用、准确率较高的特点。该方法从传统的分布相似度假设“相似的词汇出现在相似的上下文中”出发,提出不再采用词汇在句子中的邻接词,而是采用词汇在二词名词短语中的搭配词作为其上下文,将更能体现词汇的语义特征,可取得更好的计算结果。在自动构建大规模二词名词短语的基础上,首先基于tf-idf构造直接和间接搭配词向量,然后通过计算搭配词向量间的余弦距离得到词汇间的语义相似度。为了便于与相关方法比较,构建了基于人工评分的中文词汇语义相似度基准测试集,在该测试集中的名、动、形容词中,方法分别得到了0.703、0.509、0.700的相关系数,及100%的覆盖率。     

基于统计和词典方法相结合的韩汉双语语料库名词短语对齐

韩汉双语语料库短语对齐对于基于实例的韩汉机器翻译系统具有重要意义,该文从韩国语名词短语结构特点出发,在基于统计和基于词典的词对齐方法进行试验分析的基础上,提出了基于词对齐位置信息的韩汉双语语料库名词短语对齐方法。该方法通过基于统计的方法获得词对齐位置信息,在此基础上利用基于词典方法的相似度计算进行词对齐校正;根据以上结果,该文通过韩国语名词短语左右边界规则抽取名词短语及其汉语译文,利用关联度度量方法进行过滤,实现名词短语对齐。实验结果表明,在较大规模语料库情况下,该方法取得了较好的短语对齐结果。     

基于HowNet的信息量计算语义相似度算法

语义相似度计算的应用范围广泛,从心理学、语言学、认知科学到人工智能都有其应用.提出了仅依赖于知网(HowNet)的信息量计算来估计两个词汇间的语义相似度.经实验证明,相比于传统的基于词网(WordNet)和大型语料库的计算信息量来估计语义相似度的算法,本文的算法更容易计算,并更接近于人工的语义相似度判断.     

基于最大熵模型的英文名词短语指代消解

提出了一种新颖的基于语料库的英文名词短语指代消解算法,该算法不仅能解决传统的代词和名词／名词短语间的指代问题,还能解决名词短语间的指代问题。同时,利用最大熵模型,可以有效地综合各种互不相关的特征,算法在MUC7公开测试语料上F值达到了60．2％,极为接近文献记载的该语料库上F值的最优结果61．8％。     

基于动词的汉语复合名词短语释义研究

复合名词短语的语义解释的主要目的是恢复修饰语和中心词之间隐含的语义关系。该文针对汉语复合名词短语的语义解释,首次采用动态的策略,提出了“基于动词的短语释义”的方法,利用语料库及Web数据,自动获取复合名词短语的释义短语,实验结果表明,该方法不仅可以为复合名词短语提供多种可能的语义解释,而且能够反应相似的复合名词短语之间细微的语义差别。此外,该文的研究结果可以服务于问答系统、信息检索、词典编纂等多个应用领域。     

融合边界信息的越南语名词短语深度学习识别方法

通过对语料库中越南语名词短语的邻接词与邻接词性进行统计调查,发现越南语名词短语蕴含着丰富的边界信息,这对越南语名词短语识别具有重要价值。提出两种将越南语名词短语边界信息融入深度学习模型的方法。一是计算每个词与预训练名词短语(Noun Phrase,NP)向量的相似度得到边界相似度向量(Border Similarity Vector,BS Vector);二是计算每个词与每个预训练标签类别向量的相似度得到(Label Similarity Vector,LS Vector)。实验结果表明,在加入BS Vector后,模型的整体标注准确率提升了0.43%,在加入LS Vector后,模型的整体标注准确率提升了0.6%。该方法不仅对越南语名词短语识别任务具有提升作用,对其他语种、其他领域的识别任务也有很大的参考和借鉴意义。     

韩国语名词短语结构特征分析及自动提取

名词短语作为语言中一种普遍的语法现象,在自然语言处理领域日益受到了研究人员的关注.目前,对其研究范围主要集中在边界识别、语法分析、语义分析及其分类等方面.该文通过研究分析韩国语书面语名词短语的左右边界规则,从大规模标注语料库中自动提取出名词短语.实验结果表明:语料中的高频名词短语相对集中于8个类型之中.根据提取结果分别建立不同类型的名词短语库,为进一步建立双语平行短语语料库打下基础,以便于以后的机器翻译、信息检索等自然语言信息处理工作.     

搜索引擎日志中“N+V+N”、“V+N+N”型短语识别

短语识别是进行短语分析的前期准备工作。针对搜索引擎日志中“N+V+N”、“V+N+N”型短语特点,采用最大熵方法,按词信息、词性信息、音节数及前位标记信息提取特征构建训练集,得到最大熵方法进行短语识别的机器学习模型。实验结果显示,利用最大熵方法对两种短语进行开放性测试,两种短语的识别F值分别达到85.78%和76.47%,取得了较好的自动识别效果,在半开放性测试中,其识别结果更佳。     

中文基本复合名词短语语义关系体系及知识库构建

名词短语一直是中外语言学领域的重要研究对象,近年来在自然语言处理领域也受到了研究者的持续关注。英文方面,已建立了一定规模的名词短语语义关系知识库。但迄今为止,尚未建立相应或更大规模的描述名词短语语义关系的中文资源。该文借鉴国内外诸多学者对名词短语语义分类的研究成果,对大规模真实语料中的基本复合名词短语实例进行试标注与分析,建立了中文基本复合名词短语语义关系体系及相应句法语义知识库,该库能够为中文基本复合名词短语句法语义的研究提供基础数据资源。目前该库共含有18 281条高频基本复合名词短语,每条短语均标注了语义关系、短语结构及是否指称实体等信息,每条短语包含的两个名词还分别标注了语义类信息。语义类信息基于北京大学《现代汉语语义词典》。基于该知识库,该文还做了基本复合名词短语句法语义的初步统计与分析。     

搜索引擎日志中“N+V”型主谓短语研究

“N+V”型结构能够构成定中偏正、状中偏正和主谓三种不同结构的短语。基于搜狗日志语料,对“N+V”型主谓短语从其各组成要素特点、音节特点和句法功能三方面进行研究,着重从语义方面对“V”进行阐述。文中,还对实验数据进行深入的分析和实证,针对“N+V”型短语的句法结构歧义问题,提供了解决方案,这为提高中文搜索引擎的检索质量和搜索引擎用短语词典构建提供了重要的理论依据。     

汉语基本复合名词短语语义关系知识库构建与识别

汉语复合名词短语因其使用范围广泛、结构独特、内部语义复杂的特点,一直是语言学分析和中文信息处理领域的重要研究对象。国内关于复合名词短语的语言资源极其匮乏,且现有知识库只研究名名复合形式的短语,包含动词的复合名词短语的知识库构建仍处于空白阶段,同时现有的复合名词短语知识库大部分脱离了语境,没有句子级别的信息。针对这一现状,该文从多个领域搜集语料,建立了一套新的语义关系体系,标注构建了一个具有相当规模的带有句子信息的基本复合名词语义关系知识库。该库的标注重点是标注句子中基本复合名词短语的边界以及短语内部成分之间的语义关系,总共收录27 007条句子。该文对标注后的知识库做了详细的计量统计分析。最后基于标注得到的知识库,使用基线模型对基本复合名词短语进行了自动定界和语义分类实验,并对实验结果和未来可能的改进方向做了总结分析。     

基于整句相似性计算的韵律短语预测模型

语音合成系统中，韵律短语的预测对合成语音的自然度有重要影响．为了突破主流的基于决策树预测方法的若干缺陷，提出了基于整句相似性计算的韵律短语预测模型．通过对1000个句子的测试，该方法在可接受的语料手工标注工作量的范围内，超过了传统决策树的方法．     

中文核心框架元素标注规则的获取和实验——以认知语义领域为例

计算机语义分析是当前制约中文信息检索、信息抽取与机器翻译等应用技术发展的瓶颈问题,而语义角色标注是语义分析的一个主要任务.即以框架语义理论为基础,以汉语框架语义知识库的核心框架元素为语义角色标注的范畴知识体系,以认知语义领域为研究实例,以真实语料为依据,根据短语类型、句法功能以及短语内、外部其他句法语义特征,获取中文语...     

基于句法结构约束的模糊限制信息范围检测

模糊限制信息检测用于区分模糊限制信息与事实信息,提高抽取信息的真实性和可靠性。模糊限制信息范围的界定具有依赖于语义和句法结构的特点,是模糊限制信息检测的一个难点。该文提出一种基于句法结构约束的模糊限制信息范围检测方法,基于依存结构树和短语结构树构建决策树,获取句法结构约束集,用于产生句法结构约束特征,并加入到条件随机域模型中进行模糊限制信息范围检测。实验采用CoNLL-2010共享任务数据集,在标准的模糊限制语标注语料上,获得了70.28%的F值,比采用普通的句法结构特征提高了4.22%。     

Semantic Role Labeling of Chinese Nominal Predicates with Dependency-Driven Constituent Parse Tree Structure

This paper explores a tree kernel based method for semantic role labeling （SRL） of Chinese nominal predicates via a convolution tree kernel. In particular, a new parse tree representation structure, called dependency-driven constituent parse tree （D-CPT）, is proposed to combine the advantages of both constituent and dependence parse trees. This is achieved by directly representing various kinds of dependency relations in a CPT-style structure, which employs dependency relation types instead of phrase labels in CPT （Constituent Parse Tree）. In this way, D-CPT not only keeps the dependency relationship information in the dependency parse tree （DPT） structure but also retains the basic hierarchical structure of CPT style. Moreover, several schemes are designed to extract various kinds of necessary information, such as the shortest path between the nominal predicate and the argument candidate, the support verb of the nominal predicate and the head argument modified by the argument candidate, from D-CPT. This largely reduces the noisy information inherent in D-CPT. Finally, a convolution tree kernel is employed to compute the similarity between two parse trees. Besides, we also implement a feature-based method based on D-CPT. Evaluation on Chinese NomBank corpus shows that our tree kernel based method on D-CPT performs significantly better than other tree kernel-based ones and achieves comparable performance with the state-of-the-art feature-based ones. This indicates the effectiveness of the novel D-CPT structure in representing various kinds of dependency relations in a CPT-style structure and our tree kernel based method in exploring the novel D-CPT structure. This also illustrates that the kernel-based methods are competitive and they are complementary with the feature- based methods on SRL.     

基于生成词库论和论元结构理论的语义知识体系研究

该文讨论如何构造合适的汉语语义描写体系并建设相应的语义知识库,从而为文本语义的计算机自动分析提供可靠的资源。文章提出的技术路线是 在生成词库论和论元结构理论的指导下,分别描写名词的物性结构和动词、形容词的论元结构(包括物性角色或论元角色集合及其句法配置格式集合),标定名词、动词和形容词的情感评价色彩,揭示相关名词、动词和形容词的物性角色和论元角色之间的关联和推导关系,从而形成比较完整的关于名词、动词和形容词的实体指称、概念关系和情感评价等多层面的语义知识。最后,还展示了这种多层面的语义知识在语义自动计算中的运用案例。     

THE DESIGN OF A STATISTICAL ALGORITHM FOR RESOLVING STRUCTURAL AMBIGUITY IN "V NP1 usde NP0"

The existence of structural ambiguity in modifying clauses renders noun phrase (NP) extraction from running Chinese texts complicated. It is shown from previous experiments that nearly 33% of the errors in an NP extractor were actually caused by the use of clause modifiers. For example, consider the sequence "V + NP₁+      ( of ) + NP₀." It can be interpreted as two alternatives, a verb phrase (i.e., [V[NP₁+     + NP₀]_NP]_VP) or a noun phrase (i.e., [[V NP₁]_VP+     + NP₀]_NP). To resolve this ambiguity, syntactical, contextual, and semantics-based approaches are investigated in this article. The conclusion is that the problem can be overcome only when the semantic knowledge about words is adopted. Therefore, a structural disambiguation algorithm based on lexical association is proposed. The algorithm uses the semantic class relation between a word pair derived from a standard Chinese thesaurus,     , to work out whether a noun phrase or a verb phrase has a stronger lexical association within the collocation. This can, in turn, determine the intended phrase structure. With the proposed algorithm, the best accuracy and coverage are 79% and 100%, respectively. The experiment also shows that the backed-off model is more effective for this purpose. With this disambiguation algorithm, parsing performance can be significantly improved.