评价对象、短语、搭配关系抽取及倾向性判断

观点挖掘近年来已经成为自然语言处理领域的热点问题,该文对观点挖掘的几项关键技术—评价对象、评价短语、主观性关系抽取、倾向性判断进行了研究。在评价对象抽取阶段,通过统计得到所有的名词和名词短语作为候选,然后结合词频,词共现等特征进行过滤得到最终的评价对象;在评价短语抽取阶段,使用基于观点词词典的匹配方法,并把观点词前面的副词也作为评价短语的一部分;在搭配关系抽取阶段,目的是抽取评价对象和评价短语的关联关系,采取的方法是将在句中距离评级对象最近的评价短语作为该短语的评级短语;在情感倾向分析阶段,通过将情感句进行分类,然后制定规则进行无监督的倾向性判断。     

基于短语模式的文本情感分类研究

文本倾向识别的研究在诸多领域有着广阔的发展前景,短语模式的文本情感分类是问答系统、信息安全、网上调查等研究的基础.本文从语言学角度出发,首先,分析词典中对词语义定义的特点,采用"情感倾向定义"权重优先的计算方法获得短语中各词的语义倾向度,然后分析短语中各词组合方式的特点,提出中心词概念来对各词的倾向性进行计算来识别短语的倾向性和倾向强度.实验表明,本文的方法对短语的倾向分类识别效果较好,可为更大粒度的文本倾向识别打好基础,具有一定的实用价值.     

高斯核模糊粗糙集中对象集变化时近似集增量更新方法研究

随着互联网技术的飞速发展,网络评论信息呈现爆炸式的增长,观点挖掘技术应运而生。评价对象与评价短语的抽取是观点挖掘中一项重要的任务。针对现有的基于模板方法存在人工参与过多、模板覆盖率不足、不能识别跨度较远的评价对象与评价短语等问题,提出了一种自动提取模板、利用概率进行评价搭配识别并能识别跨度较远的评价对象与评价短语的方法。通过引入同义词计算情感词的情感强度,综合考虑情感词与修饰词影响,完成倾向性判断。利用COAE2011的语料对上述方法进行了实验评价,并与两个baseline方法进行比较,取得了较好的实验结果。     

基于统计和词典方法相结合的韩汉双语语料库名词短语对齐

韩汉双语语料库短语对齐对于基于实例的韩汉机器翻译系统具有重要意义,该文从韩国语名词短语结构特点出发,在基于统计和基于词典的词对齐方法进行试验分析的基础上,提出了基于词对齐位置信息的韩汉双语语料库名词短语对齐方法。该方法通过基于统计的方法获得词对齐位置信息,在此基础上利用基于词典方法的相似度计算进行词对齐校正;根据以上结果,该文通过韩国语名词短语左右边界规则抽取名词短语及其汉语译文,利用关联度度量方法进行过滤,实现名词短语对齐。实验结果表明,在较大规模语料库情况下,该方法取得了较好的短语对齐结果。     

搜索引擎日志中“NV”型短语分析

句法分析是自然语言处理中的一个难点和重点.基于搜狗日志语料,提出一种用层叠条件随机场模型实现搜索引擎日志中“N+V”型短语分析的方法.将短语分析分为两个阶段:“N+V”型短语内部结构分析和外部功能分析.这为“N+N+V”型短语和“N+V+V”型短语等外显型歧义结构的消歧提供了解决方法,从而为搜索引擎用短语词典构建提供基础研究服务.     

一种扩展式CRFs的短语情感倾向性分析方法研究

短语情感倾向性分析是文本情感分析的重要研究内容。该文将短语情感倾向性分析问题视作序列标注问题,利用条件随机场模型实现短语的情感倾向性判断。条件随机场模型是利用序列特征处理序列标注问题的经典方法,然而现有条件随机场模型无法将词语的情感倾向性分析与短语的情感倾向性分析相结合,从而造成准确率不高。因此,该文提出一种扩展式条件随机场模型YACRFs。该模型在链式条件随机场模型的基础上进行扩充,将词语情感倾向性分析与短语情感倾向性分析有效地结合起来,引入了情感词汇、短语规则模板以及词性等特征。与传统的规则方法和统计分类方法进行对比实验,该文提出方法取得了最高准确率81.07%。进一步地,在应用于句子情感倾向性分析的实验中得到了94.30%的准确率。实验结果表明,该文所提出的YACRFs模型能够显著提高短语情感倾向性判断结果的准确率。     

汉英双语语料库中名词短语的自动对应

本文提出了一种在汉英双语语料库句子对齐的基础上,自动进行汉英名词短语划分和对应的方法。该方法的主要特点在于在无需严格识别汉语名词短语的情况下,对高频短语和低频短语分别进行处理,对于高频短语,利用英语短语和汉语词在双语语料库中的关联信息,采用一种迭代重估算法进行双语短语的对应;对于低频短语,根据双语词典中源词和译词之间的对应信息,结合一套人工编写的句法规则进行双语低频短语的对应。该方法能够从整体上把握对应信息,并具有很高的覆盖率。     

搜索引擎日志中“N+V”和“N1+N2+V”型短语自动识别

正确识别搜索引擎日志中的短语,对搜索引擎用短语词典构建和提高搜索引擎性能具有重要的作用。该文提出一种应用条件随机场实现对搜狗日志语料中“N+V”和“N₁+N₂+V”型短语自动识别的方法。模型的特征集包含词、词性和词语长度。由人工设计候选特征集,从中选择有效的特征构成特征模板,训练生成用于短语自动识别的条件随机场模型。封闭测试和开放测试的实验结果表明,模型能够实现对这两种短语的有效识别。     

基于领域本体、情感词典的商品评论倾向性分析

文本倾向性分析已成为当前自然语言处理领域的研究热点,其研究成果具有极高的应用价值。针对网络在线中文评论的特点,基于领域本体与情感词典对商品评论倾向性进行分析。其主要思想是首先构建面向商品论坛的领域本体;其次利用情感词典与上下文极性算法计算情感词极性;再次通过将本体与SBV算法相结合,实现评价对象和评价词的二元组抽取;最后完成句子的倾向性分析。实验结果表明,有效提高了句子级倾向性分析的准确率。     

搜索引擎日志中“N+V”型主谓短语研究

“N+V”型结构能够构成定中偏正、状中偏正和主谓三种不同结构的短语。基于搜狗日志语料,对“N+V”型主谓短语从其各组成要素特点、音节特点和句法功能三方面进行研究,着重从语义方面对“V”进行阐述。文中,还对实验数据进行深入的分析和实证,针对“N+V”型短语的句法结构歧义问题,提供了解决方案,这为提高中文搜索引擎的检索质量和搜索引擎用短语词典构建提供了重要的理论依据。     

蒙古语固定短语识别算法的设计与实现

固定短语的自动识别和标注是进行蒙古语文本处理的基础和前提条件。词类标注、短语标注、句法分析、语义分类及语义角色标注等基础研究和机器翻译、文本校对等应用系统的开发均以正确标注固定短语的文本为处理对象。该文在“蒙古语固定短语语法信息词典”的基础上采用基于有限状态自动机和规则的方法设计实现了固定短语识别和标注算法。经实验,其识别率已达到90%以上,在处理中,词均用时与基于字符串匹配的算法相比提高较多,达到0.005 0ms。     

依存树到串模型中引入双语短语的三种方法

依存树到串模型使用基于HDR片段的翻译规则。HDR片段是由中心词及其所有依存节点组成的树片段。这种翻译规则可以较好地捕捉语言中的句子模式和短语模式等组合现象,但在捕捉非组合现象(如习惯用语或固定搭配)方面存在不足。这类非组合现象易于由短语捕捉。为了更好地改善依存树到串模型的性能,本文提出了三种引入双语短语的方法,分别为引入句法短语、引入泛化句法短语及引入非句法短语。实验结果表明,同时使用句法短语、泛化句法短语及非句法短语时,可以将依存树到串模型的性能显著提高约1.0 BLEU值。     

Analysing performance in a word prediction system with multiple prediction methods

In this article, we investigate the performance of a hybrid prediction system with a phrase prediction utility in English word prediction from two viewpoints. From the application user’s point of view, measures of effort savings are important in word prediction. Global performance measures such as the average percentage of keystroke or character savings, however, hide rather than display the details of the functioning of the prediction system as a whole. In the present study, we analysed in detail the performance of a prediction system with a phrase prediction utility along with single word prediction. Our preliminary results with a corpus of 383 lexical bundles show that, from a technological viewpoint, the following three parameters affect the practical utility of the phrase prediction method in a hybrid prediction system: (1) cost of selecting an appropriate prediction mode for single word prediction and phrase prediction; (2) token frequency of phrases in the text predicted, and (3) coverage of the phrasal lexicon. We found that all three affect the phrase prediction performance in different proportions. When the percent of ambiguous search keys finding both phrases and single words is 20%, phrase frequency 35%, and coverage of the phrasal lexicon 98%, the character savings percentage for the whole text will be improved by 6% points under optimal conditions. The system is practically useful as long as an appropriate prediction mode can be selected automatically or the cost of disambiguation of a prediction mode is not too high.     

Case systems for natural language

In many languages (e.g. Latin, Greek, Russian, Turkish, German) the relationship of a noun phrase to the rest of a sentence is indicated by altered forms of the noun. The possible relationships are called (surface) “cases”. Because (1) it is difficult to specify semantic-free selection rules for the cases, and (2) related phenomena based on prepositions or word order appear in apparently case-less languages, many have argued that studies of cases should focus on meaning, i.e. on “deep cases”.Deep cases bear a close relationship to the modifiers of a concept. In fact, one could consider a deep case to be a special, or distinguishing, modifier. Several criteria for recognizing deep cases are considered here in the context of the problem of describing an event. Unfortunately, none of the criteria serves as a completely adequate decision procedure. A notion based on the context-dependent “importance” of a relation appears as useful as any rule for selecting deep cases.A representative sample of proposed case systems is examined. Issues such as surface versus deep versus conceptual levels of cases, and the efficiency of the representations implicit in a case system are also discussed.     

最长评价短语及其情感评价搭配抽取方法

提出一种统计和规则相结合的最 长评价短语自动识别算法。将评价短语的识别问题转化为序列标注问题,结合条件随机场模型进行简单结构的评价短语识别,在此基础上进一步建立和应用规则库,自动识别结构复杂的最长评价短语,其测试的F值达到72.38%。在最长评价短语自动识别的基础上,构建用于 评价对象抽取和情感评价单元抽取的规则库,提出基于规则的评价搭配自动抽取算法,实现评价对象和最长评价短语搭配的自动抽取,在网易汽车门户网站进行了系统测试,得到了较高的准确率。     

语义词典归类不当现象自动发现

平行周遍原则是陈保亚(1999)提出的一种用于区分词与短语的理论,将词语分为既平行又周遍、平行不周遍和不平行不周遍三类,既平行又周遍的是短语,不宜收入词典。由于汉语语义词典在收词时并未严格遵循平行周遍原则,因此依据现有语义词典可以自动地归纳出许多平行周遍规则或者平行不周遍规则。假定有两部语义词典,则可以归纳出两套平行(不)周遍规则,每一套规则都有各自的正例和反例。一个词典中某一规则的反例如果同时是另一词典中的正例,就意味着前一部词典中的词语可能归类不当。基于这一思路,该文提出一个基于平行周遍原则的语义词典归类不当现象自动发现方法,实验结果证明了这一方法的有效性。     

基于用法的现代汉语连词结构短语识别研究

连词能够连接词语、短语、小句、句子乃至句群,连词结构短语是连词所连接对象的一种,不同的连词形成不同长度、不同关系的连词结构短语。该文根据虚词用法知识库中的连词用法,构建了连词结构短语识别规则,实现了基于规则的连词结构短语识别,并将连词用法作为特征采用条件随机场模型实现了基于统计的连词结构短语识别。实验结果表明,统计的识别效果高于规则的识别效果,连词用法能够较好地用于连词结构短语的识别中。