统计词义消歧的研究进展

本文参考大量的文献资料,分析了当前国内外统计词义消歧研究中采用的多种方法和技术,指出了统计词义消歧研究的关键问题,并围绕关键问题阐述了统计词义消歧的研究进展,探讨了研究中存在的问题和未来研究的重点.     

基于条件随机场的古汉语词义消歧研究

首先分析了古汉语词义义项的分布情况与特点,考察了词义消歧的难点.然后在现有的词义消歧理论和方法的基础上,基于机器自动学习的统计模型条件随机场,选择上下文的词及其词性的复合特征,并加入其他适当语言学特征,设计6个不同的模板,对"將"、"如"、"我"、"信"、"聞"、"之"等古汉语高频词进行了词义消歧实验.实验最高平均F值达到了83.04%,高于最大熵、朴素贝叶斯模型,结果表明,选择合适的特征,条件随机场模型在古汉语词义消歧方面有效可行.     

一种基于多义词向量表示的词义消歧方法

词义消歧是自然语言处理领域的基本任务.在词语词向量表示的基础上,计算获得多义词语上下文窗口的向量表示.利用统计的多义词及词义个数,基于K-means算法聚类文本语料集中多义词的上下文窗口表示,在原始文本语料集中对多义词语根据聚类类别进行标记.在标记的文本语料集上,训练获得多义词语每个词义的向量表示.对句子中的多义词语,给出了一种基于多义词向量表示的词义消歧方法,实验结果显示该方法有效可行.     

基于信息增益改进贝叶斯模型的汉语词义消歧

词义消歧一直是自然语言处理领域的关键问题和难点之一。通常把词义消歧作为模式分类问题进行研究,其中特征选择是一个重要的环节。该文根据贝叶斯假设提出基于信息增益的特征选择方法,并以此改进贝叶斯模型。通过信息增益计算,挖掘上下文中词语的位置信息,提高贝叶斯模型知识获取的效率,从而改善词义分类效果。该文在8个歧义词上进行了实验,结果发现改进后的贝叶斯模型在消歧正确率上比改进前平均提高了3.5个百分点,改进幅度较大,效果突出,证明了该方法的有效性。     

基于等价伪译词模型的无指导译文消歧研究

该文提出了一种基于等价伪译词进行无指导译文消歧的方法。该方法利用源语言岐义词不同语义下目标语译文的单义同义词集合,定义并构造等价伪译词。利用等价伪译词从目标语语料中自动获取大量已标注语义的目标语实例。由这些实例得到的目标语语义知识,可直接形成该等价伪译词的语义分类器。利用Hownet可将含目标歧义词的英语实例映射成汉语词集合,然后利用这个语义分类器进行译文消歧。在国际标准语义评测集上进行的测试表明,该方法优于其余两种自动获取已标注语料的系统,且与Senseval-2 ELS上可比较的最好无指导系统的性能相当。     

一种基于分类和语义查询扩展的信息检索方法

针对当前信息检索系统中存在查全率低和查准率低的问题,提出了一种基于分类和语义查询扩展的信息检索方法.该方法结合语义来实现用户检索的查询扩展,并使用文本分类技术辅助检索.实验结果表明,该方法相对传统方法可以提高查全率和查准率,具有较好的查询性能.     

基于双词主题模型的半监督实体消歧方法研究

针对实体上下文信息主题漂移的问题,提出一种基于双词主题模型的实体消歧方法.方法考虑到实体在一定语义环境下具有不同的主题,且在同一文档中同时出现的其他实体在一定程度上能够帮助待消歧实体确定所指代内容,利用命名实体构建双词的思想,将协同实体关系融合到主题模型中,并在此基础上利用维基百科知识库,进行半监督消歧.本文最后在网络文本数据上进行了相关的实验,验证了所提算法的有效性.实验表明该方法有效的提高了实体消歧精度.     

一种基于概念的信息检索查询扩展

文章针对信息检索中存在的查询词“表达差异”问题,提出一种基于概念的查询扩展方法。一方面将用户查询中使用的词或短语与文档中抽出的概念相连接加入原查询．同时将作为扩展词的概念进行分类查询并采用整合排序算法调整结果;另一方面引入概念图供用户手动调节来进行查询扩展,以达到查询优化的目的。试验结果表明。该方法适宜改进Web上的信息检索,相对没有扩展的查询可以大幅度提高查询精度。     

基于统计机器翻译模型的查询扩展

在搜索引擎等实际的信息检索应用中,用户提交的查询请求通常都只包含很少的几个关键词,这会引起相关文档与用户查询之间的词不匹配问题,对检索性能有较严重的负面影响。该文在分析了查询产生模型的基础上,提出了一种新的基于统计机器翻译的查询扩展方法。通过统计机器翻译模型提取文档集中与查询词相关联的词,用以进行查询扩展。在TREC数据集上的试验结果表明：基于统计翻译的查询扩展方法不仅比不扩展的语言模型方法始终有12％～17％的提高,而且比流行的查询扩展方法-伪反馈也具有可比的平均准确率。     

基于语义树的概念语义相似度计算方法研究

在分析传统语义相似度计算方法的基础上,综合考虑了边的深度、密度、强度及两个概念的语义重合度、层次差等主要影响因素,提出了一种基于语义树的概念相似度计算方法,并验证了该算法的合理性.     

一种基于语义关系改进的隐马尔可夫模型研究

中文信息处理中统计方法的应用越来越广泛.为了更好地利用统计方法进行中文词义标注,文中对隐马尔可夫模型进行了改进研究,提出了使用基于语义格改进的隐马尔可夫模型.通过应用线性插值方法来计算改进的模型参数,HowNet中文知识库在中文词义标注中应用此模型,最后得到了较好的实验结果,证明了该方法的有效性.     

基于项权值排序挖掘的跨语言查询扩展

为了改善自然语言处理应用中长期存在的主题漂移和词不匹配问题,本文首先提出一种加权项集支持度计算方法和基于项权值排序的剪枝方法,给出面向查询扩展的基于项权值排序的加权关联规则挖掘算法,讨论关联规则混合扩展、后件扩展和前件扩展模型,最后提出基于项权值排序挖掘的跨语言查询扩展算法.该算法采用新的支持度和剪枝策略挖掘加权关联规则,根据扩展模型从规则中提取高质量扩展词实现跨语言查询扩展.实验结果表明,与现有基于加权关联规则挖掘的跨语言扩展算法比较,本文扩展算法能有效遏制查询主题漂移和词不匹配问题,可用于各种语言的信息检索以改善检索性能,扩展模型中后件扩展获得最优检索性能,混合扩展的检索性能不如后件扩展和前件扩展,支持度对后件扩展更有效,置信度更有利于提升前件扩展和混合扩展的检索性能.本文挖掘方法可用于文本挖掘、商务数据挖掘和推荐系统以提高其挖掘性能.     

查询语义图辅助的信息检索性能预测模型

查询性能预测技术试图在进行费时的实际信息检索之前对特定查询的性能进行预测,以便根据预测结果在不影响查询所代表的信息需求的基础上对查询进行调整,提高最终检索结果的精确度.针对传统查询性能预测模型没有考虑查询词问语义关系的问题,本文提出了一种查询语义图辅助的信息检索性能预测模型,该模型将表征查询词间语义关系的查询语义图引入...     

基于概念格的查询扩展词推荐

概念格是一种擅长描述层次关系的数学工具,在规则提取和数据分析中有广泛的应用.引入概念格理论对页面——概念形式背景建立了数学模型,在概念格基础上提出了一种查询扩展词生成算法.利用概念格Hasse图以及关联规则置信度以较高的效率生成扩展词作为二次搜索关键词,使信息搜索达到更好的效果.该算法在Diggol智能元搜索引擎上予以实现,取得了良好的效果.     

语义检索技术研究

语义检索是信息检索的一个新的研究方向,已逐渐成为许多领域的有用工具。在介绍语义检索的基本特点以及语义检索的意义的基础上,对现有语义检索的主要思想方法进行了总结,最后对语义检索的发展方向进行了展望。