基于统计机器翻译模型的查询扩展

在搜索引擎等实际的信息检索应用中,用户提交的查询请求通常都只包含很少的几个关键词,这会引起相关文档与用户查询之间的词不匹配问题,对检索性能有较严重的负面影响。该文在分析了查询产生模型的基础上,提出了一种新的基于统计机器翻译的查询扩展方法。通过统计机器翻译模型提取文档集中与查询词相关联的词,用以进行查询扩展。在TREC数据集上的试验结果表明：基于统计翻译的查询扩展方法不仅比不扩展的语言模型方法始终有12％～17％的提高,而且比流行的查询扩展方法-伪反馈也具有可比的平均准确率。     

基于结构对齐的统计机器翻译模型

从图同构角度给出树同构的性质,并阐述了结构异构与结构对齐之间的关系.在此基础上为建立结构映射关系,以及在翻译过程中融入句法结构信息,提出元结构、互译结构组概念及多层次结构对齐的体系.最后利用对数线性模型,给出基于元结构对齐的统计机器翻译模型.模型的翻译过程中,源语言句法树以元结构为单位进行分解,利用互译结构组映射知识,转换为目标语言句法树结构序列,从而根据结构模型信息对目标语实施调序和译文的生成.实验结果表明,本模型在对于翻译知识的泛化能力和翻译结果方面都优于基于短语的统计机器翻译模型.     

Query Expansion with Statistical Machine Translation

In practical applications of information retrieval, such as the search engine, the query user submitted contains only several keywords usually. This will cause unmatched issues of words between relevant files and the user＇s query, and result in more seriously negative effects on the performance of information retrieval. On the basis of analyzing the process of producing query, this paper puts forward a new method of query expansion based on the model of statistical machine translation. The approach extract related terms between documents and query through statistical machine translation model, then expand the query with them. The experiment on TREC data collection shows that our method achieved 4 - 17% of the improvement all the time more than the language model method without expanding. Compared to pseudo feedback, our method has the competitive average precision.     

一种基于概念的信息检索查询扩展

文章针对信息检索中存在的查询词“表达差异”问题,提出一种基于概念的查询扩展方法。一方面将用户查询中使用的词或短语与文档中抽出的概念相连接加入原查询．同时将作为扩展词的概念进行分类查询并采用整合排序算法调整结果;另一方面引入概念图供用户手动调节来进行查询扩展,以达到查询优化的目的。试验结果表明。该方法适宜改进Web上的信息检索,相对没有扩展的查询可以大幅度提高查询精度。     

统计机器翻译中翻译模型的约简概述

统计机器翻译从诞生至今获得了长足的发展,目前已经成为机器翻译的主流.但是作为基础模块之一的翻译模型却随训练语料的增大而呈现飞速增大的趋势.为了使统计机器翻译更加实用,翻译模型的约简一直是研究热点之一.概述了统计机器翻译中翻译模型约简的研究现状,相关方法主要围绕解码过程统计分析、训练语料中的统计分析、翻译模型中的短语对自...     

一种基于分类和语义查询扩展的信息检索方法

针对当前信息检索系统中存在查全率低和查准率低的问题,提出了一种基于分类和语义查询扩展的信息检索方法.该方法结合语义来实现用户检索的查询扩展,并使用文本分类技术辅助检索.实验结果表明,该方法相对传统方法可以提高查全率和查准率,具有较好的查询性能.     

基于项权值排序挖掘的跨语言查询扩展

为了改善自然语言处理应用中长期存在的主题漂移和词不匹配问题,本文首先提出一种加权项集支持度计算方法和基于项权值排序的剪枝方法,给出面向查询扩展的基于项权值排序的加权关联规则挖掘算法,讨论关联规则混合扩展、后件扩展和前件扩展模型,最后提出基于项权值排序挖掘的跨语言查询扩展算法.该算法采用新的支持度和剪枝策略挖掘加权关联规则,根据扩展模型从规则中提取高质量扩展词实现跨语言查询扩展.实验结果表明,与现有基于加权关联规则挖掘的跨语言扩展算法比较,本文扩展算法能有效遏制查询主题漂移和词不匹配问题,可用于各种语言的信息检索以改善检索性能,扩展模型中后件扩展获得最优检索性能,混合扩展的检索性能不如后件扩展和前件扩展,支持度对后件扩展更有效,置信度更有利于提升前件扩展和混合扩展的检索性能.本文挖掘方法可用于文本挖掘、商务数据挖掘和推荐系统以提高其挖掘性能.     

一种基于语言模型的微博检索技术

步入互联网时代,微博吸引了成千上万的用户并且以迅猛的速度发展成为主流的网络媒体。人们通过微博服务传播与分享即时信息,在这个平台上产生了大量宝贵的信息,因此基于微博的研究具有十分重要的意义。与传统的网页和文章相比,微博文本具有自身独特的特性,包括文本稀疏性、动态性、噪声和长度短等。基于满足用户从海量微博中获取信息的目的,本文在语言模型的基础上结合微博文本的时间特性,提出一种基于动态伪相关反馈模型的查询扩展方法,使准确率提高至53.9%。     

统计机器翻译中短语切分的新方法

本文提出了一种新的短语切分方法,通过该方法可以将句子的短语切分进行概率化处理:首先把汉语语料库中次数>2次的词语串全部都识别出来,作为汉语短语,然后通过最短路径方式实现短语切分,同时应用Viterbi算法对短语出现频率进行迭代统计.     

基于词义消歧的语义查询扩展研究

为了解决传统查询扩展时查准率低下的问题,基于词义消歧技术提出一种综合扩展语义树和词频共现率的语义查询扩展方法.针对查询词歧义所带来的查询主题漂移现象,利用WordNet知识源及其领域信息进行查询词义消歧,进而根据WordNet的层次结构生成扩展语义树,产生候选扩展词,并根据待扩展词与用户查询的整体最大相关性原则最终确定扩展词及其权重,使得扩展词能够充分表达用户查询请求,提高查询匹配准确率.实验表明,该方法在保证查全率的同时获得了较高的查准率.     

一种基于随机化视觉词典组和查询扩展的目标检索方法

在目标检索领域,当前主流的解决方案是视觉词典法(Bag of Visual Words, BoVW),然而,传统的BoVW方法具有时间效率低、内存消耗大以及视觉单词同义性和歧义性的问题。针对以上问题,该文提出了一种基于随机化视觉词典组和查询扩展的目标检索方法。首先,该方法采用精确欧氏位置敏感哈希(Exact Euclidean Locality Sensitive Hashing, E2LSH)对训练图像库的局部特征点进行聚类,生成一组支持动态扩充的随机化视觉词典组;然后,基于这组词典构建视觉词汇分布直方图和索引文件;最后,引入一种查询扩展策略完成目标检索。实验结果表明,与传统方法相比,该文方法有效地增强了目标对象的可区分性,能够较大地提高目标检索精度,同时,对大规模数据库有较好的适用性。     

Ordinal Regression for Information Retrieval

This letter presents a new discriminative model for Information Retrieval （IR）, referred to as Ordinal Regression Model （ORM）. ORM is different from most existing models in that it views IR as ordinal regression problem （i.e. ranking problem） instead of binary classification. It is noted that the task of IR is to rank documents according to the user information needed, so IR can be viewed as ordinal regression problem. Two parameter learning algorithms for ORM are presented. One is a perceptron-based algorithm. The other is the ranking Support Vector Machine （SVM）. The effectiveness of the proposed approach has been evaluated on the task of ad hoc retrieval using three English Text REtrieval Conference （TREC） sets and two Chinese TREC sets. Results show that ORM significantly outperforms the state-of-the-art language model approaches and OKAPI system in all test sets; and it is more appropriate to view IR as ordinal regression other than binary classification.     

Information Retrieval for short documents

I. Introduction Most of current Information Retrieval (IR) sys-tems try to match terms of queries with terms of documents. One major problem of these approaches lies in that users want to retrieve documents accord-ing to content, while individual words provide unre-liable evidence about the content of the texts[1?3]. When some parts of text in the document collection are missing, e.g. only the abstract is available, the word-use variability problem will have substantial impact on the IR per…     

基于最近邻聚类的INTERNET信息检索系统

随着网络的不断普及和发展，Internet为用户提供了一个极有价值的信息源。如何能够快速、准确的检索出用户感兴趣的信息，已经成为当前研究的热点。本文分析了KNN算法和聚类方法，指出了其中的不足并在此基础上提出了一种改进算法。该算法将聚类方法和KNN算法的优点结合起来，从而达到缩减了训练样本数量，减少了算法计算量，加快检索速度的目的。     

Dependency Structure Applied to Language Modeling for Information Retrieval

In this paper, we propose a new language model, namely, a dependency structure language model, for information retrieval to compensate for the weaknesses of unigram and bigram language models. The dependency structure language model is based on the first‐order dependency model and the dependency parse tree generated by a linguistic parser. So, long‐distance dependencies can be naturally captured by the dependency structure language model. We carried out extensive experiments to verify the proposed model, where the dependency structure model gives a better performance than recently proposed language models and the Okapi BM25 method, and the dependency structure is more effective than unigram and bigram in language modeling for information retrieval.     

基于贝叶斯网络模型的信息检索

贝叶斯网络模型是解决信息检索领域问题的有效手段，因为它可以表示术语间的条件概率和概念语义，并依此预测用户查询和文档间的相似度。本文对信息检索中的贝叶斯网络模型做了若干改进，加入了一些新特征，并用实验结果证明了通过提高贝叶斯网络模型的质量和调整其中的参数，我们的方法取得了较好的检索效果。     

Role of Ontology in Information Retrieval

Based on the comparison between ontology and thesaurus, and the analysis of an ontology-based Information Retrieval （IR） model, the potential advantages that ontology may contribute to IR are analyzed. Then a general architecture of ontology-based Information Retrieval System （IRS） and the approach of constructing it are presented. Based on the researches, the role of ontology in IR is summarized from four aspects and a typical system called Textpresso is analyzed. Finally, a conclusion is drawn that utilizing ontology is the trend of IR and can really improve the IRS.     

基于内容的图像检索中的一种多粒度组合查询方法

将图像分成不同层次度量时，由于不同层对最后结果所起的作用不同，因而在合并不同层产生的结果集时，应该考虑应用非线性变换。文章在图像信息的层次化描述模型的基础上，提出了一种用神经网络组合不同层的查询结果的方法，实验表明该方法是可行的。