基于查询扩展和数据融合的检索过程优化

介绍典型的检索过程优化方法——数据融合和基于相关度反馈的查询扩展,前者通过集成多个检索结果提高检索性能,后者执行多次查询,依据前次结果修改／扩展用户查询,以求更好地反映用户信息需求,并在此基础上提出一种新的检索过程优化方法——HQD方法,由相关度反馈结果生成多个替代查询,在检索这些替代查询后,采用求和余弦法生成最终检索结果。仿真实验结果表明,该方法是有效的。     

机器学习的查询扩展在博客检索中的应用

该文介绍一种新的查询扩展方法,该方法结合了查询扩展技术和机器学习理论。通过机器学习的方法挑选出查询扩展词,以此提高检索结果的性能。对于输入的查询项,首先通过伪反馈技术生成候选扩展词集合,然后使用支持向量机对输入的候选词评分,挑选得分较高的候选词和原始查询项组成一个新的查询项。由于训练这个支持向量机的训练数据较难获得,我们利用评测会议的检索结果和检索工具自动地生成训练数据。这套查询扩展方法的优点在于通过对训练语料的学习,能够对候选扩展词作出更合理的选择。在TREC评测会议组织的观点检索任务中,相对于不采用任何扩展技术的基准系统,该方法提高了MAP指标33.1%。     

基于分类模型的查询扩展方法

查询扩展作为查询优化的重要组成部分,对改善信息检索系统的性能起到了至关重要的作用.传统的伪相关反馈查询扩展方法虽然在一定程度上提高了检索性能,但选择的扩展词中会包含一部分与原查询不相关的词语,这对检索性能的提升产生了不利影响.提出了一种基于分类模型的查询扩展方法,该算法综合候选扩展词的统计信息和多种特征,采用朴素贝叶斯分类模型对初次得到的候选扩展词进行再次分类选择,进一步去除与查询词相关性小的扩展词.在TREC 2013数据集上的实验结果表明,提出的查询扩展方法能够有效提高用户查询的查准率和查全率.     

云计算下支持语义的可搜索加密方法研究

传统的云计算下的可搜索加密算法没有对查询关键词进行语义扩展,导致了用户查询意图与返回结果存在语义偏差,并且对检索结果的相关度排序不够合理,无法满足用户对智能搜索的需求。对此,提出了一种支持语义的可搜索加密方法。该方法利用本体知识库实现了用户查询的语义拓展,并通过语义相似度来控制扩展词的个数,防止因拓展词过多影响检索的精确度。同时,该方法利用文档向量、查询向量分块技术构造出对应的标记向量,以过滤无关文档,并在查询-文档的相似度得分中引入了语义相似度、关键词位置加权评分及关键词-文档相关度等影响因子,实现了检索结果的有效排序。实验结果表明,该方法在提高检索效率的基础上显著改善了检索结果的排序效果,提高了用户满意度。     

基于本体和局部上下文分析的查询扩展

在信息检索过程中,因查询词短少而引起的检索歧义性是影响检索效率的主要原因之一,而查询扩展方法和本体扩展方法能有效改善这一问题.提出一种基于本体和局部上下文分析的查询扩展方法:本体扩展根据本体推理规则对短查询词进行推理,得到与查询词有逻辑关联的推理结果集,为查询词加入了标准化的关联信息.局部上下文分析通过对文档库的分析,在与用户查询词最相关的前m篇文档中抽取与用户查询词最相关的n个扩展词,为查询词加入了统计扩展信息.将两部分扩展查询词合并,再通过扩展查询词相关度计算对搜索结果集进行排序.该方法结合了这两种方法的各自优势,从语义角度扩展关键词.实验分析表明,该方法能有效提高检索查全率和查准率.     

基于伪反馈的XML查询扩展

伪反馈一直以来都被认为是一种有效的查询扩展技术.但是近来的研究表明传统的伪反馈容易带来主题漂移并因此而影响检索性能.如何确定相关文档以及如何从相关文档中挑选有用的扩展词项是伪反馈中两个重要的方面.与传统查询扩展不同,XML查询扩展不仅需要内容扩展还需要考虑结构扩展.提出了一个解决框架,利用聚类和词组抽取技术来查找相关文档和选择有用的扩展信息.结合XML的语义特征,提出了一种全新的基于层次信息的文档相似性度量方案.基于此,将初始检索结果聚类,获得与查询请求最为相关的文档簇,然后在文档簇中抽取词组,找到符合用户查询意图的扩展查询词组,并在扩展查询词组的基础上进行结构扩展,最终形成完整的"内容+结构"的查询扩展表达式.IEEE CS实验数据上的实验结果表明,结合了聚类和抽取技术的XML伪反馈查询扩展方法能有效地降低主题漂移现象,获得更好的检索质量.     

基于检索结果排序的伪相关反馈

针对传统伪相关反馈（PRF）算法扩展源质量不高使得检索效果不佳的问题,提出一种基于检索结果的排序模型（REM）。首先,该模型从初检结果中选择排名靠前的文档作为伪相关文档集;然后,以用户查询意图与伪相关文档集中各文档的相关度最大化、并且各文档之间相似性最小化作为排序原则,将伪相关文档集中各文档进行重排序;最后,将排序后排名靠前的文档作为扩展源进行二次反馈。实验结果表明,与两种传统伪反馈方法相比,该排序模型能获得与用户查询意图相关的反馈文档,可有效地提高检索效果。     

基于相关性和语义相似度融合的查询扩展方法

针对局部共现查询扩展算法查准率不高、性能差的缺点,提出了一种基于相关性和语义相似度的查询扩展算法RSIQE（relativity and similarity inosculate query expansion）。该方法首先用局部共现查询扩展算法扩展出n个相关扩展词,继而利用知网资源计算查询的相似度和扩展词的相关性,在此基础上融合扩展的相关度来得到N个扩展词的排序,通过对扩展词序列赋权来重新计算新查询中各词的权重,由新查询词赋权迭代得到检索结果。实验表明,该扩展方法比传统局部共现查询扩展算法不仅具有更优的检索性能,而且检索精度进一步提高。     

改进的基于支持向量机的Web图像检索相关反馈方法

结合用户相关反馈的超平面查询在基于内容的图像检索中面临数据不平衡等问题,即对于给定的查询,图像数据库中负样例(与查询无关的图像)数目往往远大于正样例,使得传统的用户相关反馈技术难以获得足够的相关图像,影响了超平面查询的性能.提出一种新的基于支持向量机的Web图像检索的主动学习策略,根据Web图像的URL、视觉特征来估计图像与查询样本的相关性,用潜在的正样例图像来弥补图像数据的不平衡性,并且提出了对SVM返回结果的重新排序方法.对10000多幅来自50多个不同网站的Web图像数据进行了实验.实验结果显示,与传统的方法相比,该方法对检索性能有明显的提高.     

基于虚拟关联反馈与聚类的图像检索技术研究

基于虚拟相关反馈(PRF)技术,提出了一种新的自动关联反馈检索方法--外部自动相关反馈(OARF).该方法基于图像内容特征距离,应用K-均值聚类,自动扩展查询图像特征,从而提高检索性能.试验结果表明,OARF能够降低用户负担,显著提高原始检索算法的性能,缩小"语义鸿沟".     

基于频繁项集和相关性的局部反馈查询扩展

针对信息检索中存在的词不匹配问题,提出一种基于频繁项集和相关性的局部反馈查询扩展算法。设计查询扩展模型和扩展词权重计算方法,从前列n篇初检文档中,挖掘同时含有查询词项、非查询词项的频繁项集,在该频繁项集中提取非查询词项作为候选扩展词,计算每个候选扩展词与整个查询的相关性,并根据该相关性得到最终的扩展词,以此实现查询扩展。实验结果表明,该算法能有效提高信息检索的性能。     

基于相关文档池建模的查询扩展

在信息检索领域,相关反馈是提高检索性能的有效方法之一。所谓相关反馈,指用户按照一定策略从查找到的相关文档中选择一些和主题相关的词进行查询扩展的技术。本文介绍了概率模型和向量空间模型下的常用查询扩展方法,并提出了一种基于语言模型的相关反馈方法,该方法同时考虑了扩展词应该具备的两个特征,即相关性和覆盖性。在TREC测试集上对这些算法进行了比较,结果表明这种新算法在平均准确率上比传统方法有所提高。     

Deep Learning and Semantic Concept Spaceare Used in Query Expansion

In the practice of information retrieval, there are some problems such as the lack of accurate expression of user query requests, the mismatch between document and query and query optimization. Focusing on these problems, we propose the query expansion method based on conceptual semantic space with deep learning, this hybrid query expansion technique include deep learning and pseudocorrelation feedback, use the deep learning and semantic network WordNet to construct query concept tree in the level of concept semantic space, the pseudo-correlation feedback documents are processed by observation window, compute the co-occurrence weight of the words by using the average mutual information and get the final extended words set. The results of experiment show that the expansion algorithm based on conceptual semantic space with deep learning has better performance than the traditional pseudo-correlation feedback algorithm on query expansion.     

基于频繁项集挖掘与查询扩展的信息检索系统模型

将频繁项集挖掘和查询扩展技术应用于信息检索,提出一种新的基于频繁模式挖掘与查询扩展的信息检索系统模型及其算法,并给出该检索系统模型的设计思想,以及模型总体结构及其各模块功能,实现了系统原型。实验结果表明,该检索系统模型能有效地提高和改善信息检索性能。     

负关联规则挖掘与特征词抽取融合的局部反馈查询扩展

针对现有信息检索系统中存在的词不匹配问题,本文提出一种基于负关联规则挖掘与特征词抽取融合的局部反馈查询扩展算法。该算法首先从前列n篇初检局部文档中抽取特征词,建立特征词库;然后,对特征词库挖掘同时含有查询词和非查询词的频繁项集和非频繁项集,由此挖掘前件是查询项的负关联规则,提取负关联规则的后件作为负关联特征词,计算负关联特征词与原查询的相关性,根据相关性在特征词库中删除负关联特征词,将余下的特征词作为最终扩展词,和原查询组合成新查询实现查询扩展。实验结果表明,该算法能有效地提高和改善信息检索性能。     

一种基于相关反馈的信息检索模型

针对现有信息检索系统难以按查询需求处理检索文档的问题,提出了一种基于相关反馈的信息检索模型,分析了查询词分解,推导了相关反馈机制和正规化过程,并进一步阐述了文档提取方法。提出的模型通过相关反馈和查询词扩展,克服了传统方法无法计算文档与查询词之间的相似度问题,并能有效地处理检索文档。仿真结果证明了该模型的有效性和可行性。     

基于文档空间向量距离的查询扩展

查询扩展是信息检索中优化查询的一种有效方法。在分析几种基于互信息的查询扩展方法的基础上,将检索词在文档空间中的距离引入到互信息计算中,提出基于向量距离的改进互信息的查询扩展方法。实验结果表明,该方法能够有效提高信息检索中的查询效果。     

基于关联规则挖掘的查询扩展检索性能研究

介绍了基于关联规则的局部反馈查询扩展基本思想,重点研究关联规则支持度、置信度和扩展词数量对查询扩展检索性能的影响。实验结果表明,这种查询扩展的检索性能对其支持度、置信度以及扩展词数量比较敏感;从关联规则获得的扩展词可以分为两类,即与原查询正相关的扩展词和与原查询负相关或者假相关的扩展词（即噪音）,前者可以提高和改善查询扩展的检索性能,而后者只能降低其检索性能。