基于频繁项集与负规则的局部反馈查询扩展

针对信息检索中存在的词不匹配问题,提出了基于频繁项集和负关联规则挖掘的局部反馈查询扩展模型及其算法.该算法对前列n篇初检文档挖掘频繁项集和非频繁项集,并从频繁项集中提取关联词;从频繁项集和非频繁项集中挖掘负关联规则,提取负关联规则后件作为负关联词,计算负关联词与整个原查询词的相关性;根据相关性删除关联词库中与负关联词相同的词项,将余下的关联词项作为最终扩展词,并与原查询组合成新查询,实现查询扩展.实验结果表明,该算法能发现虚假的负关联词,有效地提高和改善信息检索性能.     

基于频繁项集和相关性的局部反馈查询扩展

针对信息检索中存在的词不匹配问题,提出一种基于频繁项集和相关性的局部反馈查询扩展算法。设计查询扩展模型和扩展词权重计算方法,从前列n篇初检文档中,挖掘同时含有查询词项、非查询词项的频繁项集,在该频繁项集中提取非查询词项作为候选扩展词,计算每个候选扩展词与整个查询的相关性,并根据该相关性得到最终的扩展词,以此实现查询扩展。实验结果表明,该算法能有效提高信息检索的性能。     

基于语词抽取与负关联规则挖掘的信息检索

将语词抽取、负关联规则挖掘和查询扩展技术应用于信息检索,提出一种基于语词抽取与负关联规则挖掘融合的信息检索系统模型及其算法.详细论述模型的设计思想、各模块的功能,以及模型的理论分析和检索算法.该模型能够将语词抽取、负关联规则挖掘和查询扩展三种技术融合,对初检文档集进行有效地处理,得到高质量的与原查询词相关的扩展词,和原查询组合成新查询,再进行二次检索,有效地解决了词不匹配的问题.实验结果表明,该模型有效,能改善和提高信息检索性能     

负关联规则挖掘与特征词抽取融合的局部反馈查询扩展

针对现有信息检索系统中存在的词不匹配问题,本文提出一种基于负关联规则挖掘与特征词抽取融合的局部反馈查询扩展算法。该算法首先从前列n篇初检局部文档中抽取特征词,建立特征词库;然后,对特征词库挖掘同时含有查询词和非查询词的频繁项集和非频繁项集,由此挖掘前件是查询项的负关联规则,提取负关联规则的后件作为负关联特征词,计算负关联特征词与原查询的相关性,根据相关性在特征词库中删除负关联特征词,将余下的特征词作为最终扩展词,和原查询组合成新查询实现查询扩展。实验结果表明,该算法能有效地提高和改善信息检索性能。     

基于完全加权关联规则挖掘和查询扩展的信息检索

将完全加权关联规则挖掘技术应用于信息检索,提出一种基于完全加权关联规则挖掘和查询扩展的信息检索模型,重点阐述模型的设计思想及其算法和实现的关键技术.实验结果表明,该模型有效,能提高信息检索性能,有很高的实际应用价值和推广前景.     

深度学习与关联模式挖掘融合的查询扩展

本文提出一种深度学习与关联模式挖掘融合的查询扩展模型.该模型采用基于Copulas函数的支持度-置信度评价框架挖掘初检伪相关反馈文档集中扩展词,构建统计扩展词集,利用深度学习工具对初检文档集进行词向量语义学习训练得到词向量扩展词集,将统计扩展词集和词向量扩展词集融合得到最终扩展词.该模型不仅考虑来自统计分析与挖掘的扩展词与原查询间的关联信息,还考虑扩展词在文档中的上下文语义信息,扩展词质量得到较好地改善.在NTCIR-5 CLIR语料的实验结果表明,本文扩展模型能提高信息检索性能,其MAP和P@5平均增幅高于近年现有同类查询扩展方法.本文扩展模型可用于跨语言检索系统,以提高其性能.     

基于语义扩展的图书智能查询系统研究

伴随着知识经济的迅速发展,数字图书馆已成为信息资源传播的重要载体之一。传统的基于关键词的检索技术已无法满足用户对图书信息的需求,并且自然语言的多义性导致了图书信息检索的查全率和查准率偏低。在现有的数字图书馆检索系统基础之上,使用本体技术,扩展了现有图书馆信息检索模型的功能,设计并实现了基于本体技术的图书语义扩展智能查询SEBIQR系统。所设计的图书智能查询系统除了能实现传统的图书管理功能之外,还能对用户输入的关键词进行语义扩展分析,重点实现了图书信息的模糊查询和语义扩展查询,大大提高了当今图书信息智能查询系统的检索效率。     

一种有效的信息检索模型*

提出基于用户查询行为和查询扩展的信息检索模型,给出了设计思想及其算法和实现的关键技术。实验结果表明,该模型能有效提高信息检索性能,有很高的实际应用价值和广阔的前景。     

基于p范式模型的检索

随着电子文本的大量涌现,人们对信息检索工具提出了更高的要求。本文介绍一种扩展的布尔检索模型及其在中文信息检索系统中的应用,并利用相关反馈技术改善检索系统性能。     

基于语义的概念查询扩展

针对当前信息检索系统中所存在查准率低和查全率低的情况,分析了当前检索系统中常用的方法后,提出了一种基于语义的概念查询扩展方法.该方法结合概念语义空间来实现用户检索的概念查询扩展,以达到提高查准率和查全率的目的.实验结果表明,该方法相对于传统方法可以大幅提高用户检索的查准率和查全率.     

面向查询扩展的词间正负关联规则挖掘算法

查询扩展是改善和提高信息检索性能的核心技术之一,其关键问题是如何获取与原查询相关的扩展词。通过关联规则挖掘技术获取扩展词是一种有效的扩展词来源方法。为了获取高质量的扩展词,提出了一种面向查询扩展的基于文本数据库的词间正负关联规则挖掘算法。该算法采用支持度-置信度-相关度框架衡量关联规则,避免产生自相矛盾的正、负关联规则,并结合查询项,给出新的剪枝策略,挖掘出只含有查询词项的正负规则,提高了挖掘效率。实验结果表明,与传统的挖掘算法比较,提出的算法更有效、合理,能检测和删除相互矛盾的规则。     

基于矩阵加权关联规则的跨语言查询译后扩展

首先提出矩阵加权项集支持度计算方法,给出面向跨语言查询扩展的矩阵加权关联模式挖掘算法.然后提出基于矩阵加权关联规则挖掘的跨语言查询译后扩展算法.借助机器翻译进行首次跨语言检索,得到前列初检文档,并经用户相关性判断后得到相关反馈文档.通过计算支持度从相关反馈文档中挖掘含有原查询词的矩阵加权频繁项集,通过置信度-兴趣度评价框架从频繁项集中提取含有原查询词的关联规则,将规则的后件或前件作为扩展词,利用规则的置信度和兴趣度衡量扩展词的重要性,完成跨语言查询译后扩展.在NTCIR-5 CLIR标准测试集上的实验表明,文中算法可以有效提升跨语言查询扩展性能,有利于长查询的跨语言检索,译后后件扩展性能优于前件.     

融合Copulas理论和关联规则挖掘的查询扩展

将Copulas理论引入文本特征词关联模式挖掘,提出融合Copulas理论和关联规则挖掘的查询扩展算法.从初检文档集中提取前列n篇文档构建伪相关反馈文档集或用户相关反馈文档集,利用基于Copulas理论的支持度和置信度对相关反馈文档集挖掘含有原查询词项的特征词频繁项集和关联规则模式,从这些规则模式中提取扩展词,实现查询扩展.在NTCIR-5 CLIR中英文本语料上的实验表明,文中算法可有效遏制查询主题漂移和词不匹配问题,改善信息检索性能,提升扩展词质量,减少无效扩展词.     

基于SRCSAC评价框架挖掘的跨语言查询译后扩展

提出一种面向查询扩展的基于评价框架SRCSAC(support-relevancy-chi-square analysis-confidence)的加权关联规则挖掘算法,给出跨语言查询译后扩展模型和新的扩展词权值计算方法,并提出基于SRCSAC框架挖掘的跨语言查询译后扩展算法.该算法采用支持度-关联度框架和新的剪枝策略挖掘有效频繁项集,通过卡方分析-置信度框架从有效频繁项集中提取加权关联规则,根据扩展模型从关联规则中获取优质扩展词,实现跨语言译后扩展.实验结果表明:所提算法能有效遏制查询主题漂移和词不匹配问题;与基准检索比较,其前件扩展、后件扩展和混合扩展的MAP最低平均增幅分别为86.85%、86.04%和86.00%;与对比方法比较,其长查询检索的MAP最低平均增幅分别可达12.23%、9.06%和12.6%,都高于短查询检索的增幅;与后件扩展算法比较,前件扩展和混合扩展的MAP最高增幅可达5.5%;置信度有助于提升前件扩展和混合扩展算法的检索性能,关联度有利于后件扩展算法检索性能的提高,支持度和关联度对后件扩展算法的短查询检索更有效.     

基于频繁项集的互补替代关系挖掘算法

以TOP-k-ClosedMiner算法为基础,提出基于索引的频繁项集挖掘算法Index-FIM。该算法用位向量表示数据集,同时引入广度扩展剪枝和区域索引跳过策略。实验表明,Index-FIM算法在稀疏数据集上挖掘频繁项集具有较高的执行效率。为得到能直接用于预测的有效信息,提出基于频繁项集的互补替代关系挖掘算法(CARM)。通过对已挖掘出的各频繁项集中的频繁项进行相关性计算,得到频繁项之间的互补替代关系,并以互补替代关系图(CAG)的形式直观表示,便于决策者做出准确、合理的判断。实验表明,CAG比频繁项集表示的信息更有效、更精确。     

一种基于滑动窗口的数据流频繁闭项集挖掘算法

频繁项集挖掘是数据流挖掘中的一个热点问题.提出了一种新的数据流频繁闭项集挖掘算法MFCI-SW.首先设计了两个新的数据结构:频繁闭项集表FCIL和频繁闭合模式树MFCI-SW-Tree,在此基础上以滑动窗口中的基本窗口为更新单位,在每个基本窗口中提取出频繁闭项集的数据项,将其支持度F和窗口序列号K存到FCIL中;然后随着新基本窗口的到来,通过删除频繁闭项集表中K值最小的数据项和插入新数据项完成对FCIL的更新和MFCI-SW-Tree树的裁剪;最后在MFCI-SW-Tree中可以迅速挖掘出满足用户需要的频繁闭项集.实验结果证明了该算法在执行效率上明显优于DS-CFI算法.     

Towards an effective automatic query expansion process using an association rule mining approach

The steady growth in the size of textual document collections is a key progress-driver for modern information retrieval techniques whose effectiveness and efficiency are constantly challenged. Given a user query, the number of retrieved documents can be overwhelmingly large, hampering their efficient exploitation by the user. In addition, retaining only relevant documents in a query answer is of paramount importance for an effective meeting of the user needs. In this situation, the query expansion technique offers an interesting solution for obtaining a complete answer while preserving the quality of retained documents. This mainly relies on an accurate choice of the added terms to an initial query. Interestingly enough, query expansion takes advantage of large text volumes by extracting statistical information about index terms co-occurrences and using it to make user queries better fit the real information needs. In this respect, a promising track consists in the application of data mining methods to the extraction of dependencies between terms. In this paper, we present a novel approach for mining knowledge supporting query expansion that is based on association rules. The key feature of our approach is a better trade-off between the size of the mining result and the conveyed knowledge. Thus, our association rules mining method implements results from Galois connection theory and compact representations of rules sets in order to reduce the huge number of potentially useful associations. An experimental study has examined the application of our approach to some real collections, whereby automatic query expansion has been performed. The results of the study show a significant improvement in the performances of the information retrieval system, both in terms of recall and precision, as highlighted by the carried out significance testing using the Wilcoxon?test.