首页 | 本学科首页   官方微博 | 高级检索  
     

使用遗传算法的信息检索动态参数学习方法
引用本文:张敏,林川,马少平. 使用遗传算法的信息检索动态参数学习方法[J]. 计算机研究与发展, 2005, 42(3): 486-492
作者姓名:张敏  林川  马少平
作者单位:清华大学计算机科学与技术系智能技术与系统国家重点实验室,北京,100084;清华大学计算机科学与技术系智能技术与系统国家重点实验室,北京,100084;清华大学计算机科学与技术系智能技术与系统国家重点实验室,北京,100084
基金项目:国家"九七三"重点基础研究发展规划基金项目(2004CB318108)国家自然科学基金项目(60223004,60321002,60303005)
摘    要:信息检索系统中的参数设定在很大程度上决定着系统的检索性能.参数的数据相关性和敏感性使得经验值往往不可靠.另一方面,由于在检索过程中缺乏当前查询的相关文档信息,因而不可能进行有指导的参数学习.因此,自动无指导的参数学习方法是极为必要和重要的.首先考察传统上根据经验值设定固定的系统参数的效果,结果表明其泛化能力差,效果不稳定且不可靠.其次,提出一种使用遗传算法进行动态参数学习的方法.在TREC11,TREC10和TREC9三组大规模Web标准测试数据集上进行了实验,数据集规模均超过10GB.实验结果表明,经过动态参数学习,系统性能总是能够接近甚至达到可能实现的最优性能.

关 键 词:信息检索  参数学习  概率模型  遗传算法  适应函数

Dynamic Parameter Learning Approach for Information Retrieval with Genetic Algorithm
Zhang Min,Lin Chuan,Ma Shaoping. Dynamic Parameter Learning Approach for Information Retrieval with Genetic Algorithm[J]. Journal of Computer Research and Development, 2005, 42(3): 486-492
Authors:Zhang Min  Lin Chuan  Ma Shaoping
Abstract:Parameter setting in information retrieval (IR) systems affects retrieval performances greatly. These parameters are always data-dependent and sensitive, which causes the fallibility of experiential values. Moreover, supervised parameter learning approaches are not applicable for lacking of relevant information while retrieving. Therefore, an automatic unsupervised parameter learning mechanism is necessary and important. In this paper, the effectiveness of traditional manual parameter setting with fixed experiential values is studied first, which indicates that the traditional way is not feasible or reliable to use widely in practice. Then, a dynamic parameter learning approach with genetic algorithm (GA) is proposed. Experiments have been done on Okapi system using large scale data sets of TREC11, TREC10 and TREC9 web track collections, each of which is more than 10GB. Results show that by dynamic parameter learning, the system always gets or approaches the best retrieval performance.
Keywords:information retrieval  parameter learning  probabilistic model  genetic algorithm  fitness function
本文献已被 CNKI 维普 万方数据 等数据库收录!
设为首页 | 免责声明 | 关于勤云 | 加入收藏

Copyright©北京勤云科技发展有限公司  京ICP备09084417号