Nutch中庖丁解牛中文分词的实现与评测

中文分词是搜索引擎面临的主要挑战之一。本文通过分析Nutch文档的评分机制,针对Nutch中文分词模块的分词不符合汉语习惯的情况,提出采用以词典分词法为基础的庖丁解牛分词模块对Nutch要采集的数据进行切分,描述在Nutch上实现庖丁解牛分词模块的方法,并对该分词模块进行测试。实验表明,庖丁解牛分词模块的分词结果更符合汉语习惯,并且在词项对文档的覆盖方面更加均衡,另外索引文件所占的存储空间节省20%～65%。     

基于元搜索的专业搜索引擎的设计

专业搜索引擎是一种为用户提供比通用搜索引擎更多、更精准的专业信息的搜索引擎。根据搜索引 擎的工作原理,提出了一种基于元搜索的专业搜索引擎的设计框架;详细介绍了信息采集、中文分词、结果处理的实 现技术;将神经网络与遗传算法相结合,对元搜索结果进行过滤及排序,进一步提高了专业搜索引擎的查询效率。     

基于元搜索的专业搜索引擎的设计

专业搜索引擎是一种为用户提供比通用搜索引擎更多、更精准的专业信息的搜索引擎。根据搜索引擎的工作原理,提出了一种基于元搜索的专业搜索引擎的设计框架;详细介绍了信息采集、中文分词、结果处理的实现技术;将神经网络与遗传算法相结合,对元搜索结果进行过滤及排序,进一步提高了专业搜索引擎的查询效率。