| 分布式主题爬虫的设计与实现 |
| |
| 引用本文： | 池勇敏,郝泳涛.分布式主题爬虫的设计与实现[J].计算机应用与软件,2010,27(12). |
| |
| 作者姓名： | 池勇敏 郝泳涛 |
| |
| 摘 要： | 研究实现了一个分布式网络爬虫系统.系统架构主要分为控制节点和爬行节点两部分,并描述了分布式系统关键技术的解决方案.系统采用二级哈希映射算法进行任务分配以解决基于目标导向、负载均衡的URL分配问题,使用消息通信使节点相互协作,提出利用遗传算法作为该主题爬虫系统的搜索策略,并给出了网页更新策略的改进方法.
|
| 关 键 词： | 主题爬虫 分布式 遗传算法 搜索引擎 |
RESEARCH AND IMPLEMENTATION OF A DISTRIBUTED TOPIC CRAWLER |
| |
| Chi Yongmin,Hao Yongtao.RESEARCH AND IMPLEMENTATION OF A DISTRIBUTED TOPIC CRAWLER[J].Computer Applications and Software,2010,27(12). |
| |
| Authors: | Chi Yongmin Hao Yongtao |
| |
| Abstract: | |
| |
| Keywords: | |
| 本文献已被 万方数据 等数据库收录！ |
|
