| 一种并行Crawler系统中的URL分配算法设计 |
| |
| 引用本文： | 万源,万方,王大震. 一种并行Crawler系统中的URL分配算法设计[J]. 计算机工程与应用, 2006, 0(Z1) |
| |
| 作者姓名： | 万源 万方 王大震 |
| |
| 作者单位： | 武汉理工大学理学院，湖北工业大学计算机科学技术系，湖北工业大学计算机科学技术系 武汉 430070，武汉 430068，武汉 430068 |
| |
| 摘 要： | 研究了分布式体系结构下的并行Crawler采集模型,分析了各组件的功能及各Cmwler在并行搜索时,为保证系统的负载均衡而应遵循的基本规则,并提出了一种基于散列(hash)的URL的调度算法。
|
| 关 键 词： | 分布式Crawler 散列算法 URL分配 |
URL Scheduling Algorithm in Parallel Crawler System |
| |
| WAN Yuan,WAN Fang,WANG Da-zhen. URL Scheduling Algorithm in Parallel Crawler System[J]. Computer Engineering and Applications, 2006, 0(Z1) |
| |
| Authors: | WAN Yuan WAN Fang WANG Da-zhen |
| |
| Abstract: | This paper researches on parallel Crawler fetching Model in the distributed architecture,describes function of every component and some rules which crawlers must obey when they fetch the web simultaneously.And, it designs a Hash URL Scheduling based algorithm. |
| |
| Keywords: | Distributed Crawler hash algorithm URL Scheduling |
| 本文献已被 CNKI 等数据库收录！ |
