| 基于GNP算法的分布式爬虫调度策略* |
| |
| 作者姓名： | 刘爽 姜春祥 张伟哲 李东 张鸿 |
| |
| 作者单位： | 1. 哈尔滨工业大学,计算机科学与技术学院,哈尔滨,150001
2. 国家计算机网络应急技术处理协调中心,黑龙江分中心,哈尔滨,150001
3. 国家计算机网络应急技术处理协调中心,北京,100029 |
| |
| 基金项目： | 国家“973”重点基础研究发展计划资助项目(G2005CB321806);国家自然科学基金资助项目(60703014);高等学校博士学科点专项科研基金资助课题(20070213044);哈尔滨工业大学优秀青年教师培养计划(HITQNJS.2007.034) |
| |
| 摘 要： | 针对分布式搜索引擎的任务调度及负载均衡问题,提出了基于GNP算法的分布式爬虫调度策略和负载均衡的方法。利用网络距离预估取代大规模的网络距离测量,不仅提高了系统的响应速度,还减少了系统对广域网造成的压力。通过在广域网上部署爬虫节点,构建分布式搜索引擎,应用该调度策略进行实验,验证了系统性能有较大提高。
|
| 关 键 词： | 分布式爬虫 任务调度 负载均衡 网络测量 全局网络定位 |
| 本文献已被 CNKI 万方数据 等数据库收录！ |
| 点击此处可从《计算机应用研究》浏览原始摘要信息 |
|
点击此处可从《计算机应用研究》下载全文 |
|
