排序方式: 共有1条查询结果,搜索用时 15 毫秒
1
1.
分布式网络爬虫的设计与实现 总被引:1,自引:0,他引:1
提出一种可部署于单一网域及多网域间的分布式爬虫DSpider。DSpider能够通过调整节点规模和连接超时阈值,有效部署于LAN和WAN两种网络环境中。首先简要介绍了DSpider的系统结构,然后详细分析了DSpider的任务调度策略,并且在实验中将DSpider爬虫部署在LAN和WAN两种环境中的不同性能作了详细的分析。 相似文献
1