首页
|
本学科首页
官方微博
|
高级检索
文章检索
按
中文标题
英文标题
中文关键词
英文关键词
中文摘要
英文摘要
作者中文名
作者英文名
单位中文名
单位英文名
基金中文名
基金英文名
杂志中文名
杂志英文名
栏目英文名
栏目英文名
DOI
责任编辑
分类号
杂志ISSN号
检索
检索词:
出版年份:
从
到
被引次数:
从
到
他引次数:
从
到
提示:输入*表示无穷大
全文获取类型
收费全文
1篇
免费
0篇
专业分类
自动化技术
1篇
出版年
2018年
1篇
排序方式:
出版年(降序)
出版年(升序)
被引次数(降序)
被引次数(升序)
更新时间(降序)
更新时间(升序)
杂志中文名(升序)
杂志中文名(降序)
杂志英文名(升序)
杂志英文名(降序)
作者中文名(升序)
作者中文名(降序)
作者英文名(升序)
作者英文名(降序)
相关性
共有1条查询结果,搜索用时 0 毫秒
1
1.
主动获取式的分布式网络爬虫集群方法研究
董禹龙
杨连贺
马欣
《计算机科学》
2018,45(Z6):428-432
针对当前分布式网络爬虫方法遇到的处理效率、扩展性、可靠性、任务分配和负载平衡等问题,提出了一种主动获取任务式的分布式网络爬虫方法。该方法在子机节点中加入分控模块,评估节点负载及运行状况,并主动向中控节点申请任务队列。在此基础上,结合动态双向优先级任务分配算法,设计了一种具有负载平衡、任务分级分配、节点异常敏捷识别、节点安全退出等特性的分布式网络爬虫模型。实际测试表明,该主动获取式的分布式网络爬虫方法可有效地利用通用平台建立大型分布式爬虫集群。
相似文献
1
设为首页
|
免责声明
|
关于勤云
|
加入收藏
Copyright
©
北京勤云科技发展有限公司
京ICP备09084417号