| 基于微博API的分布式抓取技术 |
| |
| 引用本文： | 陈舜华,王晓彤,郝志峰,蔡瑞初,肖晓军,卢宇.基于微博API的分布式抓取技术[J].电信科学,2013,29(8). |
| |
| 作者姓名： | 陈舜华 王晓彤 郝志峰 蔡瑞初 肖晓军 卢宇 |
| |
| 作者单位： | 1. 广东工业大学计算机学院 广州510006
2. 广州优亿信息科技有限公司 广州510630 |
| |
| 摘 要： | 随着微博用户的迅猛增长,越来越多的人希望从用户的行为和微博内容中挖掘有趣的模式.针对如何对微博数据进行有效合理的采集,提出了基于微博API的分布式抓取技术,通过模拟微博登录自动授权,合理控制API的调用频次,结合任务分配控制器高效地获取微博数据.该分布式抓取技术还结合时间触发和内存数据库技术实现重复控制,避免了数据的重复爬取和重复存储,提高了系统的性能.本分布式抓取技术具有可扩展性高、任务分配明确、效率高、多种爬取策略适应不同的爬取需求等特点.新浪微博数据爬取实例验证了该技术的可行性.
|
| 关 键 词： | 新浪微博 爬取策略 分布式爬取 微博API |
A Distributed Data-Crawling Technology for Microblog API |
| |
| Chen Shunhua
,
Wang Xiaotong
,
Hao Zhifeng
,
Cai Ruichu
,
Xiao Xiaojun
,
Lu Yu.A Distributed Data-Crawling Technology for Microblog API[J].Telecommunications Science,2013,29(8). |
| |
| Authors: | Chen Shunhua Wang Xiaotong Hao Zhifeng Cai Ruichu Xiao Xiaojun Lu Yu |
| |
| Abstract: | |
| |
| Keywords: | Sina microblog crawling strategy distributed crawl microblog API |
| 本文献已被 万方数据 等数据库收录！ |
|
