首页 | 本学科首页   官方微博 | 高级检索  
     

面向海量网络数据的收集方法研究与分析
作者姓名:鲜敏
作者单位:陕西省地震局,西安 710068
摘    要:网络爬虫是当前应用最普遍的针对海量网络数据的收集方法,其通过一定规则和URL自动抓取互联网信息及数据,主要是由程序来实现的.研究和分析了海量网络数据收集方法的理论基础,针对微博用户信息数据收集,提出了一种基于Scrapy框架的爬虫方法.

关 键 词:网络数据  爬虫  微博  Scrapy框架
本文献已被 万方数据 等数据库收录!
设为首页 | 免责声明 | 关于勤云 | 加入收藏

Copyright©北京勤云科技发展有限公司  京ICP备09084417号