基于网络爬虫的新浪微博数据分析网站的建立 |
| |
引用本文: | 赖敬之.基于网络爬虫的新浪微博数据分析网站的建立[J].通讯世界,2018(2):73-74. |
| |
作者姓名: | 赖敬之 |
| |
作者单位: | 1.东南大学信息科学与工程学院211189; |
| |
基金项目: | 江苏省高等学校大学生创新创业训练计划项目 |
| |
摘 要: | 新浪微博作为国内最大的社交网站,蕴含着丰富的信息。本文实现了一个微博数据分析网站,该网站的后端利用爬虫实时抓取数据并存储到redis数据库中,前端利用ajax轮询技术和数据可视化技术将统计分析后的数据展示到网页。相对于直接调用新浪微博的API,网络爬虫获取数据的方式有更大的灵活性,可以获取到的数据也相对较多,但是也存在一些限制,其中最大的阻碍就是新浪微博的反爬虫技术,本文也将对如何突破反爬虫限制进行探讨。
|
关 键 词: | 新浪 爬虫 数据分析 |
本文献已被 维普 等数据库收录! |
|