|
|||||
|
|
| 基于Scrapy的网络爬虫设计与实现 | |
| 引用本文： | 云洋.基于Scrapy的网络爬虫设计与实现[J].电脑编程技巧与维护,2018(9):19-21,58. |
| 作者姓名： | 云洋 |
| 作者单位： | 山东省青岛第五十八中学,山东 青岛,266101 |
| 摘 要： | 互联网中包含大量有价值的数据,网络爬虫通过既定规则可以自动地抓取互联网的网页数据并下载至本地存储.研究了网络爬虫的工作原理和Scrapy框架模块,提出了基于Scrapy框架构建工程化网络爬虫爬取定向网页数据的4步流程法,基于此方法步骤构建网络爬虫实现2018年高校自主招生简章数据的爬取和存储.实验结果证明,基于Scrapy框架可有效快捷地构建工程化网络爬虫. |
| 关 键 词： | Python语言 网络爬虫 Scrapy框架 4步流程 |
| 本文献已被 万方数据 等数据库收录！ | |