| Selenium框架的反爬虫程序设计与实现 |
| |
| 引用本文： | 许景贤,林锦程,程雨萌. Selenium框架的反爬虫程序设计与实现[J]. 福建电脑, 2021, 37(1): 26-29 |
| |
| 作者姓名： | 许景贤 林锦程 程雨萌 |
| |
| 作者单位： | 泉州师范学院 陈守仁商学院 福建泉州 362000;泉州师范学院 陈守仁商学院 福建泉州 362000;泉州师范学院 陈守仁商学院 福建泉州 362000 |
| |
| 基金项目： | 泉州师范学院《校企协同电子商务创新创业人才培养体系改革研究》;泉州师范学院大学生创新创业《基于大数据分析的个性化旅行推荐系统》资助。 |
| |
| 摘 要： | 随着爬虫技术的发展,越来越多的网站加入了反爬虫技术.本文应用Python语言和Selenium框架设计一个爬虫程序,并在文中加入了反爬虫机制.该程序成功爬取了淘宝商品名称和价格等信息,并对所爬取的信息进行存储.结果表明,本文的爬虫程序可以绕过淘宝的反爬虫验证,且可以准确地获取所需的商品清单和得到商品的相关信息.
|
| 关 键 词： | 反爬虫 淘宝商品 Selenium 反爬虫程序 |
Design and Implementation of an Anti-Crawler Program in the Selenium Framework |
| |
| XU Jingxian,LIN Jincheng,CHENG Yumeng. Design and Implementation of an Anti-Crawler Program in the Selenium Framework[J]. Fujian Computer, 2021, 37(1): 26-29 |
| |
| Authors: | XU Jingxian LIN Jincheng CHENG Yumeng |
| |
| Affiliation: | (Tan Siu Lin Business School,Quanzhou Normal University,Quanzhou,China,362000) |
| |
| Abstract: | With the development of crawler technology,more and more websites are applied the anti-crawler technology.This paper uses Python language and selenium framework to design a crawler and employs the anti-crawler mechanism.The designed crawler successfully crawled and stored Taobao commodity name and price information.Results show that through the crawler program in this paper,we can bypass the anti-crawler verification of Taobao and accurately obtain the required commodity list and relevant information. |
| |
| Keywords: | Anti Crawler Taobao Products Selenium Anti Crawler Program |
| 本文献已被 维普 万方数据 等数据库收录！ |
