主流开源爬虫框架比较与分析

网络爬虫是搜索引擎与信息检索的基础工具,在信息采集、信息过滤等场景中有着广泛的应用。本文首先介绍了URL链接库、文档内容模块、文档解析模块等爬虫基础概念,然后对比分析了Nutch、Heritrix、Larbin、Scrapy等主流开源爬虫框架。     

网络舆情监测的数据采集与文本分类技术分析

在这个信息爆炸的网络时代,基于网络与社会舆论而诞生的网络舆情,成为社会、国家关注的研究重点之一,构建互联网时代的舆情监控体系成了当前信息化时代的迫切需求。文章从网络舆情分析与监管的意义入手,介绍了国内外关于网络舆情监测的研究,围绕舆情采集、数据预处理、文本分类技术大致介绍了网络舆情研究的关键技术与步骤。     

基于Python的电商书籍数据爬虫研究

随着互联网的迅速发展,电商已经成为人们主要的日常消费渠道。以购买计算机相关书籍为例,清楚了解众多种类书籍的相关信息成为一种需求。为解决这种需求进行了一种基于Python语言Scrapy爬虫框架的模拟登陆浏览器和网页解析技术的研究,将获取的电商书籍信息存入Mongo DB数据库或者本地硬盘以便后续进行数据分析。所实现的爬虫程序编程简单、性能稳定,能有效获取电商书籍数据。     

一种涉微信公众号违法犯罪的自动取证方法

设计并实现了一种涉微信公众号违法犯罪的自动取证方法。该方法将网络爬虫技术应用到涉微信公众号犯罪案件的取证中,自动登录微信公众号后台,利用网络爬虫获取目标公众号的所有的文章标题与地址,结合网页截屏技术自动保存目标文章内容。实验结果表明,该方法可以实现对微信公众号文章的远程、自动取证。     

针织原料价格的主题网络爬虫设计与实现

网络数据形式的多样性以及复杂程度对数据获取造成影响,为了能在互联网中获取自身需要的个性化数据,实现数据自动收集整理,利用数据库技术和主题网络爬虫技术,并将Python作为主要开发语言,设计基于Python的主题网络爬虫系统,实现针织原料成本的数据提取及关键字自动获取,并在互联网中对相关信息进行自动解析及检索。详细介绍系统的工作原理、体系结构、设计开发过程及实现过程。实践证明,所设计的主题网络爬虫系统能够快速获取原料价格信息,为后续数据的挖掘研究提供了支持。     

基于Timed-PageRank的聚焦爬虫优化研究

传统的基于PageRank算法的网络爬虫在抓取网页时由于只考虑了网页的超链接,势必会使爬虫结果覆盖面广、冗余度高,聚焦爬虫由于其可以有效地过滤与主题无关的链接,只保留有用的链接并将其加入到待抓取的URL队列,因此能够有效地降低爬虫冗余;在分析PageRank算法的基础上,将网页的时间维数和页面的内容相关度融于其中,提出了基于Timed-PageRank的改进算法,并将该算法应用于聚焦爬虫过程中,实践证明该算法能够有效地提高爬虫页面相关度及检索结果的查全率和查准率。     

基于Scrapy的商品评价获取系统设计

随着电子商务的迅速发展和竞争愈加激烈,对于电商平台上第三方卖家而言,如何准确获取商品评论信息从而正确选择上架的商品变得愈来愈重要。目前第三方卖家在获取商品评价工作上主要依赖于人工收集信息,不仅效率十分低下,并且准确度得不到保障。为了帮助电商平台上第三方卖家高效并准确地解决这一问题,文中设计出了一种基于网络爬虫的商品评价获取工具。该工具实现了对一个畅销商品类目下的所有商品评论进一步细化与筛选,为用户提供更加直观的商品指标,同时固化存储商品评论为后续的进一步优化提供数据源。该系统主要技术采用Scrapy框架,开发语言采用Python2.7,经过测试后发现达到了良好的效果。