网络爬虫在网页信息提取中的应用研究

网络爬虫是为了实现网络资源下栽功能的程序,是搜索引擎最重要的构件。考虑到网络上信息的种类繁多,研究一种基于网络爬虫的网页信息提取技术,并给出相关的设计方案,对设计方案进行验证,结果表明设计的可行性。     

即时定向新闻采集技术研究

互联网的迅速发展带动了信息量的爆炸性增加。如何更快地采集所需信息一直是国内外研究和开发的热点。近年来,不断增长的对特定信息(例如特定领域的新闻)的需求要求有针对性地从指定的网站即时采集相关信息。这些新闻一般具有不可预见性、更新频率较快、时效性强等特点。这要求我们必须能针对这些特点实现即时定向的采集。本文提出了一种有效抓取网页并进行分析的方法,实践表明取得了满意的效果。     

基于Server酱的电子客票生成信息推送设计与实现

文章通过Python爬虫技术对中国铁路12306网站进行信息抓取并以数据流分析的方法生成有效的电子客票,为出行者提供最佳行程方案。12306网站开启自动提醒这一功能,通过多渠道将订阅的信息推送至客户,方便了出行迁徙的人,但缺点是刷新频率固化,碎片余票严重。一种基于Python爬虫技术的设计系统提出了很好的解决方案。该系统架构主要包括：调用12306官网的查询接口;采集并解析往返车次、站点码表等信息;以拼接技术手段处理数据流,突破固有频率实时查询余票信息;借助于第三方的信息推送工具Server酱发出实时信息。实验结果表明系统的优化算法能最大限度的将碎片余票集成应用,方案行之有效。     

面向增量同生主题的维吾尔文爬虫的研究

针对传统的主题爬虫对网页信息缺乏在知识层面上的处理和理解的问题进行了研究,提出了一种面向增量同生主题的维吾尔文爬虫,通过建立一个增量主题词库优化传统的主题模型,来描述维吾尔文关键词的应用语境及场景,提高了计算网页相关度的准确率。用改进的IC主题敏感算法来预测子页面优先级,过滤无关的网页地址。依据上述方法编写爬虫系统,用构建的维吾尔文语料库进行实验,表明了基于此模型的爬虫具有更好的稳定性和准确度。     

Python爬虫在导购系统中的应用

近年来,随着互联网的发展,出现了网上购物这种全新的购物方式。网上购物已经成为年轻人购物的主要方式。但网上的商品琳琅满目,如何挑选物美价廉的商品成为需要解决的问题,由此设计了一个基于Python爬虫的优惠券型导购系统。将淘宝、天猫、京东三大电商网站作为数据源,使用Python的requests、selenium等模块结合IP代理反反爬虫技术将商品信息与优惠券信息爬取下来,对信息进行数据清洗并存入mongo DB数据库中,由后台服务器程序整理数据,并在基于HTML5的安卓端APP展示出来供用户查看与选择。该系统简单高效,可以改善用户的购物体验,具有较高的实用价值。     

基于度排序的P2P IPTV分布式爬虫系统设计与实现

为了开发一款面向P2P网络电视主动测量研究的高性能爬虫系统,提出了一种基于节点度排序的节点信息爬行算法。该算法首先使用类似广度优先遍历的策略对网络电视覆盖网进行节点信息的初始爬行,然后对爬行结果获得的节点列表进行基于节点度大小的排序,最后将排序后的结果作为输入提供给分布式爬虫以实施节点信息的实时采集。实验结果表明,基于度排序的分布式爬虫系统相比现有的其他爬虫具有更快的爬行速度,该爬虫可以在30秒左右完成对一个拥有7200左右用户规模的流行节目的爬行。为采集准确的PPTV节点信息快照并实施主动测量研究提供了解决方案。     

基于DOM状态转换的隐网页信息抽取算法

由于网页大量包含动态Java Script脚本,造成大部分网页内容对传统的网页爬虫不可见。为此,提出一种基于DOM状态转换的隐网页信息抽取算法。该算法增量地构建DOM状态转换机,以DOM节点及其点击事件作为状态机的输入事件。对能够引起目标节点变化的转换路径进行递归搜索;通过重放点击路径,自动完成目标节点的内容抓取;通过覆盖监听器方法原型,获取DOM树中所有可点击的节点作为候选节点。该算法应用RTDM算法和自定义过滤器来对DOM状态空间进行压缩,以缩减搜索空间,定义DOM树中候选节点到目标节点的距离作为h打分,进行启发式搜索。实验表明,所研究算法性能优良,对隐网页内容的抽取准确率达到89.48%,可应用在网页自动化测试、网页爬虫等领域。     

基于网络爬虫的多媒体课件下载系统设计与实现

指定一个课件下载网站,利用网络爬虫技术,自动下载该网站中的所有课件并自动获取该课件对应的介绍文字,自动按照课件类别进行分类存储;实现任务定制下载、定时下载等多种下载方式;实现多进程、多线程并发下载;通过描述该系统设计中遇到的问题,提出解决这些问题的网络爬虫设计方案,并用Java语言设计实现.