基于Heritrix的面向特定主题的聚焦爬虫研究

通过分析Heritirx开源爬虫的组件结构,针对Heritrix开源爬虫项目存在的问题,项目设计了特定的抓取逻辑和定向抓取包含某一特定内容的网页的类,并引入BKDRHash算法进行URL散列,实现了面向特定主题的网页信息搜索,达到了提高搜索数据的效率以及多线程抓取网页的目的。最后对某一特定主题的网页进行分析,并进行网页内容抓取,采用HTMLParser工具将抓取的网页数据源转换成特定的格式,可为面向主题的搜索信息系统以及数据挖掘提供数据源,为下一步研究工作做好准备。     

网络爬虫在网页信息提取中的应用研究

网络爬虫是为了实现网络资源下栽功能的程序,是搜索引擎最重要的构件。考虑到网络上信息的种类繁多,研究一种基于网络爬虫的网页信息提取技术,并给出相关的设计方案,对设计方案进行验证,结果表明设计的可行性。     

即时定向新闻采集技术研究

互联网的迅速发展带动了信息量的爆炸性增加。如何更快地采集所需信息一直是国内外研究和开发的热点。近年来,不断增长的对特定信息(例如特定领域的新闻)的需求要求有针对性地从指定的网站即时采集相关信息。这些新闻一般具有不可预见性、更新频率较快、时效性强等特点。这要求我们必须能针对这些特点实现即时定向的采集。本文提出了一种有效抓取网页并进行分析的方法,实践表明取得了满意的效果。     

基于Server酱的电子客票生成信息推送设计与实现

文章通过Python爬虫技术对中国铁路12306网站进行信息抓取并以数据流分析的方法生成有效的电子客票,为出行者提供最佳行程方案。12306网站开启自动提醒这一功能,通过多渠道将订阅的信息推送至客户,方便了出行迁徙的人,但缺点是刷新频率固化,碎片余票严重。一种基于Python爬虫技术的设计系统提出了很好的解决方案。该系统架构主要包括：调用12306官网的查询接口;采集并解析往返车次、站点码表等信息;以拼接技术手段处理数据流,突破固有频率实时查询余票信息;借助于第三方的信息推送工具Server酱发出实时信息。实验结果表明系统的优化算法能最大限度的将碎片余票集成应用,方案行之有效。     

面向增量同生主题的维吾尔文爬虫的研究

针对传统的主题爬虫对网页信息缺乏在知识层面上的处理和理解的问题进行了研究,提出了一种面向增量同生主题的维吾尔文爬虫,通过建立一个增量主题词库优化传统的主题模型,来描述维吾尔文关键词的应用语境及场景,提高了计算网页相关度的准确率。用改进的IC主题敏感算法来预测子页面优先级,过滤无关的网页地址。依据上述方法编写爬虫系统,用构建的维吾尔文语料库进行实验,表明了基于此模型的爬虫具有更好的稳定性和准确度。     

组织机构代码信息公众查询平台防治网络爬虫问题

随着互联网技术的逐渐成熟,公共部门通过公共网络服务平台对外提供服务已成为趋势,但这也造成源自网络的安全威胁的增加。本文对组织机构代码信息公众查询平台防治网络爬虫问题进行了分析,并针对该问题提出一些防护措施。     

面向Deep Web的Ajax查询接口技术研究

Deep Web网站采用Ajax技术后使得获取其数据信息更加困难。查询接口处理是获取Deep Web数据的关键步骤,针对采用Ajax技术的Deep Web查询接口,建立Ajax分析处理模型,解决传统爬虫无法完成表单提交的困难,从而获取到更多的Deep Web数据。实验结果证实,该方法是有效的。     

分布式开放存取期刊爬虫的设计与实现

开放存取（open access,OA）期刊属于网络深层资源且分散在互联网中,传统的搜索引擎不能对其建立索引,不能满足用户获取OA期刊资源的需求,从而造成了开放资源的浪费。针对如何集中采集万维网上分散的开放存取期刊资源的问题,提出了一个面向OA期刊的分布式主题爬虫架构。该架构采用主从分布式设计,提出了基于用户预定义规则的OA期刊页面学术信息提取方法,由一个主控中心节点控制多个可动态增减的爬行节点,采用基于Chrome浏览器的插件机制来实现分布式爬行节点的可扩展性和部署的灵活性。     

基于大数据技术的房价数据采集及可视化分析应用

在"房住不炒"定位下,住房选购成了广大市民比较关心的问题.把大数据分析技术引入到房价分析,利用Scrapy爬虫框架对广州房价线上数据的爬取,经清洗和可视化,把影响房价的要素以可视化的形式予以呈现.与传统方法相比,大数据分析技术在数据采集及可视化分析应用方面优势明显.