Deep Web爬虫的一种增量式更新策略

为了在网络及计算机硬件等资源有限的前提下,最大限度地保证本地副本的新鲜程度,往往需要为Deep Web爬虫定制一个重爬机制。为了满足这种需求,提出了一种基于采样的增量式Deep Web更新方法,使用贪心策略分配爬虫资源,以最大限地的提高资源利用率。经实验验证,该方法取得了比较优异的结果。     

BitTorrent网络主动测量技术与特性分析*

对BitTorrent进行了系统的研究,详细阐述了一种用于测量BitTorrent网络拓扑的爬虫设计与实现,并通过主动测量所获取的信息分析研究了BitTorrent的网络节点分布情况、在线节点周期特性、扩散跟踪、做种节点变化趋势,研究结果为BitTorrent网络的监管提供了良好的依据。     

搜索引擎中网络爬虫策略在烟草行业中的应用研究

搜索引擎中网络爬虫是一个重要组成部分,在行业搜索引擎中数据的查全查准得依靠网络爬虫对海量数据的抓取作用,网络爬虫如何在行业中发挥重要作用抓取出高效数据呢?将以烟草行业为例,针对网络爬虫的各个策略如深度优先策略、广度优先策略等策略分析其在行业搜索引擎中的应用。     

一种基于Kademlia的全分布式爬虫集群方法

针对将海量爬虫节点组织成全分布式爬虫集群所遇到的高效、均衡、可靠、可拓展等问题,提出了一种基于Kademlia的全分布式爬虫集群方法。该方法通过改进的Kademlia技术建立起爬虫节点间的底层通信机制。在此基础上,根据Kademlia的异或特性及节点的可用资源情况,设计并实现具有任务划分、异常处理、节点加入退出处理及负载均衡的全分布式爬虫集群模型。在实际网络系统上的实验结果表明,该方法能有效利用海量弱计算终端的计算、存储和带宽资源,构建高效、均衡、可靠、可大规模拓展的全分布式爬虫集群。     

分布式Web信息采集系统的设计与实现

Web信息的急剧增长,给信息的有效使用带来了巨大挑战.作为搜索引擎的重要组成部分,Web信息采集扮演着越来越重要的角色.文中从并行性、负载均衡、体系结构以及可扩展性这4个方面详细讨论了分布式Web信息采集系统的设计与实现.经验证,该分布式Web信息采集系统能够实现负载均衡,并具有良好的可扩展性.     

中小型网站智能安全检测研究

随着互联网的发展及经济利益的驱动,黑客已将攻击重点转到web应用服务器上,由此危害了服务器安全及客户端安全。针对这一现状,文章首先采用广度优先算法实现网络爬虫来获取目标网站的架构信息;然后用网页动态参数判定、网站架构分析、信息智能识别等技术对网站安全进行辅助检测,用正则表达式过滤非法跨站请求,实现跨站脚本攻击检测;最后,用正则表达式和Python强大的库资源编程实现了应用安全的实时检测和评估功能。实验表明：该系统在一定程度上减少了Web恶意攻击行为所带来的损失,提高了应对网页信息安全突发事件的响应速度。     

QVOD资源爬行系统的研究与实现

目前,互联网上大量QVOD网站通过QVOD资源服务器发布盗版、暴力低俗等违规视频节目。为对QVOD网站发布的资源进行监管,文章在研究了QVOD资源发布过程、发布方式以及QVOD资源播放链接在网站中的特征等内容后,实现了一款QVOD资源爬行系统,通过11天时间爬行了35个QVOD资源发布网站,获得了261万条QVOD播放链接。实验表明,QVOD资源爬行系统能够高效采集QVOD网站中的QVOD播放链接。本系统为QVOD资源发布网站的监管提供了可靠的基础,也可为其他Web爬虫的设计提供了参考。     

基于HTMLParser和HttpClient的网络爬虫原理与实现

介绍了网络爬虫的技术原理,给出了使用HTMLParser、HttpClient和Java实现简单网络爬虫的程序框架,对同类研究有一定的参考作用.     

微博信息采集及群体行为分析

随着在线社会关系网络的迅猛发展,每天数以千万计的人通过发表、评论、分享等方式,产生和传播各类话题.对在线社会关系数据的感知与收集、存储管理、群体行为等进行研究,能更好地挖掘和分析社会关系网络.由于微博平台的登录、数据显示与处理等方面与传统网络平台有很大差异,传统网络爬虫不适于对微博信息的全面抓取.本文采用模拟用户浏览行为方法来爬取海量微博数据,通过数据包截取与分析等手段获取相关信息.实验结果表明该方法的有效性.在此基础上,以收集的微博数据为研究对象,对群体行为进行了分析.     

基于DBSCAN算法的网页正文提取

针对网页正文提取问题,提出一种基于分段因子的方法对网页源文件进行过滤得到纯文本段,将每段看作二维空间中的一个点,利用DBSCAN聚类算法对这些点进行聚类得到正文内容。该方法复杂度低,并且不依赖于网站布局风格,适应性强。对各大国内外新闻类网站进行实验,结果表明,该方法对中英文新闻类网站的正文提取效果明显,具有较高的平均准确率。