基于众包的社交网络数据采集模型设计与实现

社交网络数据信息量大、主题性强,具有巨大的数据挖掘价值,是互联网大数据的重要组成部分。针对传统搜索引擎无法利用关键字检索技术直接索引社交网络平台信息的现状,基于众包模式,采用C/S架构,设计社交网络数据采集模型,包含服务端、客户端、存储系统与主题Deep Web爬虫系统4个模块。通过主题Deep Web爬虫的分布式机器节点自动向服务器请求爬虫任务并上传爬取数据,利用Hadoop分布式文件系统对爬取数据进行快速处理并存储结果数据。实验结果表明,主题Deep Web爬虫系统配置简单,支持功能扩展和目标信息直接获取,数据采集模型具有较快的数据获取速度及较高的信息检索效率。     

网络性能测量系统架构的研究与设计

随着互联网规模的不断壮大,网络用户数量不断增多,如何进行网络实时检测与分析,对网络的设计和应用提出严峻的考验,这就需要对网络进行实时检测,并且根据分析结果进行处理。所以,网络性能测量平台的研究与实现很有必要。介绍网络测量的基本概念和主要技术,在此基础上,着重分析网络测量系统的架构设计以及实现,进而对测量结果进行数据分析,发现网络异常,提出可行的解决方案。     

一种基于模拟登录的微博数据采集方案

随着Web 2.0时代的到来,舆情信息在微博上能够更快速的产生和传播。为了有效地分析微博舆情信息,微博数据的获取显得尤为重要。文中以新浪微博为研究对象,提出了基于模拟登录的网络爬虫采集方案。此方案解决了调用微博API接口对开发者的次数限制,解决了传统的网络爬虫需要身份验证的问题,加快了微博数据的采集速度,可以在短时间内获得海量的微博数据。实验表明,用该方案开发的系统具有快速的微博信息采集速度,更加灵活,可以很好地为舆情系统分析提供大量准确的数据支持。     

大规模网络拓扑探测和路径性能测量方法研究

网络拓扑探测和路径性能测量是大规模网络性能测量中的重要部分,是优化网络结构、提升网络性能的基础;对大规模网络环境下的拓扑探测和路径性能测量的关键技术进行了研究,针对传统Doubletree网络拓扑探测算法的不足,提出了一种改进后的算法Boftree,经过实验分析,在探测到相同节点数量的前提下,新算法减少了路径探测次数和探测过程中产生的网络传输开销;并介绍了一种基于矩阵理论的网络路径性能准确重建方法,该方法把网络路径中的链路性能参数抽象为矩阵元素,通过求解矩阵方程,得到网络中所有路径的性能参数值。