基于灰盒模型的Hadoop MapReduce job参数性能分析与预测

针对传统使用统计机器学习对Hadoop MapReduce job参数性能预测时完全基于黑盒模型,预测精度不高且不具有扩展性等问题,提出一种结合黑盒和白盒的灰盒预测方法。定性分析了MapReduce job配置参数对job性能的影响;基于局部加权线性回归分别对job的map task和reduce task性能进行预测;实现Hadoop调度器模拟器,并利用调度器模拟器对预测的job map task和reduce task进行调度,计算job执行时间,达到预测job性能目的。实验通过对比传统基于黑盒方法的预测效果,表明灰盒模型有更好地预测精度,并且可以完成集群规模变化后的job性能预测。     

Hadoop视角下的Nutch爬行性能优化

通过对Nutch MapReduce job配置参数调优而优化Nutch爬行性能。以Hadoop视角梳理Nutch爬行过程,并基于此详细分析Nutch MapReduce job的工作流特性;对Nutch爬行时MapReduce job进行持续监测,生成优化参数并代入下一轮相同类型的job运行中,从而达到优化目的;通过选取合适的间隔监测值平衡集群环境误差和监测负载以改进优化效果。经过实验测试,Nutch的爬行性能提高了5%~14%,且当监测间隔值为5时有最好优化效果     

基于主题聚簇评价的论坛热点话题挖掘

热点话题挖掘是舆情监控的重要技术基础。针对现有的论坛热点话题挖掘方法没有解决数据中词汇噪声较多且热度评价方式单一的问题,提出一种基于主题聚簇评价的热点话题挖掘方法。采用潜在狄里克雷分配主题模型对论坛文本数据建模,对映射到主题空间的文档集去除主题噪声后用优化聚类中心选择的K-means++算法进行聚类,最后从主题突发度、主题纯净度和聚簇关注度三个方面对聚簇进行评价。通过实验分析得出主题噪声阈值设置为0.75,聚类中心数设置为50时,可以使聚类质量与聚类速度达到最优。真实数据集上的测试结果表明该方法可以有效地将聚簇按出现热点话题的可能性排序。最后设计了热点话题的展示方法。     

VMOffset:虚拟机自省中一种语义重构改进方法

虚拟机自省是一种在虚拟机外部获取目标虚拟机信息,并对其运行状态进行监控分析的方法.针对现有虚拟机自省方法在语义重构过程中存在的可移植性差、效率较低的问题,提出了一种语义重构改进方法VMOffset.该方法基于进程结构体成员自身属性制定约束条件,可在不知道目标虚拟机内核版本的情况下,自动获取其进程结构体关键成员偏移量,所得偏移量可提供给开源或自主研发的虚拟机自省工具完成语义重构.在KVM（kernel-based virtual machine）虚拟化平台上实现了VMOffset原型系统,并基于不同内核版本操作系统的虚拟机,对VMOffset的有效性及性能进行实验分析.结果表明：VMOffset可自动完成各目标虚拟机中进程级语义的重构过程,具有可移植性与安全性,且仅对目标虚拟机的启动阶段引入0.05%之内的性能损耗.     

P2P节点智能选择机制的研究与实现

对对等网络（P2P）的流量问题进行了分析,指出P2P流量问题产生的原因。融合网络运营商、地理位置等信息,提出了一种节点智能选择机制。该机制优先选择属于相同运营商和地理位置接近的节点作为数据交换对象,最大限度地将数据流量控制在本地网络和同一运营商的网络中,从而减少骨干网和网络出口的负载,同时提高了数据传输性能。在Bit Torrent (BT)系统中融合智能选择机制后,Tracker智能选择的节点在往返时延、路由跳数上均得到优化,实验数据表明该机制能有效减少“流量旅行”,提高P2P传输效率。     

PPLive网络电视系统的测量研究

对PPLive进行了系统的研究,提出了相应的爬虫设计方案,并以该爬虫为平台对PPLive网络进行了相关的主动测量,最后给出了PPLive用户行为特征的相关分析。研究结果为PPLive或其他基于P2P 的IPTV系统测量研究提供了有效的方法。     

基于影子内存的无代理虚拟机进程防护

为了提高虚拟机中进程的安全性,避免系统调用表SSDT和系统调用执行流被恶意挂钩,提出一种基于影子内存的无代理虚拟机进程防护方案。首先利用VMM的高特权级在虚拟机的非换页内存区透明构建一块影子内存,通过向影子内存透明注入SSDT和跳转函数,构建全新SSDT和系统调用执行流,保证SSDT和系统调用执行流的完整性。通过主动挂钩影子内存中的SSDT,利用硬件虚拟化的自动陷入机制检测进程的敏感行为,在VMM中过滤针对受保护进程的非法操作,实现无代理的进程防护。实验结果表明,该方案可以有效地对虚拟机中指定进程进行防护并过滤大部分的rootkit攻击,对虚拟机性能的影响在3%以下。     

基于隐主题分析的中文微博话题发现

针对高维、稀疏的中文微博数据, 提出一种多步骤的新闻话题发现方法。首先结合微博的传播特点, 选取出不同时间窗口中具有较高新闻价值的微博文本; 再利用隐主题模型挖掘微博内容中隐含的主题信息, 并在此基础上进行文本聚类; 最后使用频繁项集挖掘技术获取话题关键词集合。该算法能够较好地实现对中文微博数据的降维与话题发现。真实的微博数据集实验结果验证了该方法的有效性。     

基于告警属性聚类的攻击场景关联规则挖掘方法研究

针对现有攻击场景重构方法中存在关联规则挖掘不充分、攻击场景链断裂的问题,以及安全设备的误告警影响攻击场景重构准确性的现状,提出一种基于告警属性聚类的攻击场景关联规则挖掘方法。该方法能够有效挖掘攻击场景关联规则,减少攻击链断裂,还原实际的多步攻击,更好地帮助安全管理员深入理解攻击者入侵行为并掌握攻击全貌。以真实网络中的安全设备的原始告警为数据源,首先,对原始告警数据进行预处理,实现告警数据的归一化。然后,通过构建告警时间序列,利用FFT和Pearson相关系数对误告警周期特性进行分析,生成误告警过滤规则。接着,提出一种基于动态时间阈值的告警属性聚类方法,通过告警属性相似性刻画告警间相似度,并根据告警发生的时间间隔结合动态时间阈值方法更新聚类时间,对属于同一攻击场景的告警进行聚类。最后,利用Apriori频繁项挖掘算法生成攻击场景序列模式,并对具有重复攻击步骤的攻击场景序列模式进行融合生成关联规则。在四川大学校园网真实环境中进行实验,结果表明所提方法可有效缓解攻击链断裂问题和误告警的影响,相较于对比方法可有效提升生成的攻击场景关联规则的完整性。