基于大数据的网络日志分析技术

传统的日志分析技术在处理海量数据时存在计算瓶颈。针对该问题,研究了基于大数据技术的日志分析方案:由多台计算机完成日志文件的存储、分析、挖掘工作,建立了一个基于Hadoop开源框架的并行网络日志分析引擎,在MapReduce模型下重新实现了IP统计算法和异常检测算法。实验证明,在数据密集型计算中使用大数据技术可以明显提高算法的执行效率和增加系统的可扩展性。     

Hadoop平台下的并行Web日志挖掘算法

当面对海量数据时,基于单一节点的Web数据挖掘存在时间和空间效率上的瓶颈.针对该问题,提出一种在Hadoop平台下实现Web日志挖掘的并行FP-growth算法,利用Hadoop分布式文件系统和MapReduce并行计算模型处理日志文件.实验结果表明,该算法的加速比能随着数据集的增大而提高,其执行效率优于串行FP-growth算法.     

基于Docker的大规模日志采集与分析系统

传统日志分析技术在处理大规模日志时存在效率低、功能简单、实际应用扩展性弱等问题.为解决这些问题,设计了基于Docker的大规模日志采集与分析系统.系统分为数据采集、数据缓存、数据转发、数据存储、数据检索和展示五层,支持从不同数据源采集各种类型的日志,通过Kafka消息队列提供可靠数据传输,利用Elasticsearch实现数据分布式存储和检索,并以可视化方式分析日志.同时采用Docker容器技术实现系统的快速部署和版本控制.该系统具有实时性、可扩展性、易部署等特点.实验结果表明了该系统可行有效,具有良好的实用价值.     

基于Chukwa的大规模日志智能监测收集方法分析

随着网络信息技术的发展,大规模日志智能监测收集方法与时俱进的创新,Chukwa方法及时应用,能够弥补传统处理方式的不足,同时,满足日志灵活性处理需要。Chukwa方法属于时代发展的产物,它具有较高的应用价值,能够在短时间内完成数据成功采集目的。本文首先对Chukwa方法简要介绍,然后重点探究Chukwa为基础的大规模日志智能监测收集方法,以便为相关研究人员提供借鉴,从整体上提高大规模日志智能监测收集方法利用率。     

基于大数据的网络安全态势感知平台应用研究

针对自然资源部原有安全资源管理分散、网络安全防御能力弱、难以追踪溯源威胁攻击等问题，结合大数据技术，提出一种基于MapReduce并行处理的Apriori算法，用于分析外网网络安全日志数据，并据此设计一套网络安全态势感知平台。通过在外网各个关键区域节点旁路部署潜伏威胁探针实现系统全流量的实时采集和监测。借助大数据分析工具、态势感知处理算法、攻击溯源可视化等组件，将网络安全事件进行多维度图形化的展现。仿真实验表明，经过MapReduce并行处理后，平台处理海量安全日志数据的效率得到了显著提高。平台可实现网络安全攻击事件的全局感知、攻击溯源和监控预警，能够保障自然资源部信息系统的安全健康运行。     

基于MapReduce的新会话识别方法

Web日志预处理因其输出结果的重要性而受到越来越多的重视,同时Hadoop对海量数据的分布式处理也得到广泛研究和应用,因此使用MapReduce进行Web日志预处理成为一种必然的发展趋势。为了提高会话识别结果的准确率,在分析会话识别算法研究现状的基础上,提出一种基于网络拓扑结构和动态阈值相结合的新会话识别方法并讨论其优势所在,接着用MapReduce模型实现新方法的分布式处理,最后通过对比实验分析验证MapReduce模型实现新算法的高效性和高精确度。     

众核与Spark结合的高速流量监测系统

互联网应用的广泛普及导致了互联网流量的高速增长,这给网络运营商运营带来了巨大挑战,传统的流量监测系统的性能和可扩展性已经无法满足运营商的需求.本文尝试将众核技术与Spark相结合,基于校园网流量,提出了众核与Spark结合的高速流量监测系统.其中,众核处理器负责高速的流量采集、处理以及流量日志生成;Spark平台负责存储流量日志数据,并对其进行高速并行分析;Web Server负责数据的可视化.本文以校园网DNS流量为监测对象充分验证了该方案的可行性与扩展性.     

MapReduce中连接负载均衡优化研究

数据分析和处理是大规模分布式数据处理应用中的重要任务。由于简单易用和具有灵活性, MapReduce编程模型逐渐成为大规模分布式数据处理系统（如Hadoop系统）的核心模型。由于所处理的数据可能不是均匀分布的,MapReduce编程模型在处理连接操作时,会出现数据倾斜问题。数据倾斜问题严重降低了MapReduce执行连接操作的效率。针对MapReduce中连接操作的数据倾斜问题,分析了造成MapReduce连接性能瓶颈的原因并建立负载均衡代价模型,提出了用范围分割方法控制连接过程中的数据倾斜问题实现负载均衡的策略。实验结果表明,所提方法明显提高了连接的效率。     

基于列存储的MapReduce并行连接算法

针对传统关系型数据库在对大数据进行操作时,系统性能严重下降、计算效率提升有限以及可扩展性差等问题,引入MapReduce并行计算模型,提出一种大数据上基于列存储的MapReduce并行连接算法。设计面向大数据的分布式计算模型,包括MapReduce分布式环境下的列存储文件格式MCF,采用协同定位策略实现对分布式存储的优化。使用分片聚集和子连接启发式优化方法,实现大数据在MapReduce分布式环境下并行连接算法。实验结果证明,在大数据分析处理中,该算法在执行时间和负载能力上有着较好的优化性能,同时具有良好的可扩展性。     

F1owS:一种MapReduce数据流公平调度方法

MapReduce Job的调度机制一直是学术研究的热点。在分析MapReduce数据流调度模型的基础上,提出一种面向MapReduce数据流的公平调度方法FlowS。该方法采用数据流池来分配资源以保证MapReduce数据流的隔离性,并且采用数据流池动态构建算法来确保资源的公平分配。实验表明,该调度方法可以有效提高Hadoop集群对MapReduce数据流的处理效率。     

一种适应数据与计算密集型任务的私有云系统实现研究*

与公有云计算相比,针对数据与计算双重密集型任务的私有云计算系统对计算效率和系统管理效率提出了更高的要求,目前的公有云计算系统显得过于复杂和繁琐,因此需要一种简便易用的能够适应数据与计算密集型任务的私有云计算系统实现。借鉴公有云计算的相关理论和实现方法,提出了一种针对数据与计算双重密集型任务的私有云计算系统实现方案。该方案通过作业文件描述用户的计算任务,确定计算任务的计算模型和计算的输入输出文件;针对私有云的特点,简化Google云计算系统的MapReduce并行处理框架,得到更加直观的数据计算模型;自动连     

可信系统与网络

容错计算学科领域,以IEEE国际容错计算会议为标志,发展了30年之后,于2000年定名为可信计算与通信。本文提供一些信息,报导一些新情况,供研究人员特别是我国科技管理人员参考。     

国内云计算研究现状与未来

云计算一直是学术界和企业界研究的热点,文章基于三大中文数据库提供的数据,从云计算研究现状以及基础设施即服务(IaaS)、平台即服务(PaaS)、软件即服务(SaaS)三方面研究现状对国内云计算的具体研究状况作出了统计、比较与分析,并对未来的发展做了具体的展望。希望通过一系列的研究与总结,对国内云计算的发展研究起到积极的推动作用。     

基于高速网络的广域高性能并行与分布式计算

本文试图说明以下观点：越来越多的高性能应用要求利用地理上分布的、各式各样的计算和数据资源。这些应用希望能够通过高速网络将地理上分布、异构的各种高性能计算机、数据服务器、大型检索存储系统和可视化、虚拟现实系统等连接并集成起来，形成一个网络虚拟计算机（称为元计算机），来实现应用计算问题。这种元计算实质上就是基于高速网络的广域高性能并行与分布式计算。     

Bringing Bacon home: The divergent progress of computer-aided historical research in Europe and the United States

This historiographical article surveys the different developmental trajectories of computer-aided historical research and teaching in Western Europe and in the United States, and seeks synergies which promise to enhance the discipline.     

云计算环境安全框架

本文针对流行的云计算技术,分析当前云计算的技术涵义,并指出云计算的安全是其核心问题。本文提出基于标识和访问控制服务（IacaaS）为核心的云计算安全框架解决方案,并给出该框架IacaaS服务的具体功能和实现过程。最后给出云计算未来发展发展提高方向。     

An Early Evaluation and Comparison of Three Private Cloud Computing Software Platforms

Cloud computing, after its success as a commercial infrastructure, is now emerging as a private infrastructure. The software platforms available to build private cloud computing infrastructure vary in ...     

一种基于Hadoop的云运维监控模型设计与实现

随着企业信息化在生产实时监测、海量存储和科学分析决策等方面的需求不断提升,运维监控系统已逐渐成为主要的管理手段。采用最新的云计算技术,设计及搭建一个数据规模易扩展、处理速度快、安全性高、成本低的云运维监控系统;针对运维控制系统中海量监控历史数据实时提取响应速度慢的缺点,设计并实现一种基于Hadoop的分布式海量数据处理模型。仿真实验证明,Hadoop在对云监控系统中的海量数据提取效率优于传统方法,随着数据量的快速增长,优势越明显。     

Runtime recovery actions selection for sporadic operations on public cloud

Sporadic operations such as rolling upgrade or machine instance redeployment are prone to unpredictable failures in the public cloud largely because of the inherent high variability nature of public cloud. Previous dependability research has established several recovery methods for cloud failures. In this paper, we first propose eight recovery patterns for sporadic operations on public cloud. We then present the filtering process which filters applicable recovery patterns. We propose an automation mechanism to automatically generate recovery actions for those applicable recovery patterns based on our resource state transition algorithm. We also propose a methodology to evaluate the recovery actions generated for the applicable recovery patterns based on the recovery evaluation metrics of Recovery Time, Recovery Cost, and Recovery Impact. This quantitative evaluation will lead to selection of the acceptable recovery actions. We propose two recovery actions selection mechanisms: one is based on user constraints of the recovery evaluation metrics, and the other one is based on Pareto set searching algorithm. We implement a recovery service and illustrate its applicability by recovering from errors occurring in the rolling upgrade operation on AWS cloud.     

实名计算在企业移动计算软件控制中的应用

本文针对目前企业移动计算存在的软件安全问题,阐明软件制造者的法律责任应当得到追究。简要介绍了软件数字签名技术、实名计算概念、原理及其技术体系,将已有的软件签名技术加以总结,给出了企业移动计算软件生命期管控机制基本框架,最后阐述了企业软件控制的必要性。