基于并行计算的海量日志分析系统实现

通过深入研究日志的类型和特点,设计并实现了一套基于并行计算的海量日志文件分析系统。该系统采用集群方式并行地收集日志文件,采用分布式文件系统存储,最终利用并行计算对日志进行分析处理。该系统实现了日志采集、分析的完全自动化处理,在系统部署之后能够有效地进行系统安全的维护、系统性能的优化、系统故障的排查。该系统结合云计算提高了日志分析的效率,解决了海量日志处理过程中存在的问题,为海量日志分析提供了一个完整有效的解决方案。     

Hadoop平台下的并行Web日志挖掘算法

当面对海量数据时,基于单一节点的Web数据挖掘存在时间和空间效率上的瓶颈.针对该问题,提出一种在Hadoop平台下实现Web日志挖掘的并行FP-growth算法,利用Hadoop分布式文件系统和MapReduce并行计算模型处理日志文件.实验结果表明,该算法的加速比能随着数据集的增大而提高,其执行效率优于串行FP-growth算法.     

入侵防御系统日志采集和存储的改进方法

针对高速网络环境下现有入侵防御系统(intrusion prevention system,IPS)日志采集速度和处理速度的不匹配、日志文件规模大而难以存储的问题,提出了采用循环缓冲队列的缓存机制,同步日志采集和处理操作方法.设计了预处理算法,删除冗余的日志记录,并使用极大文件集的日志存储策略,保存海量日志文件.实验结果表明,该方法适用于千兆网络环境,能够精简日志文件规模,保存更多的日志记录.     

基于文本策略和SMCS的海量日志分析方法

现有的海量日志统计分析方法速度慢,且对硬件配置的要求高。为此,提出一种基于文本策略和SMCS的海量日志分析方法。根据文件的软件设计策略,采用日志文件索引方法,将日志文件与日志时间关联,以加快日志提取。SMCS算法采用哈希表、文件归并、堆操作方法对海量日志进行统计分析和内存损耗控制。通过对真实软件进行对比实验,结果表明,该方法的分析速度比传统方法提高4倍。     

基于大数据的网络日志分析技术

传统的日志分析技术在处理海量数据时存在计算瓶颈。针对该问题,研究了基于大数据技术的日志分析方案:由多台计算机完成日志文件的存储、分析、挖掘工作,建立了一个基于Hadoop开源框架的并行网络日志分析引擎,在MapReduce模型下重新实现了IP统计算法和异常检测算法。实验证明,在数据密集型计算中使用大数据技术可以明显提高算法的执行效率和增加系统的可扩展性。     

基于数据仓库的海量搜索日志分析系统研究

针对传统分布式模型在海量日志并行处理时的可扩展性和并行程序编写困难的问题,提出了基于数据仓库的海量搜索日志分析系统架构.利用Hadoop分布式文件系统(HDFS)存储海量搜索日志,并对搜索日志进行清洗处理,采用impala对数据进行高速的处理,将处理后的统计结果导入到数据仓库中,使用Penta-hoBI对数据进行多维分析和统计报表.获取了关键词分析、查询频率、热词排行、查询词和时间分布、网站排名、用户统计等6个分析主题.分析结果对于搜索引擎的排序算法和系统优化都有一定的指导意义.     

可扩展的Web日志采集框架的设计与实现

以某网站所需的日志分析需求为背景,设计并实现了一种Web日志分析系统的前端日志采集框架.该日志采集方案没有采用传统的写日志文件然后轮训的方式进行日志收集,而是采用客户端/服务器的模式进行"自定义"格式的日志采集.该框架同样完全兼容传统的日志记录格式和记录方式.     

基于Chukwa的大规模日志智能监测收集方法

针对传统分布式计算模型和日志监控收集在编程实现上的困难、实际应用扩展性低和数据处理阶段耦合度高的问题,提出基于Chukwa的大规模日志智能监测和收集方法.在利用MapReduce并行计算模型以提高日志采集效率的基础上,提出数据监测收集阶段的细分方法和解耦过程,弥补MapReduce只能处理大文件数据的缺陷,进一步提高日志处理的灵活性和扩展性.该方法主要包括日志监测、日志收集、数据转存、数据应用几个步骤.实验验证了该方法能提高日志监测采集的效率,具备良好的实际使用价值.     

基于Hadoop的在线网络日志分析系统研究

网络日志分析对网络安全管理具有重要意义,但现有的网络日志分析系统具有无法处理海量日志数据、采用离线模式、处理时延较长等弊端。因此,提出网络日志数据的分级归档机制,实现海量数据的分级优化存储功能。通过将传统的网络日志分析模式和基于Hadoop的离线处理模式相结合,设计基于Hadoop的在线网络日志分析系统,并深入分析系统的功能架构和业务处理流程。实验结果表明:该系统具有良好的可扩展性,可以有效存储处理海量日志数据,具有较快的请求响应速度,并能够满足在线处理的要求。从而验证了系统设计的可行性和有效性。     

基于微过滤驱动的文件监控系统

文件安全访问控制,是银行自动柜员机安全的核心部分。采用微过滤模型的文件监控系统,将用户、进程和访问控制权限结合,实时监控文件,实现文件安全访问。同时,基于互斥锁的日志文件的操作,实现日志事件生成和写入日志文件的同步,提高了写日志的效率。该文件监控系统,增强了文件的安全性,提高了系统的稳定性。     

一种对象化并行计算框架

分布式计算、并行计算、内存计算是目前提高计算性能的关键技术和热点研究领域。在大数据环境下,针对数据型统计分析系统性能劣化明显、不能满足用户使用需求的问题,提出了一种轻量级高性能对象化并行计算架构,研制了该架构的对象服务组件、对象管理服务组件和客户端代理组件,并将该架构和组件在国家电网资产质量监督管理系统中进行了验证应用,其效果表明该框架能大幅提升大数据处理效率。     

云计算研究

云计算模式是在基础设施即服务（IaaS）、平台即服务（PaaS）、软件即服务（SaaS）、分布式计算、并行计算和网格计算等概念演进并产生的结果。云计算模式是一种全新的计算应用模式,将会成为人们获取服务的主导方式。本文首先介绍云计算在业界中的概念,接着分析云计算和相关计算,最后关于云计算发展的前景进行展望。     

分布式空间信息的对等协同计算机制研究*

海量空间信息的处理需要分布式协同工作的GIS平台支持。为解决空间数据源的异构和分布式网络中的计算能力共享问题,设计了分布式空间信息的协同计算模型,分析了分布式空间信息协同计算具备的基本特征;从空间数据分布存储模型、空间数据分布式计算协同和分布式空间数据并行索引等方面讨论分布式空间信息的协同计算技术体系,并提出现阶段可行的实现机制。分布式对等协同计算机制避免了集中式执行引擎带来的网络拥塞和单点失效问题,提高了海量空间信息资源和计算资源协作的可靠性和可用性。     

物联网的边界计算模型：雾计算

在物联网和云计算带来技术变革和带动产业发展的过程中,由于网络接入设备激增,而网络带宽有限的情况下,思科公司推出了雾计算的概念。首先探讨雾计算的特征和应用模式,然后分析雾计算的＂雾节点＂与云计算的＂云节点＂以及物联网的＂物节点＂的互操作方法,并总结了雾计算的用例,最后给出了前景展望。     

网格计算与对等计算的比较研究

对网格计算和对等计算从概念、目标、体系结构、组成团体、资源、安全需求、应用、基础架构和特征等方面进行了深入比较，总结了各自的特点，最后对二者的研究方向进行展望．     

Mobile Agent Connection Establishment and Management (CEMA)—Message Exchange for Pervasive Computing Environments

Pervasive computing is an emerging technology that offers new possibilities to distributed computing and computer networking; it employs a wide variety of smart, ubiquitous devices throughout an individual's working and living environment. Mobile agents are software entities that can migrate between servers (mobile agent environments) of the network accomplishing various tasks on the behalf of their owners. The objective of this paper is to describe a test and prototyping environment for experimenting with mobile agents in pervasive environments. A prototype environment for a novel, proactive infrastructure is described for mobile agent assisted pervasive computing. In addition, a new message passing algorithm is provided for mobile agent connection establishment and management (CEMA). Simulation results show the performance of the proposed approach.     

SPINEware – a framework for user-oriented and tailorable metacomputers

Computing networks in enterprises are rapidly growing not only in capacity but also in complexity. The users usually get faced with networking details and with a variety of heterogeneous computing systems. In the present paper, we present SPINEware as a facility for reducing the complexity of computer network usage. SPINEware is a facility that supports the development of working environments on top of existing computer networks. Such working environment reveals itself to the user as a powerful and easy-to-use single application environment – a metacomputer – providing uniform and network-transparent access to the resources and applications available from the computer network. To further reduce the complexity, SPINEware-based metacomputers may be tailored for particular end users and application areas.     

Population-based microbial computing: a third wave of synthetic biology?

Synthetic biology is an emerging research field, in which engineering principles are applied to natural, living systems. A major goal of synthetic biology is to harness the inherent “biological nanotechnology” of living cells for the purposes of computation, production or diagnosis. As the field evolves, it is gradually developing from a single-cell approach (akin to using standalone computers) to a distributed, population-based approach (akin to using networks of connected machines). We anticipate this eventually representing the “third wave” of synthetic biology (the first two waves being the emergence of modules and systems, respectively, with the second wave still yet to peak). In this paper, we review the developments that are leading to this third wave, and describe some of the existing scientific and technological challenges.     

Distributed programming languages: design and implementation

Considerable discussion has appeared in recent literature about ‘distributed programming’. One area of discussion concerns the design of programming languages which support distributed algorithms. This paper examines the important issues in programming language design for distributed computing, and presents an example of a language philosophy which supports program development for a distributed environment. It also discusses experiences with the STARMOD distributed programming language.     

云计算的发展与应用前景展望

随着大规模互联网应用的发展,分布式处理已经不能够满足互联网的发展要求。近几年提出云计算的构想并进行了初步的实现。通过研究,明确了何为云计算,云计算与传统的分布式计算的联系与区别,并对云计算在各领域中的应用进行了前景展望。