用于神经网络异常检测模型的日志处理方法研究

针对在神经网络异常检测模型中日志分析处理存在的效率较低等问题,提出了一种基于词嵌入与word-level编码、charlevel编码相结合的日志数据处理方法,来实现提高异常检测模型日志数据处理效率。本文首先介绍了用于异常检测模型的日志预处理的基本流程;其次提出了词嵌入与两种编码相结合的日志向量化的表示方法,最后通过实验结果表明,提出的日志处理方法能够较好地提高异常检测模型中的日志分析处理效率。     

日志多维度无监督异常检测算法

在大规模的系统运维中,及时有效地发现系统事件中的异常行为,对于维护系统稳定运行有着重要作用.有效的异常检测方法可以使得系统的运维和开发人员快速定位问题并解决,保证系统快速恢复.系统日志作为记录系统运行信息的重要资料,是对系统进行异常检测的主要数据来源,因此基于日志的异常检测是当前智能运维的重要研究方向之一.本文提出了一种基于无监督的日志多维度异常检测算法,可在无需标注数据的前提下针对日志系统进行自动的数据解析和异常检测.通过使用基于频繁模板树的日志解析获取日志模板后,分别使用3种方法进行异常检测：以基于概率分布使用3-Sigma法判断单指标数值型异常,以基于主成分分析方法使用SPE统计量判断日志组异常,以基于有限自动机的方法判断日志序列异常.通过对超级计算机(Blue Gene/L)和Hadoop分布式文件系统(HDFS)的日志数据以及腾讯内部系统数据进行实验评估,结果表明本文提出算法在5个测试数据集上均有较好的表现.     

安全管理平台中基于云计算的日志分析系统设计

安全管理平台(SMP)是实现安全管理工作常态化运行的技术支撑平台,在实际应用中需要实时处理来自安全设备所产生的海量日志信息。为解决现有SMP中海量日志查询效率低下的问题,设计基于云计算的SMP日志存储分析系统。基于Hive的任务转化模式,利用Hadoop架构的分布式文件系统和MapReduce并行编程模型,实现海量SMP日志的有效存储与查询。实验结果表明,与基于关系数据的多表关联查询方法相比,该系统使得SMP日志的平均查询效率提高约90%,并能加快SMP集中管控的整体响应速度。     

基于共享内存的松耦合日志系统研究和设计

几乎所有的大型项目都有日志记录的需求,用于记录系统开发时的调试信息和运行时的各种状态信息,以便于软件系统的开发、调试与安全维护。为了提高日志记录在个人计算机内的效率,设计并实现一种基于共享内存的松耦合日志系统,改善以往内置式日志记录的高耦合性和低效性,能适应大多数系统的日志记录需求。通过分析比较,传统日志记录方式的时间代价与日志条数几乎成正比,而且当日志记录过多时会引发业务处理延时,对于实时性较高的系统是不允许的;使用该日志系统可以解决这些问题。使用该日志系统,可以快速地为新项目建立一个高性能的日志记录系统,提高程序的重用性,极大地减少企业在日志系统方面的开发与投入。     

仿真工程管理系统研究

仿真系统中存在不同的应用目的,涉及多种仿真想定、模型、数据、评估等内容,在多用户情况下仿真资源缺乏统一的管理,会严重影响了仿真系统的使用效率;为了提升仿真系统的使用效率,文章提出一种仿真工程管理的方法,利用共享内存实时采集MOM数据实现对邦员负载信息的有效监控;通过服务器统一收集XML格式仿真联邦运行数据和监控日志实现仿真运行回放;通过构建通用模型接口和评价体系实现了基于Web的仿真评估;基于B/S架构构建了仿真工程管理系统,可将模型和数据以仿真工程为单位进行统一管理,实现了对仿真运行的统一监控、数据的统一的收集与管理、评估模型管理和基于仿真试验数据的仿真评估,从而提高仿真系统的使用效率,减少仿真应用系统的集成工作量。     

SOTIMiner:一种基于集合运算的时序不变式挖掘方法

时序不变式反映了事件间的时序逻辑关系,被广泛应用于异常检测、系统行为理解、模型推理等技术.在实际使用中,一般通过分析软件系统的日志数据挖掘时序不变式.相比全序日志,偏序日志可为挖掘算法提供更为准确的数据来源.但是,现有的基于偏序日志的时序不变式挖掘方法存在效率较低等问题.为此,以系统执行路径为数据来源,提出了一种基于集...     

一种视频点播日志分析系统的设计与实现

视频点播系统产生大量日志信息,包括机顶盒注册、页面浏览、会话和全局会话负载均衡等日志信息。通过采集这些日志,可以分析出用户的点播流程和视频点播系统的运行状态等信息。对一种视频点播日志分析系统的体系结构进行分析,设计基于C/S架构的日志采集模块和基于多线程并行处理方式的日志分析模块,实现一个视频点播日志分析系统。仿真实验证明,多线程并行处理方式比单线程处理在日志分析的效率上明显提高。     

基于Chukwa的大规模日志智能监测收集方法

针对传统分布式计算模型和日志监控收集在编程实现上的困难、实际应用扩展性低和数据处理阶段耦合度高的问题,提出基于Chukwa的大规模日志智能监测和收集方法.在利用MapReduce并行计算模型以提高日志采集效率的基础上,提出数据监测收集阶段的细分方法和解耦过程,弥补MapReduce只能处理大文件数据的缺陷,进一步提高日志处理的灵活性和扩展性.该方法主要包括日志监测、日志收集、数据转存、数据应用几个步骤.实验验证了该方法能提高日志监测采集的效率,具备良好的实际使用价值.     

基于日志模板主题特征的日志异常检测

在系统安全领域,通过日志来检测软件或者系统异常是一种常用的安全防护手段。随着软件和硬件的快速发展,在大规模的日志记录上进行人工标记变得十分困难,目前已有大量的日志异常检测的相关研究。现有的自动化日志检测模型均使用日志模板作为分类,这些模型的性能以及实用性很容易受到日志模板变化的影响。因此,基于日志模板主题特征的日志异常检测模型LTTFAD被提出,LTTFAD首次引入了LDA主题模型以提取日志模板的主题特征并且通过循环神经网络LSTM实现异常检测。实验结果表明,在HDFS和OpenStack数据集上基于日志模板主题特征的日志异常检测模型LTTFAD的查准率、查全率和调和分数等性能指标均明显优于现有基于日志模板的日志异常检测模型。此外,对于新日志模板的注入,LTTFAD模型依然具有较高的稳定性。     

EAST电源数据采集控制系统的设计与实现

随着EAST装置不断升级,现有的电源数据采集及其控制系统已不能满足等离子体长时间放电要求,需设计新型EAST电源数据采集控制系统.该控制系统采用LAMP架构,对采集参数管理加入多种安全验证,实现了数据采集系统的远程启动、实时监测、异常检测、故障恢复和日志管理,解决了原有系统移植性差和安全性弱等问题;此外通过对实验数据进行有效性分析,并对有效实验数据的关键参数进行统计,实现了基于数据内容的检索.实验结果表明,该系统能够稳定运行,可有效降低人为故障,缩短异常处理时间,具备良好的扩展性和移植性,对EAST其他子装置的数据采集及其控制系统的升级有很好的参考价值.     

烟草商业企业信息化管理策略研究

信息技术的发展普及,掀起了一股技术革命浪潮。目前,各个行业和领域都开始应用信息化管理,烟草商业企业也不例外。当前,我国烟草商业企业在信息化管理的实施过程中,遇到了一些问题,本文从资产信息化管理和人力资源信息化管理两个方面,对存在的问题进行了分析,并且提出了相应的策略。     

大数据时代数据管理方式的研究

各种各样网络的兴起和发展,半结构化及非结构化数据成几何倍数增长,数据规模和数据种类正以前所未有的速度增长,大数据时代已经来临。如何更好地管理和利用大数据已经成为普遍关注的话题。简要分析了数据库技术的发展历程,阐述了大数据时代数据管理方式,并对大数据时代数据管理方式作出了展望。     

A structured methodology for implementing engineering data management

One of the most significant positive effects on product and process development in recent years has been the application of data management techniques. Engineering data management or product data management is the most promising one. The implementation of engineering data management is heavily dependent on the engineering process and involves the technologies of management, engineering, and information. However, as there is no commonly acceptable approach and methodologies for implementing engineering data management, it’s implementation becomes a bottleneck.This paper presents a structured methodology for the implementation of engineering data management. The approach consists of a series of steps, from business and engineering process analysis, modeling and reengineering, through system design and modeling, to system realization.This research will facilitate engineering process improvement and the planning, design and implementation of engineering data management. Consequently, it will help increase product development capability and quality, reduce development cycle time and cost, and hence increase product marketability.     

高校教师教学资源管理系统中异常处理模式分析

在高校教师教学资源信息系统开发过程中,异常处理是非常重要的一个环节,java已经提供了一种良好的异常处理机制。目前流行的MVC框架均提供了异常的处理拦截器,合理的异常处理机制将会提高信息系统开发中异常管理的效率。     

Research on Concurrent Engineering Oriented Integrated Product Development Process Management System

In concurrent engineering, effective process management is the key to improve the efficiency and quality of product development. Although in project management system, workflow management system and PDM system, process management functions are provided, they can not meet the needs of product development. In this paper, we integrate the project management, workflow management and product management technique together and a concurrent engineering oriented integrated product development process management system is proposed. The system structure, integrated product development model and running method are introduced. The practice proves this system is powerful in supporting product development process.     

Exception handling refactorings: Directed by goals and driven by bug fixing

Exception handling design can improve robustness, which is an important quality attribute of software. However, exception handling design remains one of the less understood and considered parts in software development. In addition, like most software design problems, even if developers are requested to design with exception handling beforehand, it is very difficult to get the right design at the first shot. Therefore, improving exception handling design after software is constructed is necessary. This paper applies refactoring to incrementally improve exception handling design. We first establish four exception handling goals to stage the refactoring actions. Next, we introduce exception handling smells that hinder the achievement of the goals and propose exception handling refactorings to eliminate the smells. We suggest exception handling refactoring is best driven by bug fixing because it provides measurable quality improvement results that explicitly reveal the benefits of refactoring. We conduct a case study with the proposed refactorings on a real world banking application and provide a cost-effectiveness analysis. The result shows that our approach can effectively improve exception handling design, enhance software robustness, and save maintenance cost. Our approach simplifies the process of applying big exception handling refactoring by dividing the process into clearly defined intermediate milestones that are easily exercised and verified. The approach can be applied in general software development and in legacy system maintenance.     

RFID技术在社区管理系统中的应用研究

物联网应用已经改变了原有的社区管理模式。本研究利用射频识别技术(Radio Frequency Identification,RFID)研发新型社区管理系统。系统包含“业主进出管理系统”、“社区访客管理服务”、“业主安全管理服务系统”、“业主异常管理服务系统”四个子系统。经实际使用,发现系统不仅提高了社区服务质量,减少人力支出,还大大简化了社区管理流程,降低了行政管理过程中的复杂性。     

嵌入式微处理器NCS保护方式的异常与中断研究

保护方式下的异常与中断管理是微处理器设计的重要组成部分,文中探讨了异常与中断的数据结构、定义,表,给出了保护方式下的异常与中断管理算法;提出了异常／中断管理单元（ＥＩＭＵ）的细胞群结构,并指出细胞是异常／中断管理单元的基本测试单位;系统评价了任务门,中断门／陷阱门区别及优特点;最后用ＥＤＡ工具ＭＥＮＴＯＲ ＧＲＡＰＨＩＣＳ对异常与中断管理单元及其算法的ＲＴＬ级ＶＨＤＬ描述进行综合与仿真,验证了其正     

ETL过程的调度控制管理研究

对抽取、转换、装载（extract，transform，load，ETL）过程的元数据、调度控制管理进行研究，着重研究数据处理流程之间的逻辑关系，以及如何依据这些逻辑关系以及关联数据处理流程的执行状态，合理地对数据处理流程进行调度控制。通过研究这些问题，给出了ETL元数据管理、规划管理、执行管理以及异常处理的处理办法，并提出了一套调度控制管理流程。     

Architecture for knowledge discovery and knowledge management

In this paper, we propose I-MIN model for knowledge discovery and knowledge management in evolving databases. The model splits the KDD process into three phases. The schema designed during the first phase, abstracts the generic mining requirements of the KDD process and provides a mapping between the generic KDD process and (user) specific KDD subprocesses. The generic process is executed periodically during the second phase and windows of condensed knowledge called knowledge concentrates are created. During the third phase, which corresponds to actual mining by the end users, specific KDD subprocesses are invoked to mine knowledge concentrates. The model provides a set of mining operators for the development of mining applications to discover and renew, preserve and reuse, and share knowledge for effective knowledge management. These operators can be invoked by either using a declarative query language or by writing applications.The architectural proposal emulates a DBMS like environment for the managers, administrators and end users in the organization. Knowledge management functions, like sharing and reuse of the discovered knowledge among the users and periodic updating of the discovered knowledge are supported. Complete documentation and control of all the KDD endeavors in an organization are facilitated by the I-MIN model. This helps in structuring and streamlining the KDD operations in an organization.