一个基于虚拟机的日志审计和分析系统

SNARE是Linux操作系统的一个日志审计和分析工具,但它容易受到攻击。提出了一个新的方法被用来保护它免受攻击。运用虚拟机监控器的功能,SNARE被移植到运行在虚拟机监控器Xen上的两个虚拟机中,SNARE的两个主要部分——Linux内核补丁和审计后台进程被分隔而分别放入两个被Xen强隔离的虚拟机。Xen提供了两个虚拟机间共享内存的机制,运用这一机制,运行在一个虚拟机上的Linux内核补丁记录并转移审计日志到运行在另一个虚拟机上的审计后台进程。与传统的SNARE相比,新方法使攻击者毁坏或篡改这些日志更加困难。初步的评估表明这个原型是简单而有效的。     

一种重构网站结构的Web日志挖掘数据预处理方法

在Web日志挖掘的过程中,数据预处理是整个Web日志挖掘过程的基础,其直接影响了日志挖掘的质量和结果.由于目前大多数网页都采用框架模式,而传统的预处理技术并没有针对frame页面进行过滤,即使过滤,也会导致页面结构的混乱,从而不能够为路径补充提供正确的信息.基于此,本文提出一种基于重构网站结构的Web日志挖掘数据预处理方法以及基于它的路径补充方法.     

防火墙

◆技术特色 “长城”防火墙结合了数据包过滤和代理服务两种主要的防火墙技术,从网络层到应用层都提供了完善的防护机制。NAT功能能够隐藏局域网内部的网络拓扑,并解决IP不足的问题;强大的身份认证使授权用户能够安全地使用防火墙提供的服务;DMZ功能可对公用服务器进行保护;完善的日志管理和报警机制为管理员提供了有效的监控手段,防止非法入侵的发生。     

开源日志分析可视化

导读 在实际工作中一旦置身在大量日志中，分析日志时间一长，极易出现视觉疲劳现象，造成错看或漏看。如果让日志能带上颜色并可视化，就能够缓解视觉疲劳快速定位故障日志。本文介绍的可视化技术是使用计算机图形学，以及图像处理的一种技术，将复杂的大量日志数据转换为方便查看的图形或者图像，为日志研究分析及处理打好基础。本文推荐三种方便实用的工具，这三款工具在Ubuntu和DebianLinux系统中均安装通过。     

分布式应用系统日志模型解析

为了使企业从已有的信息化分布式应用实例中沉淀公共的日志处理方法,实现日志的快速管理与分析,提出一套日志从生产到消费的全流程解析方法。梳理应用业务并分解出日志种类;确定不同种类日志中的行字段内容与字段类型,在此基础上设计日志统一模型,将日志内容分别写到不同的日志文件;结合开源组件,建立日志的分布式监测、过滤与存储分析系统,实现日志的统一管理与准实时挖掘分析。通过铁路人脸识别系统的日志应用表明,该模型具有很好的可读性、稳定性和扩展性,能快速实现分布式应用日志的统一管理与分析。     

华为3Com Quidway SecPath1000F防火墙

Quidway SecPath 1000F防火墙是华为3Com公司开发的新一代专业防火墙设备，可以作为中小企业的出口防火墙设备，也可以作为大中型企业的内部防火墙设备。支持外部攻击防范、内网安全、流量监控、网页过滤、邮件过滤等功能，能够有效地保证网络的安全；采用ASPF状态检测技术，可对连接过程和有害命令进行监测，并协同ACL完成动态包过滤；提供多种智能分析和管理手段，支持邮件告警，支持多种日志，提供网络管理监控，协助网络管理员完成网络的安全管理；     

利用Java二次开发UG NX

一、NX Open简介 UG NX是UGS公司在并购了SDRC公司后整合了UG和I-DEAS所推出的三维CAX软件,建模功能非常强大,但是其二次开发工具UG/Open和UG/Open 仍然是UG时代的产品,相对于强大的建模功能,其二次开发工具的功能显得有些不足.在经过两个版本的过渡后,UGS公司终于在UG NX3中引入了全新的二次开发工具NX Open.如图1所示,新的开发工具以COMMON API为基础,支持多个工具,如日志工具、NX Open系列工具和知识熔接工具等.日志工具则可以将交互状态下执行的操作以文件的形式记录下来,并能够进行编辑和重放,日志可以用VB、C 和Java等多种语言记录,极大地方便了二次开发.     

不要让日志文件夹失去控制使用CleanDir.js轻松管理日志文件夹

日志文件管理对于系统管理员来说是一件艰难的工作,因为不是所有的应用程序都内置了管理日志大小和数量的功能。比方说,微软IIS虽然提供了HTTP和SMTP流量的日志记录功能,但是却没有内置的工具来监视日志对磁盘空间的消耗情况。在我自己的服务器上,每隔一段时间我就需要使用Windows资源管理器来对文件按日期进行排序,然后手动删除那些陈旧的日志文件。     

基于微过滤驱动的文件监控系统

文件安全访问控制,是银行自动柜员机安全的核心部分。采用微过滤模型的文件监控系统,将用户、进程和访问控制权限结合,实时监控文件,实现文件安全访问。同时,基于互斥锁的日志文件的操作,实现日志事件生成和写入日志文件的同步,提高了写日志的效率。该文件监控系统,增强了文件的安全性,提高了系统的稳定性。     

基于日志自动机的业务流程混沌活动过滤方法

业务流程事件日志有时包含混沌活动,混沌活动是独立于流程状态且不受流程约束,会随时随地发生的一类活动。混沌活动的存在会严重影响业务流程挖掘的质量,因此过滤混沌活动成为业务流程管理的关键内容之一。目前,混沌活动的过滤方法主要是从事件日志中过滤不频繁行为,以高频优先为基础的过滤方法并不能有效地过滤日志中的混沌活动。为了解决上述问题,提出了一种基于日志自动机和熵的方法来过滤日志中的混沌活动。首先,根据活动的直接前集率和直接后集率计算得到熵值大的可疑混沌活动集;然后,基于事件日志构建日志自动机,利用日志自动机模型计算得到不频繁弧的活动集与日志中熵值大的活动集,对其取交集得到混沌活动集;最后,运用条件发生概率和行为轮廓确定该混沌活动与其他活动之间的依赖关系,从而决定是在日志中完全删除该混沌活动还是保留该混沌活动在日志中的正确位置而删除其他位置的此活动。案例分析验证了该方法的有效性。     

基于日志的数据库更新通用外部监测方法

提出了一种通用的利用各类数据库提供的日志功能,通过读取和分析日志记录来进行数据库更新外部监测的方法,并初步实现了一个通用的数据库更新外部监测器,能够对Oracle9和SQLServer2000数据库进行数据更新监测。     

基于Petri网行为紧密度的有效低频行为模式分析

低频行为模式分析是流程管理的重要内容之一,有效区分低频日志和噪音日志在业务流程过程挖掘中显得尤为重要。目前已有的研究大部分是将流程模型中的低频行为当作噪音直接过滤,但有些低频行为对模型是有效的。文中提出了基于Petri网行为紧密度的有效低频模式分析方法。首先,根据给定的事件日志建立合理的流程模型;然后,通过迭代扩展初始模式来发现流程模型中的所有低频日志序列,并在此基础上计算日志与模型的行为距离向量,利用日志与模型的行为紧密度找出有效的低频行为模式;最后,通过实例分析验证了所提方法的可行性。     

基于 Elasticsearch 的实时集群日志采集和分析系统实现

传统日志工具采集时间长、处理效率低下,无法支持大规模集群日志采集和分析需求。我们从实际需求出发,结合Flume和Elasticsearch设计实现了集群日志的实时采集和快速查询分析系统。通过预设日志规则库,实时统计并展示集群系统的运行状态,提供预警信息。     

一种面向方面的软件资源特征分析方法

针对互联网环境下存在丰富多样的软件资源,为了能够有效地重用已有的软件资源,探讨一种基于方面化特征对可用软件资源的软件分析方法。这种方法从所关注的程序切面来分析软件所能提供的功能特征,从而得到软件资源的规格描述,并通过切面结构分析建立使用软件资源的调用关系和织入点,为现有的软件资源提供一种逻辑结构描述及重用方法。通过该种软件分析方法,能够对现有异构的软件资源的重用提供一种逆向工程方法,从而能提高软件资源复用中的可用性。在对互联网中日志组件的分析中能够得到验证。     

LogLogic进军中国日志管理市场

我们知道，基于事件管理的解决方案能够帮助企业标识潜在的危险，但80％的全球排名2000的企业和组织依赖于原始的、没有过滤的日志数据来提供决策支持和解决问题。根据Gartner的统计数据，这些企业和组织平均每年会经历87个小时以上的宕机，带来的损失大于400万美金，差不多每小时的开销是42000美金。手工监控和分析日志数据造成响应时间慢，严重影响了IT的生产力和延长了宕机时间。此外，国际上越来越多的行业法规对日志保存和使用提出了更高的要求。美国的法律规定上市公司必须保存一个完整的、不可篡改的日志拷贝7年；国际标准化组织建议保存两份日志拷贝，     

基于启发式规则的流式日志事件提取方法

日志事件提取指将非结构化的日志消息解析为系统中对应的事件,是多数日志分析中必不可少的前置工作.传统的日志事件提取以批处理方法为主,需要等待所有日志数据到达再进行处理,实时性不佳.能够进行实时日志采集并处理的流处理方法逐渐成为主要研究方向,但已有的流处理方法在解析模型的构建方面存在缺陷,准确性不够高.针对上述问题,提出了...     

Fortinet提供网络安全新产品集中式日志分析报表系统

安全管理工具不断完善,特别是日志分析工具往往成为防火墙产品中的一部分。作为专用的硬件安全解决方案,实时的日志、分析和报表系统是重要的组成部分。最近趋势表明,从单纯的日志产品升级为日志分析和报表相结合的系统是一种潮流。本文介绍一种典型的日志、分析和报表系统,它在功能、特点、界面和生成各种报表等方面特别体现出系统独具的特色。     

医学科技专利数据库的设计与实现

为促进我国医学科技创新,建设医学科技专利数据库提供有效的分析工具,为技术研发、专利战略研究、科学决策等提供强有力的支撑。本研究设计的医学科技专利数据库在充分借鉴国内外已有专利分析平台的基础上,实现专利数据自动导入与全文检索,实现专业标引、数据清洗及共现矩阵等功能。医学科技专利数据库吸收了Thomson Innovation(TI)和Derwent Innovation Index(DII)数据库等世界权威专利数据库的优点和先进的检索功能,同时借鉴了Thomson Data Analyzer(TDA)数据处理软件强大的分析功能;该数据库能够实现系统中数据导入的设计与实现,并能够基于已有数据进行数据清洗和统计分析,同时能够实现分组标引、共现矩阵等功能。该数据库首次实现了大数据量的分析功能,能够在数据库中实现几十万数据量的在线分析;首次在专利数据库中实现深度技术分析的专家标引,为专业角度的专利分析提供新的视角;首次实现在线的共现矩阵分析功能,完善了TDA分析工具存在的数据量限制等问题。     

面向物流服务的海量日志实时流处理平台

随着电商平台的快速发展,物流行业增长迅猛,其中物流服务平台的访问日志能够反映用户的行为规律,从而挖掘潜藏信息助力物流服务平台优化业务已至关重要.目前,针对于此类大规模日志数据处理提出了更高的实时性需求,本文综合考量多种实时计算的流处理框架、大规模存储数据库以及日志采集工具等,选取Flume及Kafka作为日志采集工具与消息队列,并利用Flink及HBase进行流数据实时计算以及大规模数据存储.同时,对平台设计了数据去重、异常告警、容错策略以及负载调度的功能.经实验测试证明,本处理平台可以有效处理物流服务平台的日志数据,具有较强的创新思路以及实际价值.     

基于Linux内核的智能日志生成系统

提出一种日志生成系统,克服传统系统不能在进程中随意更改日志生成的模块与级别。通过修改配置文件和用动态命令2种方式,进行不同模块、不同级别的日志选择性生成。该设计可以用扫描配置文件的方式,根据配置文件中不同模块与级别的标识更新日志生成列表,也可以在进程运行当中,以人机交互的命令通过进程间通信的方法更新日志生成列表,再调用API接口实现按需生成日志。测试结果表明,该设计可以实现按需求输出日志的功能。