一种用于异常检测的自动日志分析方法

针对现代大型系统中系统日志的异常检测问题,提出了一种基于自动日志分析的异常检测方法(CSCM).该方法通过在预聚类下结合细化分析与多视角的异常提取过程,来实现系统日志的异常检测.首先,引入信息熵以提取日志信息量;其次,基于Canopy预聚类过程提取子集交叠数据,以缩小计算范围;利用谱聚类进行细化分析,并结合预聚类结果以...     

船载系统日志自动分析软件的设计与实现

船载中心计算机系统的系统日志和测控软件日志记录了大量的系统故障与软件异常信息,如何及时、全面地分析系统日志、软件日志,发现系统运行故障,并及时予以处理、解决,是系统运维人员的一项重要工作;针对当前船载中心计算机系统日志分析现状及存在的问题,系统日志和测控软件日志自动分析软件给出了解决的思路和方法,提出并介绍其实现的技术要点和效果;测试结果表明日志自动分析软件有效地提升了人员工作分析效率,在快速分析故障问题和批量进行系统日志维护方面具有较好应用.     

基于事件聚集的AAA系统日志分析

AAA系统涉及的设备类型众多,其日志格式互不相同,即使是同一类设备,其日志格式也会因软件版本、网络层次和故障类型等因素而各不相同,从而导致通过分析日志数据分析系统故障非常复杂.首先提出了一种日志模板自动提取机制(ATE,Auto Template Extraction),用于将各类日志数据格式化.然后设计了一种基于故障事件对格式化日志数据进行聚集的方法(EBCoLD,Event Based Cluster of Log Data),用于分析各类故障事件(数据库宕机等)与日志数据的关系,进而获取与某一事件相关的日志集合,用于故障检测、定位和分析.最后依据从某电信运营商获取的真实AAA系统日志数据,通过仿真实验验证了ATE机制和EBCoLD方法的有效性.     

基于大规模网络日志的模板提取研究

针对直接从大型网络日志中提取网络事件困难的问题,提出了基于大规模网络日志的模板提取方法。该方法可将海量的、原始的网络日志主动转换为日志模板,从而为了解网络事件的根因和预防网络故障的发生提供重要的前期准备。首先分析日志的结构,将日志中的词划分为模板词和参数词两类;然后从3个不同的角度切入,分别对日志进行模板提取研究;最后使用互联网公司中的实际生产数据,采用Rand_index方法来评估3种提取方法的准确有效性。结果表明,在从服务集群中收集来的4种不同消息类型中,基于标签识别树模型提取到的日志模板的平均准确率达到99.57%,高于基于统计模板提取模型和基于在线提取模板模型的准确率。     

基于日志挖掘的计算机取证系统的分析与设计

本文主要讨论基于日志的计算机取证分析系统的分析与设计，给出了基于计算机日志的取证分析系统的总体结构和计算机日志分析取证系统日志处理、挖掘与分析子系统结构，并着重讨论了日志数据的预处理、挖掘与分析模块的主要功能与设计思想，并对挖掘模式进行了评估和分析。     

基于日志多特征融合的无监督异常检测算法

日志是一种记录系统运行过程中重要信息的文本文件,而有效的日志异常检测可以帮助运维人员快速定位并解决问题,保证系统的快速恢复,从而减少经济损失.系统日志内容通常包含着丰富的系统信息(时间,序列,参数等),本文提出了一种基于预训练的日志多特征融合的异常检测方法Log Multi-Feature Fusion(LMFF).首先,基于预训练模型对日志的事件模板进行语义信息提取,将系统日志建模为自然语言序列;然后,利用特征提取器分别对日志的事件序列,计数序列和时间序列进行特征提取融合,通过Tranformer和LSTM神经网络学习正常日志的特征信息.最后,对日志进行分析,并能够检测出潜在模式偏离正常日志序列的异常.通过在Hadoop日志文件系统(HDFS)数据的F1值达到约96%和在OpenStack数据的F1值达到约99%的结果表明,本文所提的异常检测方法与其它的日志异常检测算法Deeplog、LogAnomaly和基于主成分分析(PCA)的方法相比有较好的表现.     

看重日志分析——天融信推出安全审计综合分析系统

9月8日获悉,天融信推出了一套安全审计综合分析系统——TOPSEC Auditor。此系统能对采集到的日志统一管理.并结合对各种入侵行为进行检测.由此自动生成详细的风险评估报告和综合报表。为解决网络安全问题提供了一个综合的安全审计管理平台。TOPSEC Auditor 采用综合的。集中的日志审计分析系统,能够采集包括操作系统日志,防火墙系统日志.入侵检测系统日志、网络交换及路由设备的日志以及各种服务和应用系统日志等等。对于重要的信息.TOPSEC Auditor 会采用多种方式(如 E-mail、windows     

日志多维度无监督异常检测算法

在大规模的系统运维中,及时有效地发现系统事件中的异常行为,对于维护系统稳定运行有着重要作用.有效的异常检测方法可以使得系统的运维和开发人员快速定位问题并解决,保证系统快速恢复.系统日志作为记录系统运行信息的重要资料,是对系统进行异常检测的主要数据来源,因此基于日志的异常检测是当前智能运维的重要研究方向之一.本文提出了一种基于无监督的日志多维度异常检测算法,可在无需标注数据的前提下针对日志系统进行自动的数据解析和异常检测.通过使用基于频繁模板树的日志解析获取日志模板后,分别使用3种方法进行异常检测：以基于概率分布使用3-Sigma法判断单指标数值型异常,以基于主成分分析方法使用SPE统计量判断日志组异常,以基于有限自动机的方法判断日志序列异常.通过对超级计算机(Blue Gene/L)和Hadoop分布式文件系统(HDFS)的日志数据以及腾讯内部系统数据进行实验评估,结果表明本文提出算法在5个测试数据集上均有较好的表现.     

一种重构网站结构的Web日志挖掘数据预处理方法

在Web日志挖掘的过程中,数据预处理是整个Web日志挖掘过程的基础,其直接影响了日志挖掘的质量和结果.由于目前大多数网页都采用框架模式,而传统的预处理技术并没有针对frame页面进行过滤,即使过滤,也会导致页面结构的混乱,从而不能够为路径补充提供正确的信息.基于此,本文提出一种基于重构网站结构的Web日志挖掘数据预处理方法以及基于它的路径补充方法.     

面向多平台的日志远程采集系统研究

日志对于系统的日常运维、审计及入侵检测等具有重要作用,对日志进行远程集中化管理是日志管理的有效手段。由于不同操作系统平台上支持的日志格式不统一,传统上很难将大型网络中不同系统的日志远程采集到集中的日志服务器上。nxlog是一种支持多平台的功能强大的日志采集工具,部署方便,可以在目标系统上持续稳定地收集系统日志,并支持以多种日志格式和传输模式将日志发送到远程日志服务器。同时,Syslog作为一种工业协议,也得到了越来越多的支持。基于nxlog并配合成熟的日志服务器可以构建灵活可靠的系统日志远程采集系统。实际运行结果表明该方案可有效解决大型网络中系统日志远程采集的问题。     

A template-based reconstruction of plane-symmetric 3D models from freehand sketches

This paper presents a method for reconstructing a 3D model from a freehand sketch. There are two methods used in sketch-based modeling research: gestural modeling and reconstructional modeling. This research involves the reconstructional modeling method of Mitani, which was originally designed for a box-shaped model using a predefined template. Here, this method is improved by leveraging a relational template and a template matching method that extend the range of categories of the reconstructed objects. Sketch preprocessing details are provided and the template-based reconstructional method then uses the sketch preprocessing results to reconstruct a 3D model from a freehand sketch.     

基于动态模板匹配的移动机器人目标识别

将视觉显著性与基于动态模板匹配的目标识别方法相结合,提出了一种适用于未知环境下的移动机器人目标识别方法.具体而言,首先设计了基于分布式控制的移动机器人视觉系统,提高了视频处理效率;之后利用基于背景先验的显著性检测方法对图像进行预处理,排除了相对次要的背景区域;最后对处理后的图像进行动态模板匹配,提高了目标识别的准确率.实验结果表明,该方法能够满足移动机器人在目标识别过程中对图像处理的实时性和准确性的要求,具有良好的有效性.     

一种字符定位及识别技术在交通领域的应用

字符定位与识别技术在交通领域应用广泛。字符识别系统包括字符图像的拍摄、预先处理,将字符从图中截取出来,最后对字符对比甄别。采用灰阶处理、均值滤波等方法对图像预处理。在字符定位部分,采用边缘检测算法对字符图像在原始图中位置进行定位。在字符分割前,对字符进行二值化及倾斜校正。利用区域增长(region growing)方法切割字符,将具有相似特性的像素点集合到一起,与投影方法相结合进行切割。最后建立模板库,采用基于模板匹配的改进算法进行字符甄别。以汽车牌照的预处理、字符的提取和识别为例,说明文章所采用技术的有效性。     

基于CNN深度学习的机器人抓取位置检测方法

针对传统检测方法受到复杂环境和人工干预影响而导致检测精准度低的问题,提出了基于CNN深度学习的机器人抓取位置检测方法。根据CNN基本结构,研究基于CNN深度学习检测原理。按照切线斜率方向划分机器人抓取位置模板点,计算模板匹配距离,得到机器模板上匹配点到边缘坐标图像点中最近的距离。保持横纵坐标变量保持不变,观察映射图上坐标灰度值及匹配度函数分布情况。引入GA求解匹配方法,根据匹配流程,寻找最优解。分析彩色图像、深度图像的可抓取位置和不可抓取位置信息,并将其转化为符合CNN深度学习的数据格式,完成信息预处理。根据机器人抓取作业示意图,设计具体检测流程,并显示检测结果,由此完成机器人抓取位置检测。由实验结果可知,该方法检测精准度最高可达到0.988,能够应用到实际机器人抓取相关任务之中。     

基于模板匹配算法的枪械编号识别研究

编号是枪械唯一的身份号码,枪械编号的数字识别有利于实现枪械的信息化管理和保障。论文将模板匹配法应用到枪械编号识别中,包括图像预处理、字符分割、归一化和字符识别等环节。根据枪械编号的特点采用聚类分析的方法实现分割字符,通过计算字符图像与模板图像的互相关函数得到号码。实验结果表明,该方法效果较好。     

Fingerprint matching based on global alignment of multiple reference minutiae

Fingerprint matching is an important problem in fingerprint identification. A set of minutiae is usually used to represent a fingerprint. Most existing fingerprint identification systems match two fingerprints using minutiae-based method. Typically, they choose a reference minutia from the template fingerprint and the query fingerprint, respectively. When matching the two sets of minutiae, the template and the query, firstly reference minutiae pair is aligned coordinately and directionally, and secondly the matching score of the rest minutiae is evaluated. This method guarantees satisfactory alignments of regions adjacent to the reference minutiae. However, the alignments of regions far away from the reference minutiae are usually not so satisfactory. In this paper, we propose a minutia matching method based on global alignment of multiple pairs of reference minutiae. These reference minutiae are commonly distributed in various fingerprint regions. When matching, these pairs of reference minutiae are to be globally aligned, and those region pairs far away from the original reference minutiae will be aligned more satisfactorily. Experiment shows that this method leads to improvement in system identification performance.     

基于机器视觉的车辆保险盒在线检测研究

摘要: 车辆保险盒作为汽车电控系统中的一个重要的元器件,其质量好坏直接影响汽车的性能,传统的车辆保险盒检测主要依靠人工检测,检测费时费力,针对该问题,提出一种基于视觉的车辆保险盒在线检测方法,分析了产品图像校正到标准模板图像的位置误差,采用SURF(Speeded Up Robust Feature)算法和平面单应性理论将待检产品图像变换到标准模板位置,利用颜色直方图匹配和模板匹配完成保险盒上元件的检测。实验结果证明,该方法检测效率高,稳定可靠,能够满足在线检测的要求,具有一定实用价值。     

基于机器学习的日志解析系统设计与实现

针对现有日志分类方法只适用于格式化的日志,且性能依赖于日志结构的问题,基于机器学习方法对日志信息解析算法LogSig进行了扩展改进,并设计开发了一个集数据处理与结果分析于一体的日志解析系统,包括原始数据预处理、日志解析、聚类分析评价、聚类结果散点图显示等功能,在VAST 2011挑战赛的开源防火墙日志数据集上进行了测试。实验结果表明,改进后的算法在归类整理日志事件时的平均准确性达到85%以上;与原LogSig算法相比,日志解析精度提高了50%,同时解析时间仅为原先的25%,可用于大数据环境下高效准确地对多源非结构化日志数据进行解析。     

一种面向密封条长度检测的模板匹配优化算法

针对现有的汽车密封条长度测量设备中使用模板匹配算法检测特征点位置时,密封条自身旋转导致匹配效果差的问题,提出一种基于Hough变换的自适应模板更新算法。该算法在传统模板匹配方法的基础上,通过设定阈值对模板匹配效果进行判断;对于匹配效果不好的图像进行Hough变换,结合特征点的几何特征进行识别;通过特征点的位置与尺寸信息,将其转化为新的模板用于下一次的模板匹配,实现模板的自适应更新。试验结果表明,该算法弥补了传统模板匹配法对图像旋转异常敏感的问题,提高了识别的稳定性,同时保证了检测效率满足现场的要求。     

基于细节点邻域信息的可撤销指纹模板生成算法

为了提高指纹模板算法的安全性等性能,设计了一种基于细节点邻域信息的可撤销指纹模板生成算法.首先对指纹图像进行预处理,提取指纹的细节点特征,然后采用改进的细节点描述子采样结构提取细节点邻域的纹线特征,最后结合用户PIN码生成指纹模板,同时结合贪婪算法设计了相应的指纹匹配算法.在指纹数据库FVC2002-DB1和DB2上的实验表明,该算法具有良好的认证性能,能较好地满足可撤销性、多样性和不可逆性,而且改进的采样结构在没有降低系统识别性能的情况下,进一步拓展了细节点描述子的采样结构方式.