企业日志数据的交互式可视分析方法研究

企业日志数据,即员工在企业内部使用网络服务时系统保存的记录,包括员工网页访问日志、邮件日志等。在一定程度上反映了企业内部的组织结构、员工的日常工作模式和各种异常情况等。对日志数据进行分析有助于企业高层及时把控企业的运行状况,发现企业潜在威胁,进而帮助更好地进行决策。现有的企业日志分析方法大多是在单一数据基础上使用数据挖掘和机器学习等算法来进行分析。将以数据为中心的分析算法和以人为中心的交互式可视化结合起来能够同时发挥算法和人的分析优势;可视分析方法可以更有效地将多源异构、时变、多维的日志数据分析结合起来,提供多角度分析。为此,设计并实现了面向企业日志数据的员工工作行为可视分析系统EWB-VIS。在ChinaVis2018挑战赛所提供的公开数据集上进行实验,证明了系统的可用性和相关可视化方法的有效性。     

日志多维度无监督异常检测算法

在大规模的系统运维中,及时有效地发现系统事件中的异常行为,对于维护系统稳定运行有着重要作用.有效的异常检测方法可以使得系统的运维和开发人员快速定位问题并解决,保证系统快速恢复.系统日志作为记录系统运行信息的重要资料,是对系统进行异常检测的主要数据来源,因此基于日志的异常检测是当前智能运维的重要研究方向之一.本文提出了一种基于无监督的日志多维度异常检测算法,可在无需标注数据的前提下针对日志系统进行自动的数据解析和异常检测.通过使用基于频繁模板树的日志解析获取日志模板后,分别使用3种方法进行异常检测：以基于概率分布使用3-Sigma法判断单指标数值型异常,以基于主成分分析方法使用SPE统计量判断日志组异常,以基于有限自动机的方法判断日志序列异常.通过对超级计算机(Blue Gene/L)和Hadoop分布式文件系统(HDFS)的日志数据以及腾讯内部系统数据进行实验评估,结果表明本文提出算法在5个测试数据集上均有较好的表现.     

基于Netflow的网络安全大数据可视化分析

近年来网络安全日志数据呈现出爆炸式的增长,但现有的可视化技术难以支持高维度、多粒度的Netflow日志实现完善的可视化分析.因此本文提出了一种全新的网络安全可视化框架设计方案,采用三维柱状图展示Netflow日志的流量时序图,以帮助用户快速了解和掌握网络中的异常时刻.引用信息熵算法针对平行坐标轴的维度数据进行处理,便于用户对多维度图形的理解,利用矩阵图、气泡图和流量时序图进行细节分析,最后利用该系统实现了对DDOS攻击和端口扫描攻击的网络异常案例分析.研究证明本系统丰富的可视化图形以及简单易用的协同交互,能较好的支撑网络安全人员从网络整体运行状态分析,到定位异常时刻、监测网络行为细节的全部过程.     

面向在线交易日志的用户购买行为可视化分析

在线交易日志,即用户通过电商平台购买商品产生的交易记录,包括用户、商品、交易及商家的相关信息,反映了用户的购买行为.现有的可视化方法未能充分结合在线交易日志的时序、层次、地理、多维等特征,实现对用户购买行为的多角度分析.对此,本文结合交易日志的多个特征,提出了基于径向布局的复合时序可视化方法和融合空间信息的时间轴可视化方法,设计了颜色极值映射方法和规律映射方法,并基于上述方法,设计并实现了面向在线交易日志的用户购买行为可视化分析系统UPB-VIS,从而完成了单个用户和用户群体购买行为的全方位分析.最后,通过在京东商城在线交易日志数据集上的实验证明了系统的易用性和相关可视化方法的有效性.     

基于企业级应用场景的多轨可视化用户行为分析取证技术研究

为了解决在信息化建设过程中难以监控与管理用户行为等问题,笔者提出了应用基于企业级应用场景的多轨可视化用户行为分析取证技术,进行准实时的用户行为全面监控与分析,多视角还原用户操作过程,实时记录用户在客户端的操作行为,以及从用户打开客户端到客户端发生状态变化关键进程生命周期,同时在应用服务端实时采集日志数据,最大程度重现用户实际操作场景,展开实时事件调查,对用户行为进行有效监管。     

信息系统内部威胁检测技术研究

针对企业信息系统中日益严重的内部威胁行为,特别是冒名登录、越权操作等行为,基于用户行为分析的技术,采用主客体混合的分层安全模型,建立了一种新的信息系统内部威胁检测框架.通过比较用户异常行为及主客体权限发现恶意内部威胁行为.应用正则表达式与混合加密算法保证检测准确性和日志安全性.从身份认证、访问控制、操作审计和行为阈值技术四个方面进行安全检测,对关键技术给出了详细介绍.实验证明该检测框架防止了内部人员破坏数据并提供响应和干预能力,提高了信息系统安全性.最后,展望了内部威胁检测技术发展趋势.     

一种FPSO中控系统日志的流式实时数据分析器

FPSO中控系统的日志数据信息量巨大且连续。数据分析器的目的是针对此类流式数据进行实时分析。数据分析方法包括三种:一、流量分析和预测,统计一段时间内各集成设备所产生日志数据量,并进行变化趋势预测;二、来源分析,分析各设备日志来源给中控日志带来的数据量情况,通过来源分析,及时了解哪种类型的设备状态变化频繁,来源分析的指标包括设备代码、设备状态码和状态信息;三、设备安全分析,实时统计各个设备的日志产生状况,将正常运行设备和高频异常设备进行数据统计分析。数据分析的结果可帮助中控系统改善用户交互体验,使中控系统操控者针对性地进行FPSO生产工况监控和异常状况处理。     

Windows下基于主机的安全日志服务器

越来越多的计算机犯罪需要进行电子取证,安全日志服务器在针对电子犯罪的监控、审计以及取证活动中发挥了重要作用。主机日志在电子取证以及入侵检测中有着不可替代的作用,通过深入分析主机日志可以发现系统的异常行为并记录下来作为日后的电子证据或进行实时的入侵检测分析。该文简要介绍了安全日志服务器系统的发展背景,分析了主机日志的构成,主机日志在计算机安全领域中的应用,详述了对主机日志信息的处理并给出了基于主机日志的安全系统的结构搭建。     

基于关联规则的日志分析系统的研究与设计

日志文件作为系统和网络用户行为的记录管理工具,对保护系统安全,方便调查系统故障,监控系统运行状况起着极其重要的作用。该文提出了一个基于关联规则的日志分析系统,将数据挖掘技术运用在日志分析中,并针对挖掘的数据特点对Apriori算法进行了改进。日志分析系统可以利用关联规则对日志进行分析获取其中所蕴合的重要信息。     

打印机监控系统的设计与实现

针对如今企事业单位局域网内部打印机管理难的问题,提出了利用活动目录来实现打印机的管理。设计了基于活动目录的打印机监控系统。通过该系统,注册用户可以直接打印,无论是否成功均会以日志的形式被记录进数据库中。未注册用户无权打印文件。当系统检测到非法用户,将会自动删除打印任务,并记录打印日志。经过测试证明,该方案能实现对用户和打印任务进行有效的监控,为企业内部的打印机管理提供了方便、快捷的途径。     

日志服务器建设和应用

设备日志及时、准确地记录网络运行、服务信息,是网络管理人员应该重点关注的信息源。日志服务器利用日志服务器软件,采集网络设备、安全设备、应用服务器等的日志信息,集中存储管理。这些日志信息可以在日常维护管理中人工查阅,也可以利用程序进行处理和准确分析,实现对网络的全面监管。     

基于Spark的油田应用日志行为分析系统

随着油田信息化建设的不断发展,越来越多的IT业务系统在油田各级单位普及应用.由于油田应用数量庞大、种类复杂,如何快速评估各类系统的运行情况和安全状况成为油田关注的重要问题.在使用这些应用系统的同时,一些访问信息会以日志的形式储存下来,因此通过分析日志数据可以挖掘出用户访问喜好,发觉业务系统潜在的安全问题,进而为油田应用评估提供决策依据.然而随着IT业务访问量剧增,应用日志的数量、容量也随之增加,仅依靠单机环境对海量数据进行分析已经无法满足油田业务需求.针对这个问题本文提出了基于Spark计算框架的应用日志行为分析方法,同时设计了可视化平台完成对整个分析系统的管理.     

Loginson: a transform and load system for very large-scale log analysis in large IT infrastructures

Nowadays, most systems and applications produce log records that are useful for security and monitoring purposes such as debugging programming errors, checking system status, and detecting configuration problems or even attacks. To this end, a log repository becomes necessary whereby logs can be accessed and visualized in a timely manner. This paper presents Loginson, a high-performance log centralization system for large-scale log collection and processing in large IT infrastructures. Besides log collection, Loginson provides high-level analytics through a visual interface for the purpose of troubleshooting critical incidents. We note that Loginson outperforms all of the other log centralization solutions by taking full advantage of the vertical scalability, and therefore decreasing Capital Expenditure (CAPEX) and Operating Expense (OPEX) costs for deployment scenarios with a huge volume of log data.     

船载系统日志自动分析软件的设计与实现

船载中心计算机系统的系统日志和测控软件日志记录了大量的系统故障与软件异常信息,如何及时、全面地分析系统日志、软件日志,发现系统运行故障,并及时予以处理、解决,是系统运维人员的一项重要工作;针对当前船载中心计算机系统日志分析现状及存在的问题,系统日志和测控软件日志自动分析软件给出了解决的思路和方法,提出并介绍其实现的技术要点和效果;测试结果表明日志自动分析软件有效地提升了人员工作分析效率,在快速分析故障问题和批量进行系统日志维护方面具有较好应用.     

非侵入式车载ATC设备在线检测运维系统方案设计

列车运行控制系统中,车载ATC(Automatic Train Control)设备行车日志里记录着各子系统的整个运行周期的全部信息,分析行车日志是监测车载设备状态和分析系统故障的重要手段。但在实际维护中存在以下问题：1. 设备实际输入输出和传感器电气工作状态信息中隐含大量故障特征信息,而这些信息在既有的车载信号系统中没有有效记录;2.行车日志收集依靠人工,效率低,成本高;3.故障诊断依靠经验,诊断结果具有局限性。在此基础上,本文提出一种非侵入式车载信号设备在线检测运维系统方案,该方案利用非接触式传感器采集信号,行车日志使用车地无线通信网络传输,通过地面服务器大数据分析,以达到对各子系统和关键零部件进行状态监测,并对异常信息进行预警的目的。     

基于粗糙近似的Web事务聚类方法研究

Web使用挖掘是数据挖掘技术在Web信息仓库中的应用.Web使用挖掘通过挖掘Web服务器日志获取的知识来预测用户浏览行为,是Web挖掘技术中的一个重要研究方向.通常发现的知识或一些意外规则很可能是不精确的、不完备的,这就需要用软计算技术如粗糙集来解决.提出一种基于粗糙近似的聚类方法,该方法能够实现从Web访问日志中聚类Web事务.通过这种方法可以有效地挖掘Web日志记录,从而发现用户存取Web页面的模式.     

基于日志的客户感知问题辅助分析系统的应用研究

智能手机的移动业务和移动互联网应用直接影响客户感知,通过挖掘网络日志与手机日志对客户感知问题分析的支撑作用,提出基于日志的客户感知问题辅助分析系统。该系统通过采集、分类和统计,提供异常事件告警和智能分析。通过对上网和彩倩业务的应用实践表明,该系统能提供准确、有效的日志信息,为分析和定位问题提供端到端的数据支持。该系统和思路可扩展应用于长期演进网络的客户感知问题辅助分析。     

基于电子病历可视分析的临床诊断模型

针对当前医生在临床诊疗过程中缺乏系统有效的手段,以及隐藏在大量电子病历中的医学知识没有得到充分利用的现状,研究了利用可视分析和数据挖掘相结合的方法,辅助医生进行临床诊疗服务.本文以不明原因发热疾病为例,首先对电子病历进行数据预处理和结构化提取,然后结合具体需求进行可视组织与分析,再利用数据挖掘相关算法对患者大量症状和发热原因之间的关系进行学习,帮助医生发现病历中潜在的医疗知识,辅助医生进行诊断.在上述工作的基础上,构建了一个面向临床诊疗的可视分析与辅助诊断框架,并给出了系统实例加以验证,结果表明该系统可以有效的帮助医生分析不明原因发热电子病历内的知识,有利于进一步的疾病诊断,缩短了平均确诊时间.     

Discovering process models from event multiset

The aim of process mining is to discover the process model from the event log which is recorded by the information system. Typical steps of process mining algorithm can be described as: (1) generating event traces from event log, (2) analyzing event traces and obtaining ordering relations of tasks, (3) generating process model with ordering relations of tasks. The first two steps could be very time consuming involving millions of events and thousands of event traces. This paper presents a novel algorithm (λ-algorithm) which almost eliminates these two steps in generating event traces from event log and analyzing event traces so as to reduce the performance of process mining algorithm. Firstly, we retrieve the event multiset (input data of algorithm marked as MS) which records the frequency of each event but ignores their orders when extracted from event logs. The event in event multiset contains the information of post-activities. Secondly, we obtain ordering relations from event multiset. The ordering relations contain causal dependency, potential parallelism and non-potential parallelism. Finally, we discover a process models with ordering relations. The complexity of λ-algorithm is only bound up with the event classes (the set of events in event logs) that has significantly improved the performance of existing process mining algorithms and is expected to be more practical in real-world process mining based on event logs, as well as being able to detect SWF-nets, short-loops and most of implicit dependency (generated by non-free choice constructions).