基于多源安全信息的告警校验与聚合技术

针对网络入侵检测系统产生大量低质量告警的问题,提出了基于多源安全信息的告警校验与聚合技术,采用一阶谓词逻辑对告警校验进行了建模,并综合分析告警的时间、空间、攻击类型三维属性,对告警进行聚合。提出的方法能够实时、有效地滤除无关告警,消除冗余度,实现告警的精简。     

基于时间、空间和规则的无线网络告警关联方法

无线网络应用的普及使网络故障管理成为网络运维的关键。为了从大量的网络告警数据中快速准确地找到告警、定位根源故障,提出了一种基于时间、空间和规则的无线网络告警关联方法。该方法基于专家规则库、网络拓扑结构,以及告警的时间序列,将时间、空间、传统单一的规则告警关联方法相结合,综合定位根源告警;针对大型复杂网络结构,采用层次关联的方法, 针对大型复杂网络结构,采用层次关联的方法,先找到产生告警的子网,再从该子网的节点间找到产生告警的节点;同时,通过动态维护网络拓扑结构和专家规则库,能够适应无线网络的动态变化特点。实验结果表明,提出的基于时间、空间和规则的告警关联方法的准确率为86.6%。     

面向物流服务的海量日志实时流处理平台

随着电商平台的快速发展,物流行业增长迅猛,其中物流服务平台的访问日志能够反映用户的行为规律,从而挖掘潜藏信息助力物流服务平台优化业务已至关重要.目前,针对于此类大规模日志数据处理提出了更高的实时性需求,本文综合考量多种实时计算的流处理框架、大规模存储数据库以及日志采集工具等,选取Flume及Kafka作为日志采集工具与消息队列,并利用Flink及HBase进行流数据实时计算以及大规模数据存储.同时,对平台设计了数据去重、异常告警、容错策略以及负载调度的功能.经实验测试证明,本处理平台可以有效处理物流服务平台的日志数据,具有较强的创新思路以及实际价值.     

入侵告警信息聚合与关联技术综述

告警聚合与关联是入侵检测研究的一个关键问题,可以有效解决IDS在实际应用中存在大量重复告警和高误报率的不足。介绍告警聚合和关联的重要性,对现有告警聚合和关联技术进行深入分析比较;总结归纳现有告警聚合与关联的体系结构与应用准则;对当前研究面临的重要技术难题与发展趋势进行展望。     

基于异常行为检测技术的视频智能报警系统研究

为了提高视频监控的智能化,解决监控场景异常行为的自动检测和告警问题,设计并开发了一套基于异常行为检测技术的视频智能报警系统.系统采用B/S架构体系及高性能的异常行为检测算法和自动告警逻辑,可以实现对监控视频的实时检测和实时告警.在客户端提供灵活的系统配置模块和报表、告警管理模块,可以满足不同客户的需求.通过试用,系统可以在很大程度上降低人力成本,提高公共场所的安全保障工作质量,同时也显现出一些问题,并根据具体问题提出后期的解决方案.     

面向银行业务的交易量预测与告警研究

银行一般都有多种交易系统并存,当这些分散的交易系统出现故障时,运维人员难以从海量的日志中定位故障。针对以上问题,使用SparkStreaming、Spark ML、Hadoop、ELK等技术,基于决策树回归模型,设计并实现了一个面向银行业务的交易量预测与告警平台。该平台能够实时监控各交易系统近期交易量,并对各个交易系统不同时段的交易量进行预测,预测值作为交易系统交易量的动态阈值,平台能够根据阈值对异常的系统进行实时告警。真实环境下的运行结果表明,平台很好地满足了银行交易系统运维的需求。     

分布式入侵告警关联分析

为了精简分布式入侵检测系统中重复性的、不完善的或不完整的告警数据，降低误告警率，解决具有因果关系和非因果关系共存的告警关联问题，提出了一种分级关联算法．利用告警数据的检测时间属性的接近度将关联分析分为两类：概率关联和因果关联．给出了自调节增量贝叶斯分类器和实时因果关联算法，从而实现了多种特征混合的告警关联，提高了告警关联率．使用MIT Lincoln Lab提供的2000 DARPA入侵检测攻击场景数据集LLDOS1．0对该算法进行了性能测试，实验结果验证了算法的有效性．     

EHFM:一种面向多源网络攻击告警的高效层级化数据过滤方案

在复杂网络环境中，态势感知技术根据警报数据实时捕捉多种安全要素及其引起的态势变化，对网络安全进行感知和预测，在安全建设中发挥着重大作用。然而，互联网中海量威胁日志和事件信息带来了极高的分析复杂度，甚至造成了评估和感知技术的误判问题，给安全管理带来了极大挑战。因此，警报事件的过滤起到了重要作用，并且过滤的细粒度、准确性是后续可靠安全态势评估的基础。文中提出了一个面向多源网络攻击告警的层次化数据过滤模型EHFM,并将其应用于一个安全态势感知系统中。EHFM包含5层过滤器，为多源告警日志设计了统一格式，提出了联合性能熵之差的概念，并结合模糊层次分析等方法，对大量的警报进行统一、精细、定制化的过滤，从而提升安全态势评估算法的准确性、灵活性，解决了网络攻击告警规模过大导致的安全状态误判问题。通过对上述EHFM过滤模型和态势感知系统的代码实现，该方案的可行性得到了证明。经过大量实验，结果表明，该方案能够对恶意事件进行精细的分类和过滤，有效避免外界环境因素带来的误判，在大规模网络攻击告警的场景下提升安全态势评估算法的准确性。     

基于搜索树的告警高效聚类算法和Bayes分类器的设计和研究

如何从IDS等安全产品每天产生的海量告警和日志中挖掘出有价值的信息,帮助管理员找到那些真正具有威胁的攻击,然后采取措施,有效地保护系统安全,这是入侵检测系统急待解决的问题。本文利用搜索树可以减少搜索空间和覆盖向量的特点提出了基于搜索树的高效告警聚类算法;考虑到把新来的告警事件归类到先前通过聚类得到的类中,让其与其他的告警事件可以关联起来,提出了基于贝叶斯事件分类器的告警分类方法。最后使用KDD Cup 1999 Data的数据进行了性能测试。实验测试结果表明,此算法和方法是快速有效的。在原型系统“多信息源智能化安全强审计系统”中的实际应用也展现了其良好的应用前景。     

基于BP网络的移动通信网络告警多级筛选算法

本文通过分析移动通信网络中无线、交换、传输故障告警数据的分布模型和特点,提出了一种基于BP网络的多级告警筛选模型。该模型在实时采集移动通信网络中告警数据的基础上,通过对告警数据的过滤和预处理将告警数据归一化,并使用二进制编码机制将告警数据编码为可使用神经网络进行处理的类型,进而通过使用高斯感知器对告警数据进行预分类,有效降低BP网络需要处理的故障告警数据量,最后通过利用BP网络的自适应特点和模式识别能力,对告警进行模式识别分类,定位主要故障点,提高了移动网络告警的监控效率和网络的稳定性。     

基于终端数据的电信承载网异常节点定位方法

随着电信IPTV业务的高速发展，承载网规模不断扩大，设备故障运维难度逐渐增大。当设备发生故障时，如何在大规模网络中对故障节点进行快速定位已成为运维方面的重大挑战。目前承载网设备故障告警主要依赖于设备性能日志，误告较多，且无法适应大规模网络故障定位。因此借助Spark等工具，提出一种基于终端数据的异常节点定位方法，结合网络拓扑初步实现阈值告警。并进一步以设备相关性和可靠性为分析基础，将告警过程产生的大量虚假告警进行清洗，提高故障定位精确率。实验结果表明，在承载网故障定位中该方法精确率能达到89%，具有较高实用价值。     

一种改进的多源异构告警聚合方案

各类网络安全防御设备产生的大量冗余告警信息非常琐碎、误警率高, 给告警的分析和理解造成较大困难。针对这一问题进行研究, 提出一种改进的多源异构告警数据的聚合方案, 综合分析告警类型、源IP、目的IP、目的端口及时间间隔几个属性, 总结出四个规则, 并在聚合过程中动态更新时间间隔阈值, 提高聚合精确度。实验结果表明, 这种方法能高效减少异构告警信息的数量, 得到精简的超告警数据, 并实现了实时处理告警信息的能力。     

基于报警原因的聚类分析方法

针对入侵检测系统产生大量冗余报警的问题,提出基于报警原因的聚类分析方法。根据报警原因把逻辑上相关的报警归类到同一个报警聚类中,聚类中的报警具有相同的属性,进而归纳为泛化报警,并由它描述报警的共同特征,从而极大地减少报警数量,简化报警分析,有利于准确分析出网络和应用环境面临的安全威胁,以及时采取应对措施。     

入侵检测系统中分层报警处理模型的研究*

针对入侵检测系统中报警泛滥的问题,提出了一种分层的报警数据处理模型,在不同层次对报警数据进行了过滤、归约、融合和关联。在过滤阶段,建立了知识库对误警进行了消除;在归约阶段,设计了归约算法,可以实时消除报警中的重复信息;在融合阶段,设计了一种基于聚类的融合算法,可以实时消除报警中的相似信息;在关联阶段,首先用频繁片段算法对训练数据进行了分析,发现其中的入侵模式,然后再以这些模式建立知识库,为基于聚类的关联算法提供攻击的相似信息以发现入侵模式。通过上述处理,减少了报警中的错误信息和无用信息,减轻了系统和管理员     

一种基于时间序列面向预警的警报分析方法

本文通过对警报数据的观察和分析,提出了一种基于时间序列分析理论适合对大规模网络IDS警报数据进行实时宏观分析的新方法。该方法利用正常情况下每天IDS警报数的自相似性来建立IDS警报数的季节模型,并利用该模型和警报数在宏观上的关系对网络中出现的像DDoS和蠕虫等大规模入侵进行预警。理论分析和实验结果表明,此方法能及时发现网络中的大规模网络入侵并进行预警,并具有比基于网络流量异常的入侵预警方法准确和与IDS集成好的优点。     

基于时态关联规则的网络故障预报

该文针对网管告警数据库中时间序列存在的连续性、不确定性和模糊性问题,提出了一种基于时态关联规则挖掘告警库的新方法。该方法引入告警数据的时间序列,可预测出一些告警(联合)事件的发生将导致哪些告警(联合)事件的随后产生。通过对某校园网的告警数据库进行规则挖掘实验,表明该方法可以准确、有效的挖掘出隐含在海量网管告警数据库中大量有意义的时态关联规则,规则中的概率参数(置信度和支持度)可作为网络管理的先验知识用来指导网络故障的诊断和预报。     

一种异步日志记录的入侵防御系统的设计与实现

传统的入侵防御系统对于告警日志的记录采取同步的方式,即在整个数据包获取、数据包预处理、数据包检测、数据包处理以及日志记录的过程中,数据包获取会以同步阻塞的方式等待日志记录完成后才会再次循环进行,因此在整个系统运行过程中产生了大量的I／O操作,在高速复杂的网络环境下成为入侵防御系统的主要性能瓶颈。针对以上问题,设计并实现了一种异步记录告警日志的入侵防御系统（an Asynchronous Logging Intrusion Prevention System, ALIPS）,并应用多核技术进行并行处理、通过测试,相比传统入侵防御系统,本系统在吞吐量上有着5倍多的提高。     

基于时态关联规则的网络故障预报

该文针对网管告警数据库中时间序列存在的连续性、不确定性和模糊性问题,提出了一种基于时态关联规则挖掘告警库的新方法。该方法引入告警数据的时间序列,可预测出一些告警（联合）事件的发生将导致哪些告警（联合）事件的随后产生。通过对某校园网的告警数据库进行规则挖掘实验,表明该方法可以准确、有效的挖掘出隐含在海量网管告警数据库中大量有意义的时态关联规则,规则中的概率参数（置信度和支持度）可作为网络管理的先验知识用来指导网络故障的诊断和预报。     

基于模糊聚类的网络故障预报

文章针对网管告警数据库中时间序列存在的连续性、不确定性和模糊性问题,提出了一种基于模糊聚类的时间序列规则挖掘新方法。该方法引入模糊聚类理论,可预测出一些告警(联合)事件的发生将导致哪些告警(联合)事件的随后产生。通过对某校园网的告警数据库进行规则挖掘实验,表明该方法可以准确、有效地挖掘出隐含在海量网管告警数据库中大量有意义的时序规则,规则中的概率参数(置信度和支持度)可作为网络管理的先验知识用来指导网络故障的诊断和预报。     

基于人体骨架信息的行为检测系统设计

为了解决现有行为检测系统中依赖惯性传感器、检测结果不够准确的问题,设计了基于人体骨架信息的行为检测系统;系统采用Jetson Nano人工智能计算设备作为主控模块,结合图像采集模块、显示模块和以Atmega328单片机为主的报警模块构成;系统利用图像采集模块采集行为视频信息,通过主控模块中的行为检测器对视频中人体行为进行检测,报警模块通过串口接收检测结果并对危险行为进行预警;同时,利用人体骨架的关节空间运动幅度、肢体关联差异,建立了关节帧间位移矢量和骨骼夹角变化的关节行为模型,再借助长短时记忆网络提取行为特征,并训练实时行为检测器;经实验测试,该系统能够有效检测常见的人体行为并对危险行为类别进行报警提示。