异常检测中正常行为规则性的度量

异常检测是防范新型攻击的基本手段,正常行为的规则性是影响检测能力的基本因素．在使用信息熵作为分析工具的基础上,提出了一种度量异常检测中正常行为规则程度的方法,并将这种方法用于对两个异常检测实例的分析,从理论上分析了如何改造特征以获得更多的规则性信息．在此理论的基础上,针对不同的数据类型提出了两种新的异常检测算法．     

基于混合聚类和自组织映射的异常检测模型

针对异常检测方法中存在的异常连接信息不足的问题设计了一种基于混合聚类和自组织映射的异常检 测模型．首先提出了一种聚类算法用以进行异常检测,然后再通过自组织映射（SOM）对检测出的异常连接进行分 类以获得其更多的异常连接信息．最后应用实验数据集进行仿真,结果表明本检测模型是有效的,能够将检测到的 异常连接进行分类并由其所属类别给出该异常连接的更多信息,且检测和分类的效率比较高,误报率低．?     

一种基于XGboost的异常检测算法

为了提高异常检测的准确性和高效性,提出了基于xgboost的异常检测算法。首先对异常检测当前遇到的挑战进行分析,指出缺少样本和模型泛化是异常检测中的难点。在此基础上设计了异常注入算法,利用3sigma原则对数据集进行扩充;然后设计特征提取器,针对正常数据和异常数据的特点设计相关特征;最后选择xgboost模型对时序数据进行异常检测。此异常检测流程提高了异常检测的准确性和泛化能力。通过在KPI公共数据集上进行实验,验证了该设计的准确性和有效性。     

基于扩充数据源的系统调用异常检测算法

扩充了传统异常检测算法的数据源，将系统调用参数和系统调用频率信息纳入异常检测算法中。新的算法通过训练统计系统调用的频率信息，建立程序正常运行时的文件访问分布模型，以传统的基于系统调用的异常检测方法为基础，结合训练时得到的信息，确定攻击的优先级。实验结果表明，该方法有效的改善了原方法的检测率和误报率等指标。     

一种新型大规模分布式拒绝服务检测模型研究

将基于HOPCOUNT的异常数据包过滤技术引入到TaoPeng等人提出的检测方法中,提出了一个新型的DDoS攻击的检测模型.通过判定算法,该模型能够较为准确的区分出正常通信量和异常通信量,并在此基础上,运用CUSUM算法监测两个特征量,实现了DDoS攻击检测.此外,本文将Bloom Filter算法引入到数据库的查找过程中,提高了检测的性能以及检测模型自身的安全性.实验结果证明,该检测模型能够以较高的精确度及时的检测出DDoS攻击行为.     

基于混合马尔科夫树模型的ICS异常检测算法

针对工业控制系统中现有异常检测算法在语义攻击检测方面存在的不足,提出一种基于混合马尔科夫树模型的异常检测算法,充分利用工业控制系统的阶段性和周期性特征,构建系统正常运行时的行为模型|混合马尔科夫树.该模型包含合法的状态事件、合法的状态转移、正常的概率分布以及正常的转移时间间隔等4种信息,基于动态自适应的方法增强状态事件的关联度并引入时间间隔信息以实现对复杂语义攻击的检测,语义建模时设计一种剪枝策略以去除模型中的低频事件、低转移事件以及冗余节点,当被检测行为使得模型的以上4种信息产生的偏差超过阈值时,判定该行为异常.最后,基于OMNeT++网络仿真环境构建一个简化的污水处理系统对本文算法进行功能性验证,并利用真实物理测试床的数据集对算法的检测准确度进行性能验证.验证结果表明,本文算法能有效消除人机交互和常规诊断等操作带来的噪声影响,对复杂语义攻击具有较高的检出率,且能识别传统的非语义攻击.     

基于直方图聚类的网络流量异常检测技术研究

基于流量特征的异常检测技术主要是通过网络流量特征属性分布规律映射网络异常行为。为提高检测准确率,降低误报率,文章提出了基于流量特征直方图聚类的异常检测和分类的技术。通过直方图的方法详细描述网段流量特征的时空信息,然后聚类分析各种属性特征的正常模型,最后根据待测流量特征属性与正常模型之间的距离所组成的向量来衡量异常。基于DARPA99数据集的实验表明,该算法具有较高的异常检测和分类准确性。     

一种分布式拒绝服务攻击的检测模型

提出了一种实时检测网络是否受到DDoS攻击的新模型,解决了传统检测方法难以区分突变正常流量与异常流量的问题.结合网络正常流量的特点,提出了检测DDoS攻击的新度量和检测算法.该算法不仅结构简洁、运算速度快;而且能够充分利用已知信息,具有较强的抗干扰能力.实际检测结果表明,本模型可实现时DDoS攻击的实时检测.     

基于机器学习的电力系统网络异常检测与分类方法

针对电力系统网络异常检测问题，提出一种基于随机森林的网络特征分类方法，并在此基础上采用双向LSTM分类模型进行网络异常检测。首先根据IEC 104协议报文格式与传输大小构建应用层多维特征，对构建特征进行排序筛选，得到对网络状况影响程度最高的10项特征；再将筛选出的特征输入Bi＿LSTM分类模型，二分类和多分类不同角度进行网络异常检测。结果表明，在二分类实验中，采用的双向LSTM算法，检测率为92.48%,较kNN算法高9.14%,较SVW算法高34.11%;误检率为7.38%,较kNN算法低6.13,较SVW算法低2.14%,检测效果最好。而在输入正常样本、DoS异常样本和IEC 104异常样本的多分类检测中，使用双向LSTM算法检测率分别为92.59%、92.31%和48.12%,较kNN算法和SVW算法更高；误检率分别为10.54%、8.11%和4.13%,较对比模型综合误差最低，网络异常检测效果最好。     

基于小波隐马尔科夫模型的控制过程异常数据检测方法

针对小波异常信号检测原理的局限性,提出了适用于过程数据的基于小波隐马尔可夫模型（W-HMM）的异常数据检测方法．首先在一定尺度下对检测信号进行分解,将频率组分不同于其他大部分信号的信号作为异常信号;然后通过计算待检测信号的小波系数与正常信号小波系数的相似概率,并利用求取隐马尔可夫模型（HMM）最优状态链的Viterbi算法对数据进行最终判断;最后通过数值验证和应用表明了所提出的检测算法的有效性和实用性．     

基于标签传递的异常检测算法研究

异常检测旨在检测出观测数据中的非正常值,被广泛应用于反信用卡欺诈、网络入侵检测、医疗分析以及气象预报等领域。在异常检测中,正常数据通常具有异常数据所不具备的某种内蕴结构。因此,如何有效地利用正常数据与异常数据在数据结构上的差异性将有助于提高异常检测性能。为此,本文提出了一种新颖的基于标签传递的异常检测算法。该算法通过图模型刻画正常数据所具有的内蕴结构,并通过多重标签传递来构建未标记正例样本与待测试样本的标签置信度的差异。最后,基于正例样本的标签置信度的统计特性分析,实现对测试样本的异常性判决。在人工合成及真实数据集上的实验验证了本文算法的有效性。     

基于大数据的异常检测方法研究

离群数据检测,主要目的是从海量数据中发现异常数据。其有以下两点好处：第一,作为数据预处理工作,减少噪声点对模型的影响;第二,针对特定场景检测出异常,并对异常现象本身进行挖掘,也非常有价值。目前,国内外主流的方法像LOF、KNN、ORCA等,无法兼顾全局离群点、局部离群点和离群簇同时存在的复杂场景的检测。 针对这一情况,提出了一种新的离群数据检测模型。为了能够最大限度对全局、局部离群数据以及离群簇的全面检测,基于iForest、LOF、DBSCAN分别对于全局离群点、局部离群点、离群簇的高度敏感度,选定该三种特定基分类器,并且改变其目标函数,修正框架的错误率计算方式,进行融合,形成了新的离群数据检测模型ILD-BOOST。实验结果表明,该模型充分兼顾了全局和局部离群数据及离群簇的检测,且效果优于目前主流的离群数据检测方法。     

基于数学形态学的模糊异常点检测

异常点检测作为数据挖掘的一项重要任务,可能会导致意想不到的知识发现.但传统的异常点检测技术都忽略了数据的自然结构,即异常点与簇的联系.然而,把异常点得分和聚类方法结合起来有利于对异常点与簇的联系的研究.提出基于数学形态学的模糊异常点检测与分析,把数学形态学技术和基于连接的异常点检测方法集成到一个模糊模型中,从异常隶属度和模糊隶属度这两个方面来分析对象与簇集的模糊关系.通过充分的实验证明,该算法能够对复杂面状和变密度的数据集,正确、高效地找出异常点,同时发现与异常点相关联的簇信息,探索异常点与簇核的关联深度,对异常点本身的意义具有启发作用.     

基于插值的高维稀疏数据离群点检测方法

离群点检测问题中的数据可被看作是正常点与异常点在空间中的高度混合，在减少正常点损失的前提下，离群点通常包含在离聚类中心最远的样本集中。受这种思想启发，提出一种针对高维稀疏数据的基于插值的离群点检测方法，该方法在K-means基础上应用遗传算法对原始数据进行插值处理，解决了K-means聚类中稀疏数据容易被合并的问题。实验结果表明，对比基于传统K-means聚类的离群点检测方法以及几种典型的基于改进K-means的检测方法，本文 方法损失的正常点更少，提高了检测的准确率和精确率。     

Oui! Outlier Interpretation on Multi‐dimensional Data via Visual Analytics

Outliers, the data instances that do not conform with normal patterns in a dataset, are widely studied in various domains, such as cybersecurity, social analysis, and public health. By detecting and analyzing outliers, users can either gain insights into abnormal patterns or purge the data of errors. However, different domains usually have different considerations with respect to outliers. Understanding the defining characteristics of outliers is essential for users to select and filter appropriate outliers based on their domain requirements. Unfortunately, most existing work focuses on the efficiency and accuracy of outlier detection, neglecting the importance of outlier interpretation. To address these issues, we propose Oui, a visual analytic system that helps users understand, interpret, and select the outliers detected by various algorithms. We also present a usage scenario on a real dataset and a qualitative user study to demonstrate the effectiveness and usefulness of our system.     

基于井下人员的异常轨迹分析方法研究

针对井下作业人员轨迹数据信息多维度和稀疏性等问题,提出了基于离群点的异常轨迹筛选ZFMTRAOD算法,首先通过对轨迹子段建立R-tree索引提升检索速度,然后利用离群检测思想对邻域半径内轨迹子段的数量和平均时间判断轨迹是否异常,最后利用井下作业人员的轨迹数据对算法的性能进行比较,发现基于离群点的井下人员轨迹分析算法不仅能判别出井下作业人员异常轨迹的类型,还提高了异常轨迹判别的准确率。     

轨迹大数据异常检测:研究进展及系统框架

定位技术与普适计算的蓬勃发展催生了轨迹大数据,轨迹大数据表现为定位设备所产生的大规模高速数据流。及时、有效地对以数据流形式出现的轨迹大数据进行分析处理,可以发现隐含在轨迹数据中的异常现象,从而服务于城市规划、交通管理、安全管控等应用。受限于轨迹大数据固有的不确定性、无限性、时变进化性、稀疏性和偏态分布性等特征,传统的异常检测技术不能直接应用于轨迹大数据的异常检测。由于静态轨迹数据集的异常检测方法通常假定数据分布先验已知,忽视了轨迹数据的时间特征,也不能评测轨迹大数据中动态演化的异常行为。面对轨迹大数据低劣的数据质量和快速的数据更新,需要利用有限的系统资源处理因时变带来的概念漂移,实时检测多样化的轨迹异常,分析轨迹异常间的因果联系,继而识别更大时空区域内进化的、关联的轨迹异常,这是轨迹大数据异常检测的核心研究内容。此外,融合与位置服务应用相关的多源异质数据,剖析异常轨迹的起因以及其隐含的异常事件,也是轨迹大数据异常检测当下亟待研究的问题。为解决上述问题,对轨迹异常检测技术的研究成果进行了分类总结。针对现有轨迹异常检测方法的局限性,提出了轨迹大数据异常检测的系统架构。最后,在面向轨迹流的在线异常检测、轨迹异常的演化分析、轨迹异常检测系统的基准评测、异常检测结果语义分析的数据融合、以及轨迹异常检测的可视化技术等方面探讨了今后的研究工作。     

Incremental rare pattern based approach for identifying outliers in medical data

Outlier detection is an imperative field of data mining that has several applications in the field of medical research. Mining outliers based on the notion of rare patterns can be a promising solution for medical diagnosis as it attempts to identify the unconventional and abnormal risk patterns present in medical data. A crucial issue in medical data analysis is the continuous growth of medical databases due to the addition of new records. Existing outlier detection techniques are capable of handling only static data and thus re-execute from scratch to identify the outliers from incremental medical data. This paper introduces an efficient rare pattern based outlier detection (RPOD) method that identifies outliers by mining rare patterns from incremental data. To avoid multiple database scans and expensive candidate generation steps performed by existent rare pattern mining techniques and facilitate incremental mining, a single pass prefix tree-based rare pattern mining technique is proposed. The proposed rare pattern mining technique is a modification of the well-known FP-Growth frequent pattern mining algorithm. Furthermore, to identify the outliers based on the set of generated rare patterns, an outlier detection technique is also presented. The significance of proposed RPOD approach is demonstrated using several well-known medical datasets. Comparative performance evaluation substantiates the predominance of RPOD approach over existing outlier mining methods.     

一种基于离群算法的窃电行为检测的研究

针对窃电行为现场查证具有难以克服的现实困难,提出一种基于离群数据挖掘的窃电行为检测方法。该离群算法基于密度聚类算法,采用基于用电量波动的不同方向识别不同的用电模式,基于用电频率、离群距离以及异常规则关联度的计算挖掘潜在离群数据点,并通过基于评价矩阵确定离群阈值对离群数据点存在窃电行为的可能性进行确定性分析,实现对窃电行为的数据化检测。最后通过仿真测试证明该算法在针对混杂不同用电模式的用电数据的窃电检测方面相对于其他数据挖掘算法具有更好的性能表现。     

基于粗糙熵的离群点检测方法及其在无监督入侵检测中的应用

香农的信息熵被广泛用于粗糙集.利用粗糙集中的粗糙熵来检测离群点,提出一种基于粗糙熵的离群点检测方法,并应用于无监督入侵检测.首先,基于粗糙熵提出一种新的离群点定义,并设计出相应的离群点检测算法-–基于粗糙熵的离群点检测(rough entropy-based outlier detection,REOD);其次,通过将入侵行为看作是离群点,将REOD应用于入侵检测中,从而得到一种新的无监督入侵检测方法.通过多个数据集上的实验表明,REOD具有良好的离群点检测性能.另外,相对于现有的入侵检测方法,REOD具有较高的入侵检测率和较低的误报率,特别是其计算开销较小,适合于在海量高维的数据中检测入侵.