异常检测测试平台的设计

提出了一种可以测试不同算法的异常检测测试平台.为适合大规模分布式网络,将网络分成不同网段,每个网段放置一个探测器IC,把不同IC提供的网络数据汇总至异常检测部件,在此进行异常分析,并根据分析结果对可能的入侵行为进行实时报警,其中的异常检测算法可以替换.最后,针对一种基于统计的异常检测算法进行了实验,并给出异常检测结果.     

基于异常的入侵检测技术浅析

入侵检测是一个比较新的、迅速发展的领域,已成为网络安全体系结构中的一个重要的环节。详细介绍了基于异常的入侵检测技术的原理和基本流程,并结合现有的基于异常的入侵检测系统,重点分析了几种常用的异常检测技术,讨论了基于异常的入侵检测技术的优点和存在的问题。     

基于密集子图的银行电信诈骗检测方法

目前银行对电信诈骗的标记数据积累少，人工标记数据的代价大，导致电信诈骗检测的有监督学习方法可使用的标记数据不足。针对这个问题，提出一种基于密集子图的无监督学习方法用于电信诈骗的检测。首先，通过在账户-资源（IP地址和MAC地址统称为资源）网络搜索可疑度较高的子图来识别欺诈账户；然后，设计了一种符合电信诈骗特性的子图可疑度量；最后，提出一种磁盘驻留、线性内存消耗且有理论保障的可疑子图搜索算法。在两组模拟数据集上，所提方法的F1-score分别达到0.921和0.861，高于CrossSpot、fBox和EvilCohort算法，与M-Zoom算法的0.899和0.898相近，但是所提方法的平均运行时间和内存消耗峰值均小于M-Zoom算法；在真实数据集上，所提方法的F1-score达到0.550，高于fBox和EvilCohort算法，与M-Zoom算法的0.529相近。实验结果表明，所提方法能较好地应用于现阶段的银行反电信诈骗业务，且非常适合于实际应用中的大规模数据集。     

基于数据挖掘的网络异常行为检测技术设计与实现

既有的基于数据挖掘技术的入侵检测将研究重点放在误用检测上。提出了基于数据挖掘技术的网络异常检测方案,并详细分析了核心模块的实现。首先使用静态关联规则挖掘算法和领域层面挖掘算法刻画系统的网络正常活动简档,然后通过动态关联规则挖掘算法和领域层面挖掘算法输出表征对系统攻击行为的可疑规则集,这些规则集结合从特征选择模块中提取网络行为特征作为分类器的输入,以进一步降低误报率。在由DAR-AP1998入侵检测评估数据集上的实验证明了该方法的有效性。最后,对数据挖掘技术在入侵检测领域中的既有研究工作做了,总结。     

基于W-Kmeans算法的DNS流量异常检测

为了对DNS查询进行有效检测,及时发现DNS流量异常,提出了适合于检测DNS流量异常的权重Kmeans (WKmeans)算法.对CN顶级域2009年5月19日的原始查询日志抽取有用信息,提取相关的向量特征,对不同的向量特征赋予不同的权重值.利用W-Kmeans算法对查询日志进行聚类检测,并分析了算法各种参数选择的影响.5.19事件的DNS查询检测结果表明,W-Kmeans算法可以有效检测DNS流量异常的发生.     

CAT-RFE:点击欺诈的集成检测框架

点击欺诈是近年来最常见的网络犯罪手段之一,互联网广告行业每年都会因点击欺诈而遭受巨大损失。为了能够在海量点击中有效地检测欺诈点击,构建了多种充分结合广告点击与时间属性关系的特征,并提出了一种点击欺诈检测的集成学习框架——CAT-RFE集成学习框架。CAT-RFE集成学习框架包含3个部分:基分类器、递归特征消除(RFE,recursive feature elimination)和voting集成学习。其中,将适用于类别特征的梯度提升模型——CatBoost(categorical boosting)作为基分类器;RFE是基于贪心策略的特征选择方法,可在多组特征中选出较好的特征组合;Voting集成学习是采用投票的方式将多个基分类器的结果进行组合的学习方法。该框架通过CatBoost和RFE在特征空间中获取多组较优的特征组合,再在这些特征组合下的训练结果通过voting进行集成,获得集成的点击欺诈检测结果。该框架采用了相同的基分类器和集成学习方法,不仅克服了差异较大的分类器相互制约而导致集成结果不理想的问题,也克服了RFE在选择特征时容易陷入局部最优解的问题,具备更好的检测能力。在实际互联网点击欺诈数据集上的性能评估和对比实验结果显示,CAT-RFE集成学习框架的点击欺诈检测能力超过了CatBoost模型、CatBoost和RFE组合的模型以及其他机器学习模型,证明该框架具备良好的竞争力。该框架为互联网广告点击欺诈检测提供一种可行的解决方案。     

一种自适应的人工免疫异常检测算法

提出了一种基于免疫的自适应异常检测算法SAIM,该算法通过对训练抗原的学习,形成最优的抗体对记忆细胞集进行进化和更新,通过记忆细胞集采用KNN方法投票进行异常检测。实验采用著名UCI机器学习数据库的Hepatitis标准数据集,获得的分类准确率为93.5%,与现有同类算法进行比较,SAIM所取得的准确率具有一定的优越性。     

数据预处理在保险理赔预测中的应用

数据挖掘技术在中国的应用尚不普及,一个重要的原因就是由于业务数据的不规范.通过使用数据预处理技术,可以使业务数据更加规范,保证各种数据挖掘算法取得良好的效果.以保险理赔预测为应用背景,介绍了如何结合专业知识进行数据清洗的方法,同时还提出了一种压缩大数据集的数据归约算法.     

基于子空间的可解释性多变量异常检测

为了解决在多维特征数据中,部分异常点被分散的特征空间所掩盖而无法检出的问题,以及缓解当前异常检测方法的结果可解释性差或不具有可解释性的状况,提出了基于子空间的可解释性多变量异常检测算法;首先在多维特征空间中,对每一个维度的特征进行分布检验,在此基础上为每一个对象选择出一个特征空间的集合,进而为每个对象计算出异常值分数;在此过程中,高效利用算法的中间过程产物,来对算法结果加以解释,改善使用者对数据的理解;使用真实数据集,对算法进行了验证,实验结果表明其具有较好的准确性和运行时间,并很好的解释了异常点的异常性。     

一种基于反馈神经网络的异常检测方法

目前的入侵检测系统缺乏从先前所观察到的进攻进行概括并检测已知攻击的细微变化 的能力。描述了一种基于最小二乘估计(LS)模型的入侵检测算法,该算法利用神经网络的特点,具 有从先前观测到的行为进行概括进而判断将来可能发生的行为的能力。提出了一种在异常检测中用 反馈神经网络构建程序行为的特征轮廓的思想,给出了神经网络算法的选择和应用神经网络的设计 方案。实验表明在异常检测中利用反馈神经网络构建程序行为的特征轮廓,能够提高检测系统对偶 然事件和入侵变异的自适应性和异常检测的速度。     

基于Isolation Forest的并行化异常探测设计

异常探测具有广泛的应用,受到了工业界和学术界的共同关注。在众多异常探测方法中,Isolation Forest算法具有执行效率高、探测准确度好的特点,获得了众多应用。但是,传统Isolation Forest算法难以处理大规模数据。为解决此问题,设计了一种基于云计算平台的算法。具体地,使用Hadoop分布式存储系统和MapReduce分布式计算框架设计并实现了基于Isolation Forest的并行化异常探测算法PIFH。通过将探测模型构建和数据异常评价的过程并行化,提升了PIFH算法探测异常的执行效率,扩展了其应用范围。利用真实世界数据集验证了所提算法的执行效率和可扩展性。     

一种基于动态聚类的异常入侵检测方法

运用数据挖掘方法进行入侵检测已经成为网络安全领域的一个重要研究方向。提出一种动态聚类的数据挖掘方法进行异常入侵检测,该方法将不同用户行为的特征动态聚集,根据各个子的类支持度与预设的检测阈值比较来区分正常与异常。由于动态聚类算法在每次聚类过程中都检验归类的合理性,因此获得很好的聚类效果。实时检测试验得到了较高的检测率和较低的误报率。     

A cost-sensitive decision tree approach for fraud detection

With the developments in the information technology, fraud is spreading all over the world, resulting in huge financial losses. Though fraud prevention mechanisms such as CHIP&PIN are developed for credit card systems, these mechanisms do not prevent the most common fraud types such as fraudulent credit card usages over virtual POS (Point Of Sale) terminals or mail orders so called online credit card fraud. As a result, fraud detection becomes the essential tool and probably the best way to stop such fraud types. In this study, a new cost-sensitive decision tree approach which minimizes the sum of misclassification costs while selecting the splitting attribute at each non-terminal node is developed and the performance of this approach is compared with the well-known traditional classification models on a real world credit card data set. In this approach, misclassification costs are taken as varying. The results show that this cost-sensitive decision tree algorithm outperforms the existing well-known methods on the given problem set with respect to the well-known performance metrics such as accuracy and true positive rate, but also a newly defined cost-sensitive metric specific to credit card fraud detection domain. Accordingly, financial losses due to fraudulent transactions can be decreased more by the implementation of this approach in fraud detection systems.     

Genetic-fuzzy rule mining approach and evaluation of feature selection techniques for anomaly intrusion detection

Classification of intrusion attacks and normal network traffic is a challenging and critical problem in pattern recognition and network security. In this paper, we present a novel intrusion detection approach to extract both accurate and interpretable fuzzy IF-THEN rules from network traffic data for classification. The proposed fuzzy rule-based system is evolved from an agent-based evolutionary framework and multi-objective optimization. In addition, the proposed system can also act as a genetic feature selection wrapper to search for an optimal feature subset for dimensionality reduction. To evaluate the classification and feature selection performance of our approach, it is compared with some well-known classifiers as well as feature selection filters and wrappers. The extensive experimental results on the KDD-Cup99 intrusion detection benchmark data set demonstrate that the proposed approach produces interpretable fuzzy systems, and outperforms other classifiers and wrappers by providing the highest detection accuracy for intrusion attacks and low false alarm rate for normal network traffic with minimized number of features.     

一种基于费歇(Fisher)判别法的异常检测模型设计

网络上的入侵事件层出不穷,这对信息资源的安全构成了严重威胁。应对这些恶意行为的重要措施之一就是入侵检测。该技术的一个重要分支——异常入侵检测技术在目前的网络安全领域研究中十分活跃。文中提出一种基于统计理论——费歇(Fisher)判别法的异常入侵检测模型,该模型与其他的异常检测模型相比,在对异常事件响应能力的实时性与精确性方面有了较为显著的提高,应用该模型也简化了入侵检测系统设计的复杂性。     

基于流形学习的异常检测算法研究

化探异常识别是成矿预测的重要依据。化探异常识别本质上是一不均衡数据的分类问题。异常识别过程中面临的主要问题是高维数据的处理问题,流形学习通过非线性降维方法实现维数约简。提出了一种基于流形学习的异常识别算法,通过流形学习进行维数约简,结合AdaCost技术,以改善不平衡数据的分类性能。以某锡铜多金属矿床的数据为研究对象进行仿真实验,实验结果表明该算法能够更准确地圈定区域化探异常,为成矿预测与评价提供了新的解决途径。     

基于相对熵理论的多测度网络异常检测方法

检测率低、误报率高和检测攻击范围不够全面已经成为制约网络异常检测发展的最大障碍,为了提高检测率,降低误报率,扩大检测攻击范围,提出了一种新的网络异常检测方法。首先,对网络流量进行统计分析并引入相对熵理论来表征测度对应的全概率事件;然后,通过加权系数融合多个测度相对熵而得到加权相对熵;最终,以综合的多测度加权相对熵作为网络异常判断的依据。实验数据采用DARPA1999测评数据集,实验结果表明该方法在低误报率的前提下,达到了较高的检测率。     

一种基于聚类的无监督异常检测方法

为了解决无监督异常检测方法无法检测突发性的大规模攻击的问题,提出了一种基于聚类的无监督异常检测模型,该模型从多个聚类器中选取DB指数最小的分簇结果,并利用最小簇内距离、最大簇内距离对每个簇进行分类,从而识别出攻击。实验表明该模型明显提高了检测率、降低了误报率。     

基于异常与误用的入侵检测系统

入侵检测系统近年来得到长足的发展,但功能都不够完善.为此将基于误用的入侵检测与基于异常的检测结合为一体.在误用检测上,将检测规则进行分类排序,从而极大地提高了检测效率.异常检测则采用人工免疫技术,使系统对已知的攻击和新型攻击均有较强检测能力.     

异常检测中的持续学习研究

提出了阶段化学习的概念，分阶段学习区分出了模式的完备性和不完备性。基于此概念，提出一种新的异常检测模式持续学习算法（PADPL）。仿真结果显示，PADPL能够满足由不完备性引起的异常检测模式持续学习的要求。