一种基于属性的异常点检测算法

异常数据检测是数据挖掘研究的热点之一。本文在对现有异常点检测算法分析的基础上,提出了一种基于属性的异常点检测算法。简要地介绍了异常检测的现状,对基于属性的异常检测算法进行了详细分析,包括算法设计基础、算法描述、复杂度分析等。并通过与基于距离的异常点检测算法进行实验比较,表明了算法的优越性。     

基于kNN算法的异常行为检测方法研究

阐述了异常行为检测的相关概念,介绍了kNN算法,探讨了异常行为检测与分类技术的关系。结合kNN算法的优点以及异常行为检测与分类的相似性,提出了基于kNN算法的异常行为检测方法,给出了其计算方法,并确定了检测的过程,分析了该方法的特点和优势。基于kNN算法的异常行为检测方法通过不断的自学习,会成为信息安全的一道有效防线。     

基于粒子群优化算法的属性异常检测

提出一种新的基于粒子群优化算法的属性异常检测算法。该算法利用粒子群优化算法简单、寻优速度快的优点检测属性异常,在粒子群寻找最优值的过程中发现可能是属性异常的数据,并采用Omeasure适应度评估属性异常,算法的时间复杂度是多项式级的。与全搜索检测算法相比,大幅减少了搜索范围;同时,与完全随机算法相比,采用启发式搜索规则,提高了查全率及查准率。实验结果表明,粒子群检测算法不仅执行效率高,而且保持了较高的查全率与查准率。     

基于深度学习的多波束海底地质数据异常值检测方法

随着陆地资源不断开发,可用资源减少,人类将资源的开发转移到海洋领域,此时能够收集大量海底数据的多波束测深系统起着重要作用。但未经检测和过滤的、包含异常数据的多波束测深系统会给海洋开发带来危害,因此需要对异常数据进行检测。常用的检测异常值的算法有截断最小二乘估计异常值检测算法、基于改进GA异常值检测算法等,但这些算法的检测精度均较低。随着深度学习不断发展,许多异常值检测的算法均基于深度学习进行改进。提出一种新的异常检测方法——深度支持向量检测算法,与之前方法相比在检测出更多异常值的同时,能减少误判和漏判的情况且提高了检测精度。     

基于SMFDD实现分布式防火墙异常规则检测及优化

为提高分布式防火墙异常规则的检测效率并优化异常规则,提出基于半同构标记防火墙决策图(SMFDD)的分布式防火墙异常规则检测算法与异常规则优化算法。异常规则检测算法在保持原始规则完整性、一致性、紧凑性的基础上,消除独立防火墙规则间异常;通过SMFDD之间的比较操作,提高异常规则的检测效率。异常规则优化算法根据SMFDD之间逻辑操作,定位引起规则异常的重叠或交叉域,修正分布式防火墙规则间异常,优化防火墙规则。仿真结果表明,当防火墙含有一定规则时,异常规则检测算法可以提高分布式防火墙规则间异常检测效率,异常优化算法能够快速优化异常规则。     

无人机飞行数据异常检测算法综述

针对无人机（UAV）机载健康状态监测领域的UAV飞行数据异常检测问题，首先阐述了UAV飞行数据的特点、常见的飞行数据异常类型及对异常检测算法的要求；然后梳理了UAV飞行数据异常检测算法的研究现状，并归为3大类：基于先验知识的定性异常检测算法、基于模型的定量异常检测算法和基于数据驱动的异常检测算法，同时分析了各类算法的应用场景和优缺点；最后总结了UAV飞行数据异常检测算法目前存在的问题和挑战，展望了未来UAV飞行数据异常检测领域的重点发展方向，为新的研究提供了参考思路。     

基于云计算的数据异常智能检测技术研究

针对传统数据异常智能检测技术无法实现检测率与误检率同步的问题,提出一种基于云计算的数据异常智能检测技术。该技术结合聚类分析算法,通过计算相似度实现异常数据与正常数据之间的分类,从而达到数据异常检测的目的,其过程如下:首先对待检测数据进行预处理,然后从预处理后的数据中提取代表性特性,接着计算待检测数据与数据特征之间的相似度,并按照相似度大小筛选出异常数据,最后进行异常数据响应,并进行相应处理。结果表明:与结合神经网络算法、深度学习算法、随机森林算法等传统数据异常检测技术相比,本技术在保证检测率的同时,降低了误检率,误检率分别降低0.19%,0.4%、0.53%。     

基于Spark平台的并行KNN异常检测算法

随着大数据时代的到来,异常检测受到了广泛关注。针对传统KNN异常检测算法处理速度和计算资源的瓶颈,以及Hadoop平台上的MapReduce不能友好支持迭代计算和基于内存计算等问题,提出了一种基于Spark平台的并行KNN异常检测算法。该算法首先对数据集进行分区和广播,然后用map函数计算数据集在每个分区的K近邻,使用reduce函数归并map函数的输出计算全局K近邻得到异常度,将异常度前n个对象视为异常。与传统KNN异常检测算法相比,在保证检测精度的前提下该算法的性能与计算资源呈近似线性关系;与其他并行异常检测算法相比,该算法无需额外扩展数据,支持迭代,而且通过在内存中缓存中间结果来减少I/O花销。实验结果证明,该算法可以提高KNN算法在大规模数据上的异常检测效率。     

一种基于软调和函数的有条件异常检测方案研究

对有条件异常检测问题展开研究,以检测出响应异常或类别异常的数据实例。基于软调和函数,提出一种新的无参数有条件异常检测算法。该算法基于软调和解,可估计类别置信度,进而检测出异常类别划分。同时对调和解进行正规化,以避免检测孤立样本和分布支持边界样本。基于数种合成数据和UCI ML数据进行实验,通过与其他基准算法进行比较,验证了该算法在检测异常分类方面的有效性。最后基于真实电子医疗记录数据(检测病人管理异常决策)对所提算法的性能进行了评估。     

视频异常检测技术研究进展

视频异常检测是指对偏离正常行为事件的检测识别,在监控视频中有着广泛的应用.对基于深度学习的视频异常检测算法进行了深入的调查研究和全面的梳理与总结.首先,对视频异常检测相关内容以及异常检测面临的挑战进行了分析;然后,从有监督、半监督和无监督三方面对视频异常检测的相关算法进行了介绍和分析.对三种不同场景下的算法进一步细化分...     

基于粗糙集和遗传约简算法的入侵检测方法

采用改进的贪心算法和遗传算法结合的混合遗传算法进行属性约简,并利用值约简后生成的入侵检测规则,提出一种基于粗糙集理论和遗传约简算法的入侵检测方法。基于KDDCUP99数据集的实验表明该方法取得了良好的入侵检测效果,并且改进的混合遗传算法生成约简的速度更快。     

基于改进MD5算法的数据篡改检测方法

针对数据库中敏感数据被非法篡改后难以检测发现的问题,提出了一种基于单向散列算法的不可逆性对敏感数据篡改的有效检测方法,并采用检测客户端与服务器的双重检测机制来加强检测效果。单向散列算法选用MD5算法,并通过向算法中注入隐蔽的“抗体”因子以抵抗篡改者的穷举搜索,使MD5算法得到有效的改进。重点阐述了上述检测方法的原理及其在应用系统中的实现。应用结果表明,该检测方法对非法篡改具有高度敏感性和优秀的数据篡改检测性能。     

传统NIDS漏报和误报起因及改进技术

传统的网络入侵检测系统大都采用模式匹配的方法进行入侵检测,有着非常高的漏报率和误报率。本文通过对模式匹配算法检测过程的描述,对其产生漏报和误报的原因进行了分析。针对模式匹配算法带来的高漏报率和误报率,引入了协议分析的方法。协议分析方法通过辨别数据包的协议类型,然后使用相应的数据分析程序进行检测。这种方法可以大幅度地降低漏报率和误报率,大大地提高了入侵检测系统的效率。     

基于图像处理技术的烟雾检测在家庭火灾防范中应用

针对家庭火灾防范中缺少更有效、快速的实时烟雾检测问题,本文设计了一种基于图像处理技术的烟雾检测算法,能够对家庭住宅内部进行实时烟雾检测,从而实现火灾防范。本算法主要使用单阶段的端到端YOLO v3算法,对输入的烟雾数据进行学习,提取网络中不同卷积层的特征图进行联合训练。实验结果表明,和双阶段网络的烟雾图像检测方法相比,该方法检测速度快,实时效果好,同时也取得了较高的检测准确率,具有较高的实际应用价值。     

基于Boosting模糊分类的入侵检测

提出一种基于Boosting模糊分类的入侵检测方法。采用遗传算法来获取入侵检测的模糊规则,利用Boosting算法不断改变训练样本的分布,使每次遗传算法产生的模糊分类规则重点考虑误分类和无法分类的样本。以kddcup’99为数据源进行了仿真实验,结果表明该方法具有良好的分类识别性能。     

管道泄漏检测优化算法的研究与仿真

研究管道泄漏优化检测问题,提高检测准确率。由于管内压力噪声干扰,使得采集的检测压力数据不准确。传统泄露检测算法是根据管内压力形成的负压波进行泄露检测。在管道检测的同时进行起泵、停泵等基本的工况操作时,管道内的噪声会影响压力变化,造成误报警的问题。为解决上述问题,提出一种Kalman滤波器的管道泄漏检测算法,引入未知输入项后经过Kalman滤波器来控制检测模型的变化,排除了工况操作和压力产生噪声等的干扰。实验证明,改进方法克服了误报警问题,能准确预测管道的泄漏,为管道检测提供了可靠的方法。     

Network intrusion detection based on system calls and data mining

Anomaly intrusion detection is currently an active research topic in the field of network security. This paper proposes a novel method for detecting anomalous program behavior, which is applicable to host-based intrusion detection systems monitoring system call activities. The method employs data mining techniques to model the normal behavior of a privileged program, and extracts normal system call sequences according to their supports and confidences in the training data. At the detection stage, a fixed-length sequence pattern matching algorithm is utilized to perform the comparison of the current behavior and historic normal behavior, which is less computationally expensive than the variable-length pattern matching algorithm proposed by Hofmeyr et al. At the detection stage, the temporal correlation of the audit data is taken into account, and two alternative schemes could be used to distinguish between normalities and intrusions. The method gives attention to both computational efficiency and detection accuracy, and is especially suitable for online detection. It has been applied to practical hosted-based intrusion detection systems, and has achieved high detection performance.     

Network intrusion detection based on system calls and data mining

Anomaly intrusion detection is currently an active research topic in the field of network security. This paper proposes a novel method for detecting anomalous program behavior, which is applicable to host-based intrusion detection systems monitoring system call activities. The method employs data mining techniques to model the normal behavior of a privileged program, and extracts normal system call sequences according to their supports and confidences in the training data. At the detection stage, a fixed-length sequence pattern matching algorithm is utilized to perform the comparison of the current behavior and historic normal behavior, which is less computationally expensive than the variable-length pattern matching algorithm proposed by Hofmeyr et al. At the detection stage, the temporal correlation of the audit data is taken into account, and two alternative schemes could be used to distinguish between normalities and intrusions. The method gives attention to both computational efficiency and detection accuracy, and is especially suitable for online detection. It has been applied to practical hosted-based intrusion detection systems, and has achieved high detection performance.     

基于自然邻居邻域图的无参数离群检测算法

数据挖掘领域,基于最近邻居思想的离群检测算法在面对复杂数据时,很难在没有足够先验知识条件下进行适当的参数选择。为了解决这个问题,本文在自然邻居方法的基础上,提出一种利用加权自然邻居邻域图进行离群检测的算法。该算法在整个过程不需要人为设置参数,并且能在不同分布特征的数据中准确找到数据集中的全局离群点和局部离群点。人工数据集和真实数据的离群检测结果均证明,本算法能够取得和有参数的算法中最优参数相近的效果,算法检测结果远好于对参数敏感算法的大部分情况,且更优于对参数不敏感的算法,具有更强的普适性和实用性。     

一种不确定连续时间序列的Top-K异常检测算法

针对噪声数据对时间序列异常检测准确性的影响问题, 提出了一种不确定连续时间序列Top-K异常检测算法。在典型时间序列异常检测方法的基础上对时间序列的异常值进行区间处理, 构造满足均匀分布的密度函数, 结合不确定Top-K技术, 实现含噪连续时间序列在分布未知情况下的Top-K异常排序。实验部分采用模拟数据和真实数据进行算法测试, 算法较传统方法在异常检测的准确率方面有明显提高, 虽然在计算时间上有所增加, 但提出了相应的优化策略, 使计算时间在k值大于5时有明显改善, 验证了算法的有效性。