基于深度学习的视频异常检测方法综述

近年来,随着视频监控技术的广泛应用,对海量视频进行智能分析并及时发现其中的异常状态或事件的视频异常检测任务受到了广泛关注。对基于深度学习的视频异常检测方法进行了综述。首先,对视频异常检测问题进行概述,包括基本概念、基本类型、建模流程、学习范式及评价方式。其次,提出将现有基于深度学习的视频异常检测方法分为基于重构的方法、基于预测的方法、基于分类的方法及基于回归的方法4类并详细阐述了各类方法的建模思想、代表性工作及其优缺点。然后,在此基础上介绍了常用的单场景视频异常检测公开数据集和评估指标,并对比分析了代表性异常检测方法的性能。最后,总结全文并从数据集、方法及评估指标3方面对视频异常检测研究的未来发展方向进行了展望。     

基于异常检测的产品表面缺陷检测与分割

工业制造中缺陷样本难以获得且缺陷表现形式多样,只用训练正样本的异常检测技术越来越多地被应用于产品表面缺陷检测。异常检测一般通过评估产品图像的异常分数对产品进行有无缺陷的判断,缺乏对缺陷位置的描述,最新提出的异常分割方法对此进行了改进,但对缺陷区域的分割不够精确。基于异常检测方法,使用标准化流来判断产品表面是否有缺陷,采用多尺度特征融合并对齐来初步定位缺陷位置,结合梯度和最大信息熵,使用分水岭算法对初定位结果进行优化得到缺陷分割掩码。在丽盛制板,KolektorSDD和AITEX3个表面缺陷数据集的检测与分割结果均优于其他同类方法。此外,在小样本数据集上也能达到良好的检测与分割精度。     

基于进程行为的异常检测研究综述

基于进程行为的异常检测技术具有较好的检测效果 ,有望成为异常检测实用化的突破口。从看待正常的角度以及建模方法两方面对该领域研究进展进行总结 ,对主要方法的误差特性和检测复杂性进行分析 ,对后续研究工作具有参考意义。     

基于异常与误用的入侵检测系统

入侵检测系统近年来得到长足的发展,但功能都不够完善.为此将基于误用的入侵检测与基于异常的检测结合为一体.在误用检测上,将检测规则进行分类排序,从而极大地提高了检测效率.异常检测则采用人工免疫技术,使系统对已知的攻击和新型攻击均有较强检测能力.     

集成学习分布式异常检测方法

研究了基于模型共享的集成学习分布式异常检测模型,采用多数投票、边界扩展、平均叠加和距离加权4种不同的集成学习方法得到全部的局部模型;采用交换本地数据挖掘模型的方式来实现数据共享,从而构造出一个总体的集成学习模型。从全局的观点检测异常,减少了集中式检测所需数据的传输量,有效保护了数据提供者的隐私性。仿真实验结果表明,该方法的检测性能与集中式检测的性能相当,甚至更好。     

基于条件随机场的异常协议行为检测方法*

针对现有异常应用协议行为检测主要针对某种特定应用,缺乏通用性的问题,提出一种基于条件随机场的异常应用协议行为检测方法,从网络数据流中提取应用协议关键字及其时间间隔作为状态特征,同时考虑关键字的频率分布特征,应用条件随机场模型对协议行为进行建模,将偏离模型的协议行为判定为异常。相比于传统的基于隐马尔可夫模型建模方法,该方法不必对特征量作出严格的独立性假设,具有能够融合多特征的优势。实验结果表明,本文方法在检测协议异常时准确率高,误报率低。     

一种基于聚类的异常检测方法

利用数据挖掘技术对网络中的海量数据进行分析从而发现入侵行为已成为目前异常检测研究的重点.为了进一步提高入侵行为检测的质量,提出了一种改进的异常检测算法.该方法首先将训练数据集转换为标准的单位特征度量空间,然后利用改进算法对数据进行划分,以找到聚类中心.最后对改进算法进行了性能分析与比较,实验结果表明:算法具有良好的稳定...     

基于Isolation Forest的并行化异常探测设计

异常探测具有广泛的应用,受到了工业界和学术界的共同关注。在众多异常探测方法中,Isolation Forest算法具有执行效率高、探测准确度好的特点,获得了众多应用。但是,传统Isolation Forest算法难以处理大规模数据。为解决此问题,设计了一种基于云计算平台的算法。具体地,使用Hadoop分布式存储系统和MapReduce分布式计算框架设计并实现了基于Isolation Forest的并行化异常探测算法PIFH。通过将探测模型构建和数据异常评价的过程并行化,提升了PIFH算法探测异常的执行效率,扩展了其应用范围。利用真实世界数据集验证了所提算法的执行效率和可扩展性。     

基于检测域划分的虚拟机异常检测算法

虚拟机的正常运行是支撑云平台服务的重要条件,由于云平台下虚拟机存在数量规模大、运行环境随时间动态变化的特点,管理系统难以针对每个虚拟机进行训练数据采集以及统计模型的训练。为了提高在上述环境下异常检测系统的实时性和识别能力,提出基于改进k中心点聚类算法的检测域划分机制,在聚类迭代更新步骤上进行优化,以提升检测域划分的速度,并通过检测域策略的应用来提高虚拟机异常检测的效率和准确率。实验及分析表明,改进的聚类算法拥有更低的时间复杂度,采用检测域划分机制的检测方法在虚拟机异常检测中拥有更高的效率和准确率。     

基于ORB-LATCH的特征检测与描述算法

针对基于学习安排的三元组（LATCH）二进制描述子不具备尺度不变性且其旋转不变性,需要特征检测子辅助的问题,提出了一种基于快速定向旋转二进制稳健基元独立特征（ORB）和LATCH相结合的特征检测与描述算法。首先,在图像金字塔尺度空间上进行加速段测试特征（FAST）检测;然后,采用ORB灰度质心方法来进行方向补偿;最后,对特征进行LATCH描述。实验结果表明,所提算法具备运算量小、实时性高以及旋转和尺度不变性的特点,在相同的准确率下,其召回率优于ORB和哈里斯-LATCH （HARRIS-LATCH）算法,其匹配内点率比ORB算法提高了4.2个百分点。该算法在保持实时性的同时进一步缩小了与基于直方图的尺度不变特征变换（SIFT）和加速健壮特征（SURF）算法之间的精度差距,可对图像序列进行快速且精确的实时处理。     

基于iForest和LOF的流量异常检测

异常检测在现代大规模分布式系统的安全管理中起着重要作用,而网络流量异常检测则是组成异常检测系统的重要工具。网络流量异常检测的目的是找到和大多数流量数据不同的流量,并将这些离群点视为异常。由于现有的基于树分离的孤立森林(iForest)检测方法存在不能检测出局部异常的缺陷,为了克服这个缺陷,提出一种基于iForest和局部离群因子(LOF)近邻集成的无监督的流量异常检测方法。首先,改进原始的iForest与LOF算法,在提升检测精度的同时控制算法时间;然后分别使用两种改进算法进行检测,并将结果进行融合以得到最终的检测结果;最后在自制数据集上对所提方法进行有效性验证。实验结果表明,所提方法能够有效地隔离出异常,获得良好的流量异常检测效果。     

基于诱捕的软件异常检测综述

高级持续威胁（APT,advanced persistent threats）会使用漏洞实现攻击代码的自动加载和攻击行为的隐藏,并通过复用代码攻击绕过堆栈的不可执行限制,这是网络安全的重要威胁。传统的控制流完整性和地址随机化技术虽然有效抑制了APT的步伐,但软件的复杂性和攻击演化使软件仍存在被攻击的时间窗口。为此,以资源为诱饵的诱捕防御是确保网络安全的必要补充。诱捕机制包含诱饵设计和攻击检测两部分,通过感知与诱饵的交互行为,推断可能的未授权访问或者恶意攻击。针对文件、数据、代码3种诱饵类型,设计诱饵的自动构造方案并进行部署,从真实性、可检测性、诱惑性等方面对诱饵的有效程度进行度量。基于诱捕防御的勒索软件检测注重诱饵文件的部署位置,在漏洞检测领域,通过注入诱饵代码来检测代码复用攻击。介绍了在APT攻击各个阶段实施诱捕防御的相关研究工作,从诱饵类型、诱饵生成、诱饵部署、诱饵度量方面刻画了诱捕防御的机理;同时,剖析了诱捕防御在勒索软件检测、漏洞检测、Web安全方面的应用。针对现有的勒索软件检测研究在诱饵文件设计与部署方面的不足,提出了用于检测勒索软件的诱饵动态更新方法。讨论了诱捕防御面临的挑...     

基于异常因子的异常模式探测算法

时间序列挖掘中不同的数据集中的异常模式的长度未必相同.提出的算法使用异常因子作为模式的异常度量,利用模式的k-距离和中位数来计算异常因子,使用二次回归算法来探测时间序列中的所有模式和其长度范围,在这个范围内使用变长方法来判断一个模式是否异常,然后合并相邻的异常模式.为了验证算法的有效性和健壮性,使用人工合成数据和标准数据集对算法进行了测试,得到了较为满意的效果.     

基于KQPSO聚类算法的网络异常检测

提出一种基于KQPSO聚类算法的网络异常检测模型.该模型利用K-Means聚类算法的结果重新初始化粒子群,聚类过程都是根据数据间的Euclidean（欧几里德）距离。再通过量子粒子群优化算法（QPSO）寻找聚类中心。最后进行仿真模拟,实验结果表明,该模型对网络异常检测是有效的。     

一种基于正常简档聚类的自适应异常检测模型*

为解决入侵检测系统存在检测率低、网络数据变化适应性弱的问题,选取正常数据记录通过聚类算法建立正常简档,然后依据正常简档对网络数据记录进行检测,并结合已检测出来的正常数据记录对正常简档进行更新。KDD CUP99数据的实验表明,该系统能够适应数据的变化趋势,在保持较低的误报率前提下获得了较好的检测率。     

Spatial neighborhood based anomaly detection in sensor datasets

Success of anomaly detection, similar to other spatial data mining techniques, relies on neighborhood definition. In this paper, we argue that the anomalous behavior of spatial objects in a neighborhood can be truly captured when both (a) spatial autocorrelation (similar behavior of nearby objects due to proximity) and (b) spatial heterogeneity (distinct behavior of nearby objects due to difference in the underlying processes in the region) are taken into consideration for the neighborhood definition. Our approach begins by generating micro neighborhoods around spatial objects encompassing all the information about a spatial object. We selectively merge these based on spatial relationships accounting for autocorrelation and inferential relationships accounting for heterogeneity, forming macro neighborhoods. In such neighborhoods, we then identify (i) spatio-temporal outliers, where individual sensor readings are anomalous, (ii) spatial outliers, where the entire sensor is an anomaly, and (iii) spatio-temporally coalesced outliers, where a group of spatio-temporal outliers in the macro neighborhood are separated by a small time lag indicating the traversal of the anomaly. We demonstrate the effectiveness of our approach in neighborhood formation and anomaly detection with experimental results in (i) water monitoring and (ii) highway traffic monitoring sensor datasets. We also compare the results of our approach with an existing approach for spatial anomaly detection.     

一种基于自回归模型的网络异常检测方法

随着网络技术的不断发展,计算机病毒、网络攻击等问题也日益严峻.维护网络的安全和稳定,是一个亟须解决的问题.针对该问题,介绍了一种基于自回归模型的网络异常检测方法,该方法将局部的网络流量看作统计学上近似的平稳.OPNET上的仿真实验表明,该方法能有效检测出网络异常,误报率低.     

Hyperspectral anomaly detection based on uniformly partitioned pixel

The objective of this paper is to develop an algorithm to detect anomaly in a hyperspectral image. The algorithm is based on a subspace model that is derived statistically. The anomaly detector is defined as the Mahalanobis distance of a residual from a pixel that is partitioned uniformly. The high correlation among adjacent components of the pixel is exploited by partitioning the pixel uniformly to improve anomaly detection. The residual is obtained by partialling out the main background from the pixel by predicting a linear combination of each partition of the pixel with a linear combination of the random variables representing the main background. Experimental results show that the anomaly detector outperforms conventional anomaly detectors.     

Network anomaly detection based on selective ensemble algorithm

The Journal of Supercomputing - In order to reduce the loss of information of the majority class samples in the resampling process, combining the distribution of class samples and the...