多维时间序列异常检测算法综述

随着信息化技术不断提高，时序数据规模呈指数级增长，为时间序列异常检测算法发展提供了契机和挑战，也使其逐步成为数据分析领域新增的研究热点。然而，这一方面的研究仍处于初步阶段，研究工作的系统性不强。为此，通过整理和分析国内外文献，将多维时间序列异常检测的研究内容按照逻辑顺序分为“维数约简”“时间序列模式表示”和“异常模式发现”三个方面，并对其主流算法进行梳理和归纳，以全面展现当前异常检测的研究现状和特点。在此基础上，还指出了多维时间序列异常检测算法的研究难点和研究趋势，以期对相关理论和应用研究提供有益的参考。     

过程控制时间序列中异常值的动态检测

针对传统小波异常值检测方法的不足以及控制调节系统在调节阶段采集的震荡数据所具有的特点, 提出了适用于调节系统震荡数据异常检测的自回归模型(auto-regression, AR)与小波相结合的在线异常值检测方法. 该方法通过引入改进的鲁棒AR模型, 克服了传统小波分析方法检测控制过程数据异常值时存在的不足; 为了避免传统异常值检测方法需要事先设定检测阈值的问题, 算法引入隐马尔科夫模型(hidden Markov model, HMM)来分析小波系数, 并在线更新HMM参数, 提高了算法的检测精度. 通过实验与应用证明了本文提出的异常数据检测方法更适合震荡的控制过程数据, 具有一定的实用性.     

基于异方差高斯过程的时间序列数据离群点检测

时间序列数据在测量过程中通常受到事物内在可变性以及外界干扰等因素的影响,针对各个时间点上数据受影响程度不同的情况,提出一种基于高斯过程预估模型的时间序列数据离群点检测方法。将监测数据分解为标准值和偏差项两个部分,除了对理想情况下的标准值建模,还再次使用高斯过程实现对异方差偏差项的有效描述,通过变分推断解决引入偏差项后的后验概率求解问题,将后验分布中设定的容差区间用于离群点判定。使用雅虎公司公开的网络流量时序数据进行验证,模型输出的容差区间在不同时间点上的变化趋势与标注的正常数据偏差情况相符,并在对比实验中异常检测性能指标F1-score优于自回归积分滑动平均模型、一类支持向量机以及基于密度并伴随噪声的空间聚类算法。实验结果表明,该模型能够有效描述各个时间点上正常数据的分布情况,取得误报率和召回率两方面的综合权衡,而且可以避免模型参数设置不当导致的性能问题。     

A Neuro-Genetic Algorithm for Heteroskedastic Time-Series Processes Empirical Tests on Global Asset Returns

 The paper proposes a new neuro-genetic hybrid algorithm (NGHA) for coping with ill-conditioned time-series processes. Extensive testing and comparisons to various heteroskedastic models indicate that the neuro-genetic algorithm may be a useful device for modelling complicated time series. NGHA is used to model a factor price series corresponding to the European factor of a representative set of global asset returns. NGHA provides a platform for adapting evolutionary computation to the search for suitable networks for observed time series.     

基于重要边缘点的时间序列异常模式检测算法

在分析边缘算子的思想和现有时间序列模式表示方法基础上,将边缘点方法和重要点方法相结合,提出了基于重要边缘点的时间序列模式表示算法。算法按各观测点的边缘化程度,提取重要的边缘点将时间序列分成多个子线段,通过分析直线段之间的相似性,发现异常的序列模式。从理论和实验两方面对算法进行了分析和验证,结果表明,算法复杂度较低,模式表示误差小,能够满足大规模时间序列数据模式表示的要求。     

基于时间序列的预测模型应用与异常检测

为解决由于产生时间序列数据时的一些不确定因素而导致预测结果在数值上存在较大偏差的问题,通过分析基于时间序列的历史数据,提出基于迭代的异常检测方法,剔除一些可能对时间序列造成影响的历史事件．实验证明该方法可大大提高预测的精度,得到的预测数据对未来的工作和研究有着更好的借鉴作用。     

两阶段的多元时间序列异常检测算法*

提出了一个两阶段的多元时间序列异常检测算法。该算法通过有界坐标系统 （BCS）技术计算多元时间序列样本之间的相似性,采用基于距离的方法实现异常检测。算法第一阶段采用K-means算法对数据进行聚类,并按照一个启发式规则对其进行排序;第二阶段在聚类结果上采用循环嵌套算法进行异常检测,并通过两个剪枝规则进行高效剪枝,提高了算法的效率。在两个实际数据集上进行实验,实验结果验证了算法的有效性。     

一种不确定连续时间序列的Top-K异常检测算法

针对噪声数据对时间序列异常检测准确性的影响问题, 提出了一种不确定连续时间序列Top-K异常检测算法。在典型时间序列异常检测方法的基础上对时间序列的异常值进行区间处理, 构造满足均匀分布的密度函数, 结合不确定Top-K技术, 实现含噪连续时间序列在分布未知情况下的Top-K异常排序。实验部分采用模拟数据和真实数据进行算法测试, 算法较传统方法在异常检测的准确率方面有明显提高, 虽然在计算时间上有所增加, 但提出了相应的优化策略, 使计算时间在k值大于5时有明显改善, 验证了算法的有效性。     

Multiple change-point detection with a genetic algorithm

 A common change-point problem is considered where the population mean of a random variable is suspected of undergoing abrupt changes in course of a time series. It is usual in practice that no information on positions or number of such shifts is available beforehand. Finding the change points, i.e. the positions of the shifts, in such a situation is a delicate statistical problem since any considered sample may actually represent a mixture of two or more populations where values from both sides of a yet unrecognized change point are unconsciously assembled. If this is the case, underlying assumptions of an employed statistical two-sample test are usually violated. Consequently, no definite decision should be based on just one value of the test statistic. Such a value is rather, as a precaution, to be regarded as an only approximate indicator of the quality of a hypothesis about change-point positions. Given these conclusions, it is found imperative to treat the problem of multiple change-point detection as one of global optimization. A cost function is constructed in such a manner that the change-point configuration yielding the global optimum is compliant with statistical-theoretical requirements to the utmost extent. The used advanced optimization tool, a genetic algorithm, is both efficient – as it takes advantage of the information about promising change-point positions encountered in previously investigated trial configurations – and flexible (as it is open to any modification of the change-point configuration at any time). Experiments using numerical simulation confirm adequate performance of the method in an application where a common change-point detection procedure based on Student's two-sample t-test is used to detect an arbitrary number of shifts in the mean of a normally distributed random variable.     

基于集成预测的稀有时间序列检测

为了解决误判问题,从预测的角度给出了离群点的定义,并提出了预测可信度和离群度的概念;同时,提出采用置换技术来降低离群点对预测模型的影响,并提出了基于集成预测的稀有时间序列检测算法。针对真实数据集的实验表明,可信度和离群度的定义是合理的,稀有时间序列检测算法是有效的。