时间序列流Top-K不协调子序列的发现

摘要: 针对传统算法中有关时间序列流不协调子序列计算代价比较高的问题,提出了一种快速发现Top-K不协调子序列的算法。该算法通过特殊的数据结构保留计算结果,避免了大量的重复计算,从而达到降低时间复杂度的目的;同时也通过一定的保留策略只保留有用的计算结果并及时清理无用的计算结果,从而达到降低空间复杂度的目的。实验采用随机数据和真实数据进行算法测试,其结果表明,该算法能显著降低计算量从而实现快速发现Top-K不协调子序列的目的。 关键字: 流时间序列;不协调子序列;实时     

基于Hadoop的不确定异常时间序列检测

无线传感器网络中,传感器的采集与无线网络的传输等均可能带来时间序列的不确定性,而大数据时代的到来使得传统不确定异常时间序列检测研究面临时间效率低下的问题,为此提出基于Hadoop的不确定异常时间序列检测算法。首先对不确定时间序列进行压缩变换,使不确定数据量大大减少,然后利用MapReduce架构调用基于期望距离的不确定时间序列下的DTW算法,实现算法的并行化处理,降低算法时间复杂度。同时针对Hadoop集群任务级调度分配方法在运行中负载分配不均现象,提出Hadoop集群优化方法,明显缩减集群总任务时间,使得节点资源的利用更为合理。Hadoop平台下实验结果验证显示,该方法既提高了检测速度,又保证了检测准确率。     

基于自适应k近邻的时间序列异常模式识别

时间序列作为数据的典型代表,被广泛应用于许多研究领域.时间序列异常模式代表了一种特殊情况的出现,在许多领域都具有重要意义.现有的时间序列异常模式识别算法大多只是单纯检测异常子序列,忽略了异常子序列的类别区分问题,且许多参数都需要人为设置.为此提出了一种基于自适应k近邻的异常模式识别算法(anomaly pattern recognitionalgorithm based on adaptive k nearest neighbor, APAKN).首先,确定各子序列的自适应k近邻值,引入自适应距离比计算子序列的相对密度,确定异常分数;然后提出一种基于最小方差的自适应阈值方法确定异常阈值,检测出所有异常子序列;最后,对异常子序列进行聚类,所得聚类中心即为具有不同变化趋势的异常模式.整个算法过程在无需设置任何参数的情况下,不仅解决了密度不平衡问题,还精简了传统基于密度异常子序列检测算法的步骤,实现良好的异常模式识别效果.在时间序列数据集合UCR的10个数据集上的实验结果表明,提出算法在无需设置参数的情况下,在异常子序列检测和异常子序列聚类问题中都表现良好.     

基于多维熵值分类的骨干网流量异常检测研究

针对高速骨干网上异常检测要求高检测效率和低误报率问题,提出了一个基于多维流量数据熵值分类方法.在多个不同维度上采用熵度量流量数据的分布特征,提出了多维高效熵值计算算法有效减低熵值计算的时间和空间复杂度;在每个时间窗口上把不同维度熵值序列排列成检测向量,采用一类支持向量机对检测向量进行分类;对支持向量机分类判断过程中可能出现误报的情况,提出多窗口关联检测算法,通过在多个连续时间窗口上对异常向量进行多窗口关联检测,最终判断异常是否发生.通过在真实网络流量数据集上的两个对比实验,验证了本文算法在检测效率方面随着网络流量和攻击流量的增加时间和空间开销增长较为平缓,在检测精度方面也取得了令人满意的效果.     

时间序列异常检测

在k-近邻局部异常检测算法的基础上,结合时间序列的分割方法,提出了一种高效的时间序列异常检测算法。该算法首先把序列重要点作为数据的分割点,对时间序列数据进行高比例压缩;其次利用局部异常检测方法检测出时间序列中的异常模式。通过心电图（ECG）数据实验验证了算法的有效性和合理性。     

采用分段特征表示的异常序列检测算法

时间序列的有监督异常检测方法通常依赖于数据的标签，不仅会消耗大量时间进行数据标注，而且难以适用于无法给定标签的数据集。为解决异常序列检测中的标注问题，提出一种采用分段特征表示的异常序列检测方法。该方法采用分段聚合思想对时间序列进行标准化计算，并得到时序数据的特征表示，可提高无标签时间序列异常检测的可靠性。将表示后的特征划分为异常序列相关特征和无关特征，剪枝异常序列无关特征，可减少这些特征对检测结果的不利影响。为有效量化不同序列之间的差异性，提出一种面向时间权重分析的时间序列相似性度量方法，并构建时间序列的相似度矩阵，用于计算序列之间的相似度，可适用于无标签的时间序列中。在此基础上，根据相似度矩阵来计算每个子序列的异常分数，将其用于异常子序列的判定。通过合成数据集和真实数据集的实验对比表明：该方法节省了计算开销，提高了算法运行的时间效率和异常序列检测的准确率。     

基于相关性的多维时序数据异常溯源方法

提出一种基于统计学相关性分析的多维时序异常数据检测分析方法,以对检测中表现为异常的数据进行溯源:对反映系统故障的数据和传感器质量问题的数据进行分类,进而识别出真正的系统故障,避免误检.首先根据相关关系构建时序相关图,再进一步归纳为时序相关环模型,通过在时序相关图上搜索并确定时序相关环的过程,提取时序相关环中的特征,得到时间序列相关性集合.进而利用时间序列相关性集合进行时序数据异常来源检测,根据检测结果评估时序传感器数据对应的系统故障的几率.在真实的工业设备传感器序列数据集上进行大量实验,实验结果验证了该方法在高维时序数据的异常检测任务上的有效性.通过对比实验,验证了该方法从稳定性和效率上优于基于统计和基于机器学习模型的基准算法,时间序列的维度越高,该方法较基准算法的提升越明显.该方法通过对多维时序数据相关性知识的挖掘,既节约了计算成本,又实现了对多维异常数据来源的精准识别.     

基于SparkR的水文传感器数据的异常检测方法

为了高效地从海量的水文传感器数据中检测出异常值，提出一种基于SparkR的水文时间序列异常检测方法。首先，对数据进行清洗后，采用滑动窗口配合自回归积分滑动平均模型（ARIMA）在SparkR平台上进行预测；然后，对预测的结果计算置信区间，将在区间范围以外的判定为异常值；最后，基于检测结果，利用K均值算法对原数据进行聚类，同时计算其状态转移概率，对检测出的异常值进行质量评估。以在滁河获取的水文传感器数据为实验数据，分别在运行时间和异常值检测效果这两个方面进行了实验。结果显示:利用SparkR对百万级数据进行计算时，利用双节点计算的时间要长于单节点；但是对千万级数据进行计算时，双节点比单节点计算时间上更少，最多减少了16.21%，且评估过后的灵敏度由之前的5.24%提高到了92.98%。实验结果表明，在SparkR下，根据水文数据的特点并结合预测检验和聚类校验的方法对千万级水文时间序列进行检测时，能有效提高传统方法的计算效率，并且在灵敏度方面相比传统方法也有显著提升。     

基于密度的不确定数据离群点检测研究

针对不确定数据集进行离群点检测,设计了基于密度的不确定数据的局部离群因子(Uncertain Local Outlier Factor,ULOF)算法.通过建立不确定数据的可能世界模型来确定不确定对象在可能世界中的概率.结合传统的LOF算法推导出ULOF算法,根据ULOF值判断不确定对象的局部离群程度;然后对ULOF算法的效率性和准确性进行了详细分析,提出了基于网格的剪枝策略、k最近邻查询优化来减少数据的候选集;最后通过实验证明了ULOF算法对不确定数据检测的可行性和效率性,优化后的方法有效地提高了异常检测准确率,降低了时间复杂度,改善了不确定数据的异常检测性能.     

时间序列增量异常模式检测算法

在k-近邻局部异常检测算法的基础上,结合时间序列的分割方法,提出一种高效率的时间序列增量异常模式检测算法。将时间序列按序列重要点进行数据分割,利用局部异常检测方法检测出时间序列的异常模式。当插入一些新数据时,邻近分割模式发生变化,增量异常检测算法更新相应的最近邻模式。通过该算法可以高效率地发现时间序列的异常模式。     

基于最小噪声分离变换的高光谱异常检测方法研究

RX算法和核RX算法能很好地分离目标和背景,是较为广泛使用的异常检测算法,但是高光谱图像数据量大且存在冗余信息和噪声,直接进行RX及核RX异常探测运算量大且容易受噪声影响.针对此问题,提出一种基于最小噪声分离变换的高光谱图像异常检测方法,首先采用残差分析法估计噪声协方差矩阵以改进最小噪声分离变换,然后利用改进后的最小噪声分离变换来有效地降低高光谱图像数据的维数并分离出噪声,最后对低维降噪后的数据进行RX及核RX异常检测,避免了随机噪声对RX及核RX异常检测结果的影响并提高了异常检测率.对真实的AVIRIS数据测试表明,该算法优于传统的相应的RX、核RX异常检测算法.     

基于体密度变化率的点云多平面检测算法

针对以往点云多平面检测算法运算时间长、检测结果的准确性易受噪声影响这一问题,提出了一种基于点云几何统计特征的多平面检测算法。该方法首先根据体密度变化率对点云进行粗分割,然后利用多元随机抽样一致性算法(Multi-RANSAC)进行多平面拟合,最后提出了一种新的合并约束条件对拟合的初始平面进行优化合并。实验结果证明,该算法易于实现,能有效减少累积噪声对检测结果的影响,提高平面检测的正确率,极大地减少了计算时间开销。     

基于DAE和GRU组合的流量异常检测方法

流量异常检测能够有效识别网络流量数据中的攻击行为,是一种重要的网络安全防护手段。近年来,深度学习在流量异常检测领域得到了广泛应用,现有的深度学习模型进行流量异常检测存在两个问题:一是数据受噪声影响导致检测鲁棒性差、准确率低;二是数据特征维度高以及模型参数多导致训练和检测速度慢。为了在降低流量数据噪声影响的基础上提高检测速度和准确性,本文提出了一种基于去噪自编码器(Denoising Auto Encoder,DAE)和门控循环单元(Gated Recurrent Unit,GRU)组合的流量异常检测方法。首先设计了基于DAE的流量特征提取算法,采用小批量梯度下降算法对DAE进行训练,通过最小化含噪声数据的重构向量与原始输入向量间的差异,有效提取具有较强鲁棒性的流量特征,降低特征维度。然后设计了基于GRU的异常检测算法,利用提取的低维流量特征数据训练GRU,从而构建异常流量分类器,实现对攻击流量的准确检测。最后在NSL-KDD、UNSW-NB15、CICIDS2017数据集上的实验结果表明:与其他的机器学习、深度学习方法相比,本文所提方法的检测准确率最大提升了18.71%。同时,本文方法可以实现较高的精确率、召回率和检测效率,同时具有较低的误报率。在面对数据受到噪声破坏时,具有较强的检测鲁棒性。     

基于Hadoop的水文时间序列相似性研究与应用

传统DTW算法复杂度高,特别当处理海量数据时,耗时长.为了从算法和实现手段两方面同时入手,提高DTW运算效率,提出基于Hadoop平台,以FastDTW方法实现的水文时间序列相似性查找方法.首先利用小波变换对数据去噪,接着对水文时间序列进行语义化,然后在Hadoop的MapReduce过程中调用FastDTW方法实现DTW距离的云计算,得出与查询序列最相似的匹配序列.通过实验与串行查找进行对比,验证该方法用时短,匹配效果好,能够满足实际应用需求.     

基于高斯混合聚类的电力工控系统异常检测研究

电力工控系统数据在时间维度上具有周期性,但其时间序列呈现多元高斯分布特性且周期长度不固定,这导致通过相似性度量来发现异常难以进行。针对上述问题,文章提出一种基于多元高斯聚类的电力工控系统异常时序检测方法。该方法首先获取电力工控系统流量数据,对其采用多元高斯分布混合算法实现时间序列的符号化,然后利用马尔可夫链从长度不固定的时间序列中提取出大小一致的状态转移概率矩阵作为数据特征,最后通过层次聚类方法计算样本的异常率实现异常检测。经实验分析表明,文章方法可以有效实现电力工控系统时序数据周期长度不同下的异常自动检测。     

在重构相空间选取样本的时间序列分形预测

提出一种基于相空间重构原理进行样本选取的改进分形预测算法。该算法将时间序列在相空间重构中得到的嵌入维数和时间延迟作为分形预测中数据样本的选择依据,结合分形理论的拼贴定理和插值迭代算法,实现时间序列的分形预测,建立时间序列的分形预测模型。利用此改进算法对低压电力线噪声序列进行预测的结果表明,与现有分形算法相比,改进算法提高了数据样本间的相似度,优化了数据样本的选取,明显提高了预测的精度,适合于对自相似性和周期性不明确的时间序列的预测。     

基于Isolation Forest和Random Forest相结合的智能电网时间序列数据异常检测算法

智能电网的信息系统是保障电力行业正常运行的基础,而智能电网中各种时间序列数据的分析结果是衡量信息系统稳定运行的重要依据。传统的时间序列数据异常检测算法很难同时兼顾准确性和实时性。本文引入基于Isolation Forest和Random Forest相结合的智能电网时间序列数据异常检测算法,结合无监督学习算法和有监督学习算法的优点,实现机器自动标注和自动学习阈值,人工标注少量特征值,从一定程度上提高了时间序列数据异常检查准确性和实时性,可以满足智能电网时间序列数据异常检测需求,从而达到提升智能电网信息安全的目的。     

基于模糊C-均值聚类算法的入侵检测

聚类分析是一种有效的异常入侵检测方法,可用以在网络数据集中区分正常流量和异常流量.文中采用模糊C-均值聚类算法对网络流量样本集进行划分,从中区分正常流量和异常流量,并针对入侵检测问题的特性提出了新的相似性度量方法.最后,利用KDD99数据集进行实验,证明该算法能够有效地发现异常流量.     

一种基于Hurst指数的异常检测软件

根据Hurst指数变化发现异常是进行入侵检测的一种新思路。基于这样的思路,实现了一个异常检测软件。该软件通过数据包捕获,对数据进行特征提取,对特征进行时间序列划分,采用R／S和小波分析两种方法进行Hurst求解,最后根据求解的Hurst值判断异常。实际使用表明,基于Hurst指数的异常检测软件具有无需学习,检测快速的优点。