基于Hadoop的异常传感数据时间序列检测

无线传感器网络中,异常时间序列的研究具有十分重要的意义。针对传统研究在海量数据环境中时间效率低下的问题,提出了基于Hadoop的异常时间序列检测算法。首先对时间序列进行预处理,然后在Hadoop的MapReduce操作中调用动态时间弯曲距离计算算法,实现了DTW距离计算的并行化,从而大大提高检测速度。同时针对传统DTW算法计算复杂度瓶颈问题以及传统约束方法准确率较低问题,提出了基于显著特征匹配的局部约束算法,对弯曲路径进行局部限制,在确保准确性的同时进一步降低了时间、空间复杂度。Hadoop平台下实验结果表明,该方法既提高了检测速度,又保证了检测准确率。     

基于动态网格的数据流离群点快速检测算法

离群点检测问题作为数据挖掘的一个重要任务,在众多领域中得到了应用.近年来,基于数据流数据的挖掘算法研究受到越来越多的重视.为了解决数据流数据中的离群点检测问题,提出了一种基于数据空间动态网格划分的快速数据流离群点检测算法.算法利用动态网格对空间中的稠密和稀疏区域进行划分,过滤处于稠密区域的大量主体数据,有效地减少了算法所需考察的数据对象的规模.而对于稀疏区域中的候选离群点,采用近似方法计算其离群度,具有高离群度的数据作为离群点输出.在保证一定精确度的条件下,算法的运行效率可以得到大幅度提高.对模拟数据集和真实数据集的实验检测均验证了该算法具有良好的适用性和有效性.     

基于Hadoop的不确定异常时间序列检测

无线传感器网络中,传感器的采集与无线网络的传输等均可能带来时间序列的不确定性,而大数据时代的到来使得传统不确定异常时间序列检测研究面临时间效率低下的问题,为此提出基于Hadoop的不确定异常时间序列检测算法。首先对不确定时间序列进行压缩变换,使不确定数据量大大减少,然后利用MapReduce架构调用基于期望距离的不确定时间序列下的DTW算法,实现算法的并行化处理,降低算法时间复杂度。同时针对Hadoop集群任务级调度分配方法在运行中负载分配不均现象,提出Hadoop集群优化方法,明显缩减集群总任务时间,使得节点资源的利用更为合理。Hadoop平台下实验结果验证显示,该方法既提高了检测速度,又保证了检测准确率。     

基于增量动态时间弯曲的时间序列相似性度量方法

针对动态时间弯曲方法计算时间过长的问题,提出增量动态时间弯曲来度量较长时间序列之间的相似性。首先利用动态时间弯曲方法对历史时间序列数据进行相似性度量,得到相应的历史最优弯曲路径和路径中各元素的累积距离代价。其次,通过逆向弯曲度量方法完成当前序列数据 的相似性度量,结合历史数据信息找到与历史弯曲路径相交且度量时间序列距离为当前最小值的新路径,进而实现增量动态时间弯曲的相似性度量。该方法不仅具有良好的度量质量,还具有较高的时间效率。数值实验表明,对于大部分时间序列数据集,新方法的分类准确率和计算性能要优于经典动态时间弯曲。     

无线传感器网络离群时间序列检测研究

基于无线传感器网络的环境监测系统中,广泛存在着离群数据.目前,一个有趣但还没有被广泛讨论的问题是离群时间序列的检测问题.为了满足大规模数据集快速离群数据检测的需求,本文提出了一种新的无线传感器网络离群时间序列检测算法,通过引入切比雪夫多项式实现离群数据快速检测.通过NS2仿真实验,证明了该算法的可行性和有效性.     

基于分段时间弯曲距离的时间序列挖掘

在时间序列库中的数据挖掘是个重要的课题,为了在挖掘的过程中比较序列的相似性,大量的研究都采用了欧氏距离度量或者其变形,但是欧氏距离及其变形对序列在时间轴上的偏移非常敏感．因此,采用了更鲁棒的动态时间弯曲距离,允许序列在时间轴上的弯曲,并且提出了一种新的序列分段方法,在此基础上定义了特征点分段时间弯曲距离．与经典时间弯曲距离相比,大大提高了效率,而且保证了近似的准确性．     

基于分层动态时间弯曲的序列相似性度量方法研究

为了更好地体现时间序列的形态特征,并探索更适合于较长时间序列之间相似性度量的方法,在动态时间弯曲算法的基础上进行改进,提出了基于分层动态时间弯曲的序列相似性度量方法。对时间序列进行多层次分段,并从分段中均匀抽取相对应的层次分段子序列,然后将层次分段子序列抽象为三维空间的点（反映了分段子序列的均值、长度和趋势）进行相似性度量,最后综合各个层次的相似性度量作为结果。实验表明,在参数设置合理的情况下,此方法能获得较高的序列相似性度量准确度和效率。     

MapReduce并行加速数据流多模式相似性搜索

设计时间序列数据在Hadoop分布式文件系统（HDFS）中的有效存储方式,利用分布式缓存工具Distributed Cache将各子序列分发到Hadoop集群的计算节点上,将动态时间弯曲距离矩阵划分成多个子矩阵,采取并行迭代计算每条反对角线上子矩阵的方法,基于MapReduce编程模型,实现高效并行计算时间序列动态弯曲距离,通过改进剪裁冗余计算方法,设计实现一种数据流多模式相似性搜索并行算法。中国雪深长时间序列数据集的实验结果表明,当每条时间序列的长度达到5000以上时,并行计算动态弯曲距离所需时间少于串行计算所需时间,当每条时间序列的长度达到9000以上时,参与计算的集群节点越多,并行计算所需时间越少;当模式长度达到4000、参与计算的集群节点数达5个以上时,从数据流中并行搜索出与模式匹配的相似子序列所需时间约为串行搜索所需时间的20%。     

WSN中动态分簇时间同步算法的研究

提出了一种动态分簇时间同步算法(DCTS),首先针对无线测距网络的特点,传输数据量较少,簇首节点无需进行大量数据融合情况下,对LEACH分簇路由算法进行改进,提出了GLEACH分簇路由算法,并使用GLEACH分簇路由算法将整个网络分成不同的簇,以基站与簇首节点为参考节点,采用类似于TPSN双向同步机制,逐级同步,实现全网的时间同步,结合了动态分簇算法,均衡了整个网络的功耗,克服了TPSN算法中参考节点负担过重,而导致某些节点过早的死亡,实验结果表明,新的同步算法有效的提高了整个网络的生存时间与同步精度。     

时间序列数据挖掘中的动态时间弯曲研究综述

动态时间弯曲是一种重要的相似性度量方法,对时间序列数据挖掘的性能起着至为关键的作用,对其进行全面和深入的探索具有十分重要的理论意义和实际应用价值.首先简述动态时间弯曲算法的基本步骤,并分析其优点和存在的不足;然后,从动态时间弯曲度量效率的改进研究、度量效果的提升措施以及其在各个行业的应用研究等进行相关综述;最后,给出动态时间弯曲的进一步研究方向.通过对动态时间弯曲方法相关综述及分析,能为相似性度量、聚类和分类等时间序列数据挖掘技术提供必要的文献资料和理论基础.     

一种新的DTW最佳弯曲窗口学习方法

时间序列相似性查询中,DTW(Dynamic Time Warping)距离是支持时间弯曲的经典度量,约束弯曲窗口的DTW是DTW最常见的实用形式。分析了传统DTW最佳弯曲窗口学习方法存在的问题,并在此基础上引入时间距离的概念,提出了新的DTW最佳弯曲窗口学习方法。由于时间距离是DTW计算的附属产物,因此该方法可以在几乎不增加运算量的情况下提高DTW的分类精度。实验证明,采用了新的学习方法后,具有最佳弯曲窗口的DTW分类精度得到明显改善,分类精度优于ERP(Edit Distance with Real Penalty)和LCSS(Longest Common SubSequence),接近TWED(Time Warp Edit Distance)的水平。     

无线传感器网络簇内实时数据融合研究

现有的无线传感器网络数据融合技术存在数据延迟和数据正确性两方面的问题。针对该问题设计一种基于簇内实时数据融合的方法．该方法首先通过量化计算将数据划分为紧急数据和非紧急数据并作标记,将紧急数据迅速融合传给用户以提高实时性。在融合过程中引入传感器测量修正并结合关系矩阵法对数据进行相应的融合处理．然后对融合结果进行分析并进行反馈调整。仿真实验结果表明．该方法能够提高簇内实时数据融合正确性并且降低数据延迟．     

基于小波密度估计的数据流离群点检测

为能及时发现数据流上的局部离群点,分析数据流已有的离群点挖掘算法,提出基于小波密度估计的离群点检测算法。利用小波密度估计多尺度和多粒度的特点,通过小波概率阈值判断数据流中当前滑动窗口内的数据点是否为离群点,并对数据流中离群点检测过程进行讨论。仿真结果表明,与核密度估计算法相比,该算法的检测效率与精度较高。     

基于分段特征及自适应加权的DTW相似性度量

利用动态时间弯曲(DTW)技术在原始多元时间序列进行相似性度量时时间复杂度较高,且DTW在追求最小弯曲距离的过程中可能会出现过渡拉伸和压缩的问题.提出一种基于分段特征及自适应加权的DTW多元时间序列相似性度量方法.对原始时间序列在各个变量维度上进行统一分段,选取分段后拟合线段的斜率、分段区间的最大值和最小值以及时间跨度...     

数据流上快速子序列匹配

数据流技术目前已广泛应用于金融分析、网络监控及传感器网络等诸多领域,而已有的相似性匹配技术主要针对时间序列数据库,难于直接应用于高速、连续、实时、海量的流数据,因此在数据流上渐进、实时地进行子序列匹配成为一个极具价值和挑战性的问题。在动态时间规整技术的基础上,设计了一种新颖的界限机制,充分利用相似性阈值,尽量减少冗余计算,算法完全符合数据流“单遍扫描”的性能要求,并通过大量的模拟和真实数据实验表明：与现有的SPRING算法相比,在不损失任何算法精度的前提下,仅增加几个字节的空间开销,速度至少提高3倍。     

数据流中孤立点识别方法

针对基于聚类分析及基于孤立点检测的入侵检测方法的局限,根据数据流的特点,提出了一种数据流中孤立点动态识别方法。该方法使用动态微粒群算法对特征空间中当前主要聚类的特征点进行追踪,通过计算数据流中数据对象与特征点的距离来判断数据对象的性质。将该方法应用于入侵检测而进行的实验证明了方法的有效性。     

针对WSN流密码加密方案的代数攻击及改进

通过对 Yao 等人提出的无线传感器网络(WSN)流密码系统(ICMTMA’11)进行分析,找到系统中布尔函数的一个非零低次零化子,再利用代数攻击降低攻击复杂度。为增强 WSN 流密码加密方案的安全性,采用二阶级联方法构造一个新的布尔函数,其代数免疫度与原函数相比增加1,由此提高抗攻击能力。理论分析结果表明,新方案将原方案的攻击复杂度由255提高至266,可以更好地抵抗代数攻击。     

基于分簇的无线传感器网络簇内数据融合算法

根据节点剩余能量、通信消耗量和节点IP,设计无线传感器节点分簇算法,减少了无线传感器网络的数据传输总量。分析对以分簇为基础的簇内数据的融合算法误差成因,提出先进行簇内传感器测量修正、再进行簇内传感器数据融合的改进算法。通过TOSSIM仿真平台的实验,改进后的簇内数据融合算法测量误差明显减少。     

基于序列聚类的事件流数据特征分析

事件流是近年来兴起的一种对实时进入系统的海量数据进行分析查询的应用,而数据特征是评价系统所需要的负载模型的重要部分。以网络安全监控为背景,提出一种将事件流聚集成时间序列并进行相似性聚类来分析数据特征的方法。通过适当的粒度聚合,将事件流转化成时间序列,选取周期性的时间序列作为代表消除随机干扰,给出基于序列线性相似性的聚类算法。聚类试验表明,具有相似时间特征的事件流可以被有效地聚集到同一类中。