基于变宽直方图的无线传感器网络异常数据检测算法

数据的准确性是衡量无线传感器网络(WSN)性能的重要指标,异常数据检测是无线传感器网路面临的关键问题和主要挑战。提出了一种基于变宽直方图的异常数据检测算法,通过数据聚合的方式将网络中的动态感知数据聚合成变宽的直方图来准确检测出异常数据,同时避免不必要的数据传输。对算法的性能进行了理论分析,并基于真实大规模无线传感器网络系统数据进行了实验评估,结果表明算法具有很高的准确率,并有效降低了网络通信开销。     

无线传感器网络中异常读数检测算法研究*

针对无线传感器网络的离群点检测算法由于没有充分考虑数据的时空关联性和网络的分布特性,导致检测精度低、通信量大和计算复杂度高等局限,提出了基于时空关联的分布计算与过滤的在线离群点检测算法。该算法在各传感器节点上利用传感器读数的时间关联性生成候选离群点,并利用空间关联性对候选离群点进行过滤得到局部离群点,最终将所有传感器节点上的局部离群点集中到sink节点上获得全局离群点。利用时空关联性提高了检测精度,利用分布计算与过滤减少了通信量和计算量,理论分析和实验结果均表明该算法优于现有算法。     

基于深度信念网络的高维传感器数据异常检测算法

越来越多的物联网数据呈现高维度特征,针对目前传感器数据异常检测算法对高维数据在线检测的困难,提出一种基于深度信念网络的高维传感器数据异常检测算法。首先利用深度信念网络对高维数据进行特征提取,降低原始数据维度,再对降维后的数据进行异常检测。在检测过程中将QSSVM(Quarter-Sphere Support Vector Machine)与滑动窗口模型相结合,实现了在线式的异常检测。通过在四组真实传感器数据上的大量实验,与先前的异常检测算法做了对比,实验结果表明,新算法相对于OCSVM(One-Class Support Vector Machine)仅利用原有算法50%的计算时间,将检测准确度提高了约20%。     

基于记忆效应的局部异常检测算法

基于密度的局部异常检测算法(LOF算法)的时间复杂度较高,限制了其在高维数据集以及大规模数据集中的使用。该文通过分析LOF算法,引入记忆效应概念,提出具有记忆效应的局部异常检测算法——MELOF算法。实验测试表明,该算法的计算结果与LOF算法完全相同,而且能够大大缩短运行时间。     

基于密度的Top-n局部异常点快速检测算法

局部异常检测（Local outlier factor,LOF）能够有效解决数据倾斜分布下的异常检测问题,在很多应用领域具有较好的异常检测效果.本文面向大数据异常检测,提出了一种快速的Top-n局部异常点检测算法MTLOF（Multi-granularity upper bound pruning based top-n LOF detection）,融合索引结构和多层LOF上界设计了多粒度的剪枝策略,以快速发现Top-n局部异常点.首先,提出了四个更接近真实LOF值的上界,以避免直接计算LOF值,并对它们的计算复杂度进行了理论分析;其次,结合索引结构和UB₁、UB₂上界,提出了两层的Cell剪枝策略,不仅采用全局Cell剪枝策略,还引入了基于Cell内部数据对象分布的局部剪枝策略,有效解决了高密度区域的剪枝问题;再次,利用所提的UB₃和UB₄上界,提出了两个更加合理有效的数据对象剪枝策略,UB₃和UB₄上界更加接近于真实LOF值,有利于剪枝更多数据对象,而基于计算复用的上界计算方法,大大降低了计算成本;最后,优化了初始Top-n局部异常点的选择方法,利用区域划分和建立的索引结构,在数据稀疏区域选择初始局部异常点,有利于将LOF值较大的数据对象选为初始局部异常点,有效提升初始剪枝临界值,使得初始阶段剪枝掉更多的数据对象,进一步提高检测效率.在六个真实数据集上的综合实验评估验证MTLOF算法的高效性和可扩展性,相比最新的TOLF（Top-n LOF）算法,时间效率提升可高达3.5倍.     

基于DBSCAN的环境传感器网络异常数据检测方法

随着传感器网络环境监控应用的发展,传感器网络测量数据的异常检测近年来受到学术界和工业界的高度关注.提出一种基于DBSCAN(Density BasedSpatialClusteringofApplicationwithNoise)的异常数据检测方法,该方法利用距离定义数据的相似度进行划分聚类,使用DBSCAN算法提取环境特征集,并根据特征集对异常数据进行检测.最后,基于真实的传感器网络完成了多组实验,实验结果表明该方法能够实时准确地检测出异常数据.     

基于图信号处理的无线传感器网络异常节点检测算法

针对无线传感器网络（WSN）中传感器自身安全性低、检测区域恶劣及资源受限造成节点采集数据异常的问题,提出一种基于图信号处理的WSN异常节点检测算法。首先,依据传感器位置特征建立K-近邻（KNN）图信号模型;然后,基于图信号在低通滤波前后的平滑度之比构建统计检验量;最后,通过统计检验量与判决门限实现异常节点存在性的判断。通过在公开的气温数据集与PM2.5数据集上的仿真验证,实验结果表明,与基于图频域异常检测算法相比,在单个节点异常情况相同条件下,所提算法检测率提升7个百分点;在多个节点异常情况相同条件下,其检测率均达到98%,并且在网络节点异常偏离值较小时仍具有较高的检测率。     

基于滑动窗口和置信度的无线传感器网络异常检测算法

针对无线传感器网络中异常检测误报率高及节点间通信开销大的问题,提出了基于滑动窗口和置信度的无线传感器网络异常检测算法(ADABSWC)。该算法使用环境干扰因子量化监测环境中的不确定性,建立异常数据干扰区间识别滑动窗口中的异常数据。提出了数据异常度的计算方法,用来预判异常来源;然后引入多通信半径划分最佳邻域,利用相对熵计算节点信息置信度;根据节点信息置信度协同判定出节点异常数据的来源。通过仿真实验,ADABSWC算法在不同传感器节点规模下均体现了较好的性能。该算法与KNN-PSOELM、OFN算法相比,事件节点、错误节点的检测率均高于98%,且误报率均低于1.5%。实验结果表明,所提出的算法可保证高检测精度的同时控制误报率在较低水平,算法拥有较好的容错性能。     

无线传感器网络中基于空间关联性的聚类异常检测算法

针对无线传感器网络节点定位场景中的环境变化、障碍物及传感器节点失效等异常问题, 提出了一种基于空间关联性的聚类异常检测算法（ODCASC算法）。该算法通过聚类技术完成节点的异常数据判断, 同时还利用邻居节点间感知数据的空间关联性过滤噪声数据, 提取异常事件信息, 辅助系统决策。室内实测结果显示, ODCASC算法弥补了时空关联检测算法的不足, 可以有效地检测并区分网络中的环境噪声及异常事件。     

传感器网络中健壮数据聚集算法

节约能量以提高网络寿命是传感器网络研究面临的重要挑战.网内聚集查询在中间节点对数据进行预处理,可以减少消息传送的数量或者大小,从而实现能量的有效利用,但是,目前的聚集查询研究假设采样数据都是正确的.而目前的异常检测算法以检测率作为首要目标,不考虑能量的消耗,也不考虑查询的特点.所以将两方面的研究成果简单地结合在一起并不能产生很好的效果.分析了错误和异常数据可能对聚集结果造成的影响,提出了健壮聚集算法RAA(robust aggregation algorithm).RAA 对传统聚集查询进行了改进,在聚集的同时利用读向量相似性判断数据是否发生了错误或异常,删除错误数据,聚集正常数据并报告异常,使用户可以对网络目前状况有清晰的理解.最后,比较了RAA 和TAGVoting(在使用TAG(tiny aggregation)算法聚集的同时利用Voting算法进行异常检测),实验结果表明,RAA 算法在能量消耗和异常检测率方面都优于TAGVoting.     

基于局部估计密度的局部离群点检测算法

局部离群点检测是近年来数据挖掘领域的热点问题之一.针对交通数据去噪问题,提出一种基于局部估计密度的局部离群点检测算法,算法使用核密度估计方法计算每个数据对象的密度估计值,来表示该数据对象的局部估计密度,并在核函数的带宽函数计算中引入数据对象的k-邻域平均距离作为其邻域信息,然后利用求出的局部估计密度计算数据对象的局部离群因子,依据局部离群因子的大小来判断数据对象是否为离群点.实验表明,该算法在UCI标准数据集与模拟数据集上都可以取得较好的表现.     

基于可达邻域的异常检测算法

提出了可达邻域的概念,定义了基于可达邻域的异常RN-Outlier。给出了RNOF异常检测算法,克服了异常检测算法常被参数依赖和参数扰动所困扰的缺点。仿真数据集和真实数据集的实验表明,该算法的性能超过了经典的LOF和LSC算法,降低了参数依赖和参数扰动的影响。     

iLOF*:一种改进的局部异常检测算法

异常检测是数据挖掘领域研究的基本问题之一,已被广泛应用于气象预报、网络入侵检测、电信和信用卡欺诈侦察等领域.基于密度的异常检测算法LOF具有较好的检测效果和适用性,但其计算量较大,运行效率不够高,且在进行对象之间的距离计算时忽略了不同属性对异常值的不同影响.针对以上不足,本文提出了一种高效的LOF改进算法iLOF^*.该算法利用网格进行数据约简,从而提高了算法的运行效率;同时,在进行对象之间的距离计算时,引入信息熵,给不同属性赋予不同的权值,从而提高了算法的准确率.另外,用MapReduce计算框架将iLOF^*算法并行化,进一步提高了算法在大规模数据集上的运行效率.最后的实验结果验证了iLOF^*算法的有效性和高效性.     

一种基于多示例学习的局部离群点检测算法

提出了一种基于多示例学习（multi-instance learning,MIL）的局部离群点检测算法,称之为MIL-LOF（a local outlier factor based on multi-instance learning）．算法采用MIL框架,首先将真实对象提取为多示例形式,然后运用退化策略和权重调整方法,计算综合离群点因子,最后检测离群点．在实际企业监控数据以及公共数据集上将MIL-LOF与经典局部离群点检测算法及其优化算法进行了对比实验,结果表明本文提出的MIL-LOF算法在准确性、全面性及高效性上相对其他算法均可获得较为明显的提高．     

基于MapReduce与相关子空间的局部离群数据挖掘算法

针对高维海量数据,在MapReduce编程模型下,提出了一种基于相关子空间的局部离群数据挖掘算法.该算法首先利用属性维上的局部稀疏程度,重新定义了相关子空间,从而能够有效地刻画各种局部数据集上的分布特征;其次,利用局部数据集的概率密度,给出了相关子空间中的局部离群因子计算公式,有效地体现了相关子空间中数据对象不服从局部数据集分布特征的程度,并选取离群程度最大的N个数据对象定义为局部离群数据;在此基础上,采用LSH分布式策略,提出了一种MapReduce编程模型下的局部离群数据挖掘算法;最后,采用人工数据集和恒星光谱数据集,实验验证了该算法的有效性、可扩展性和可伸缩性.     

局部离群点挖掘算法研究

离群点可分为全局离群点和局部离群点.在很多情况下,局部离群点的挖掘比全局离群点的挖掘更有意义.现有的基于局部离群度的离群点挖掘算法存在检测精度依赖于用户给定的参数、计算复杂度高等局限.文中提出将对象属性分为固有属性和环境属性,用环境属性确定对象邻域、固有属性计算离群度的方法克服上述局限;并以空间数据为例,将空间属性与非空间属性分开,用空间属性确定空间邻域,用非空间属性计算空间离群度,设计了空间离群点挖掘算法.实验结果表明,所提算法具有对用户依赖性少、检测精度高、可伸缩性强和运算效率高的优点.     

基于局部偏离因子的孤立点检测算法

孤立点检测是知识发现中的一个活跃领域,如信用卡欺诈、入侵检测等。研究孤立点的异常行为能发现隐藏在数据集中更有价值的知识。该文提出基于局部偏离因子(LDF)的孤立点检测算法,利用每个数据点的LDF衡量该数据点的偏离程度。实验结果表明,该算法能有效检测孤立点,其效率高于LSC算法。     

基于局部离群点检测算法的电力通信网络拥塞安全控制方法

针对电网运行数据堵塞程度较高,传输安全性较差的问题,提出了基于局部离群点检测算法的电力通信网络拥塞安全控制方法。通过电力通信网络的通道模型与路由监测协定,凭借波特间隔均衡法优化节点布局,结合自适应偏差补充调整反馈,均衡通道。针对储存空间、带宽容量、CPU处置功能等主要拥塞因素,分析数据密度估计值,并在带宽函数中加入邻域平均距离得到局部密度,推导出数据的局部离群点,通过调节离群点大小断定和控制电力通信网络。实验证明,所提方法能够精准检测出电力通信网络是否拥塞,及时调节通信数据,降低堵塞程度,保证信息可以安全传输。     

基于改进局部异常因子算法的拓扑辨识技术

针对电网中的拓扑错误和不良遥测信息严重影响电网的安全运行的现象,提出了基于改进局部异常因子算法的拓扑辨识方法.该方法利用统计理论对开关及刀闸的状态信息和电网的遥测信息进行评估,同时考虑到遥测及遥信信息对拓扑错误辨识的影响不同,采用相对熵对其数据进行加权处理,并在异常拓扑状态检测过程中,通过网格来屏蔽那些非异常的对象,提升算法效率.实验结果表明,该算法能够快速识别电网中的拓扑错误,发现其中的不良遥测信息.