无线传感器网络中异常读数检测算法研究*

针对无线传感器网络的离群点检测算法由于没有充分考虑数据的时空关联性和网络的分布特性,导致检测精度低、通信量大和计算复杂度高等局限,提出了基于时空关联的分布计算与过滤的在线离群点检测算法。该算法在各传感器节点上利用传感器读数的时间关联性生成候选离群点,并利用空间关联性对候选离群点进行过滤得到局部离群点,最终将所有传感器节点上的局部离群点集中到sink节点上获得全局离群点。利用时空关联性提高了检测精度,利用分布计算与过滤减少了通信量和计算量,理论分析和实验结果均表明该算法优于现有算法。     

基于多相关性的传感数据离群点检测与处理

针对传感数据中离群点造成结果精确度低的问题,设计了一种基于局部异常检测方法的改进离群数据检测算法。利用节点数据的时空相关性建立了时空变化因子模型,对局部异常检测算法中距离计算进行改进,使弥散数据更加密集,提高检测精确性。此外,还利用了不同数据间的属性相关性构建了一个线性回归模型,用于处理误差数据。为了验证算法的可行性,选用多个数据集进行对比测试。实验结果表明,该算法能够在实现高检测精度的前提下,将虚警率控制在较低水平。     

基于信息熵加权的局部离群点检测算法

离群点检测是数据挖掘领域的重要研究方向之一,可以从大量数据中发现少量与多数数据有明显区别的数据对象。在诸如网络入侵、无线传感器网络异常事件等检测应用中,离群点检测是一项具有很高应用价值的技术。为了提高离群点检测准确度,文中在局部离群测度（SLOM）算法的基础上,作了一些改进,提出了一种基于密度的局部离群点检测算法ESLOM。引入信息熵确定数据对象的离群属性,并对对象距离采用加权距离,以提高离群点检测准确度。理论分析和实验表明该算法是可行有效的。     

一种基于分层聚合的分布式异常数据检测方案

在无线传感器网络中,由于传感器节点的带宽、功率、计算能力有限,传统的集中式方案难以区分海量数据中的异常数据.为解决此问题,提出一种基于多层分布式无线传感器网络的异常数据检测方案.在节点层级采用K-Means++算法对数据进行聚类,执行簇合并算法以减少数据传输量,在网关节点执行基于KNN的异常簇检测算法,将正常簇信息返回至底层节点进行局部检测,从而区分异常数据.在高斯数据集与IBRL数据集上的实验结果表明,该方案检测率高于98%,且能显著降低通信消耗.     

基于图信号处理的无线传感器网络异常节点检测算法

针对无线传感器网络（WSN）中传感器自身安全性低、检测区域恶劣及资源受限造成节点采集数据异常的问题,提出一种基于图信号处理的WSN异常节点检测算法。首先,依据传感器位置特征建立K-近邻（KNN）图信号模型;然后,基于图信号在低通滤波前后的平滑度之比构建统计检验量;最后,通过统计检验量与判决门限实现异常节点存在性的判断。通过在公开的气温数据集与PM2.5数据集上的仿真验证,实验结果表明,与基于图频域异常检测算法相比,在单个节点异常情况相同条件下,所提算法检测率提升7个百分点;在多个节点异常情况相同条件下,其检测率均达到98%,并且在网络节点异常偏离值较小时仍具有较高的检测率。     

一种电力感知数据的离群点检测方案

鉴于离群点引发的数据质量问题给电力应用造成的不良影响,对电力感知数据的特征进行了分析,并基于电力感知数据的时间特征和异常检测技术的易用性需求,提出一种电力感知数据的离群点检测方案。该方案由异常检测服务框架和离群点检测方法构成。异常检测服务框架借鉴Web服务的思想,基于大数据技术,能够支持电力感知数据的存储和计算,并且以服务的形式提供电力感知数据的异常检测能力。离群点检测方法是基于聚类算法和考虑时间属性的数据分段方法来检测电力感知数据中的离群点异常。通过实验验证了该方法的可行性和有效性,结果表明该方法能够有效识别具有时间相关性和连续性的电力感知数据中存在的离群点,且在数据规模增大时,具有良好的并行性和可扩展性。     

A novel data fusion scheme using grey model and extreme learning machine in wireless sensor networks

With the increasing presence and adoption of wireless sensor networks (WSNs), the demand of data acquisition and data fusion are becoming stronger and stronger. In WSN, sensor nodes periodically sense data and send them to the sink node. Since the network consists of plenty of low-cost sensor nodes with limited battery power and the sensed data usually are of high temporal redundancy, prediction- based data fusion has been put forward as an important issue to reduce the number of transmissions and save the energy of the sensor nodes. Considering the fact that the sensor node usually has limited capabilities of data processing and storage, a novel prediction-based data fusion scheme using grey model (GM) and optimally pruned extreme learning machine (OP-ELM) is proposed. The proposed data fusion scheme called GM-OP-ELM uses a dual prediction mechanism to keep the prediction data series at the sink node and sensor node synchronous. During the data fusion process, GM is introduced to initially predict the data of next period with a small number of data items, and an OPELM- based single-hidden layer feedforward network (SLFN) is used to make the initial predicted value approximate its true value with extremely fast speed. As a robust and fast neural network learning algorithm, OP-ELM can adaptively adjust the structure of the SLFN. Then, GM-OP-ELM can provide high prediction accuracy, low communication overhead, and good scalability. We evaluate the performance of GM-OP-ELM on three actual data sets that collected from 54 sensors deployed in the Intel Berkeley Research lab. Simulation results have shown that the proposed data fusion scheme can significantly reduce redundant transmissions and extend the lifetime of the whole network with low computational cost.     

基于变宽直方图的无线传感器网络异常数据检测算法

数据的准确性是衡量无线传感器网络(WSN)性能的重要指标,异常数据检测是无线传感器网路面临的关键问题和主要挑战。提出了一种基于变宽直方图的异常数据检测算法,通过数据聚合的方式将网络中的动态感知数据聚合成变宽的直方图来准确检测出异常数据,同时避免不必要的数据传输。对算法的性能进行了理论分析,并基于真实大规模无线传感器网络系统数据进行了实验评估,结果表明算法具有很高的准确率,并有效降低了网络通信开销。     

一种无线传感器网络节点的故障检测算法

在无线传感器网络(WSN)中,容易因为故障节点存在冗余的故障属性、噪声数据以及数据可靠性等问题,从而产生传输错误数据,这将极大地消耗WSN节点中能量和带宽,向用户形成错误的决策。为此,提出了基于蚁群算法和BP神经网络模型的WSN节点故障检测方法。通过使用蚁群算法,使用户通过寻找优化路径来定位WSN节点的位置,通过这种随机搜索算法以及蚁群算法的搜索策略使用户对WSN故障节点的位置进行总体把握。然后又基于BP神经网络模型对获取的WSN故障节点信息进一步学习,在数据训练过程中,依据WSN故障节点预测误差,并进一步调整网络的权值和阈值,增加了故障诊断的精度。采用的算法对检测WSN故障节点具有较好的性能,使无线传感器网络的服务质量大大提高,增强了系统的稳定性,实验结果验证了算法的可行性和有效性。     

基于SparkR的水文传感器数据的异常检测方法

为了高效地从海量的水文传感器数据中检测出异常值，提出一种基于SparkR的水文时间序列异常检测方法。首先，对数据进行清洗后，采用滑动窗口配合自回归积分滑动平均模型（ARIMA）在SparkR平台上进行预测；然后，对预测的结果计算置信区间，将在区间范围以外的判定为异常值；最后，基于检测结果，利用K均值算法对原数据进行聚类，同时计算其状态转移概率，对检测出的异常值进行质量评估。以在滁河获取的水文传感器数据为实验数据，分别在运行时间和异常值检测效果这两个方面进行了实验。结果显示:利用SparkR对百万级数据进行计算时，利用双节点计算的时间要长于单节点；但是对千万级数据进行计算时，双节点比单节点计算时间上更少，最多减少了16.21%，且评估过后的灵敏度由之前的5.24%提高到了92.98%。实验结果表明，在SparkR下，根据水文数据的特点并结合预测检验和聚类校验的方法对千万级水文时间序列进行检测时，能有效提高传统方法的计算效率，并且在灵敏度方面相比传统方法也有显著提升。     

基于改进Kalman的传感器数据加权处理算法

物联网(IOT)和大数据的发展,对物联网数据质量和处理速度提出了新的要求,而物联网触感器原始数据由于噪音和虚假异常值的影响,如直接应用于大数据分析会严重影响分析结果的可靠性和有效性,大量传感器的部署也导致了虚假异常值数量的成倍增长;同时,由于物联网终端数量庞大且性能有限,数据价值密度低,使用机器学习方法进行处理性价比不高且不具有通用性,如何高效、可靠、通用地处理传感器数据并进行异常检测成为一个热点问题。该文基于统计学方法,结合Kalman滤波和加权融合思想,提出一种加权传感器处理预测算法。通过实验证明该算法对噪音数据处理效果相较于移动平均值,MSE和MAE都得到了提升,性能提升明显,并利用lightgbm算法验证数据处理前后预测模型性能的变化,证明通过该算法处理后的数据更易于进行模型训练和预测。     

基于核密度估计的分布数据流离群点检测

基于数据流数据的挖掘算法研究受到了越来越多的重视．针对分布式数据流环境,提出基于核密度估计的分布数据流离群点检测算法．算法将各分布节点上的数据流作为全局数据流的子集,通过分布节点与中心节点的通信,维护基于全局数据流的分布密度估计．各分布节点基于该估计对其上的分布数据流进行离群点检测,从而得到基于全局数据流的离群点集合．对节点之间的交互以及离群点检测算法的细节进行了讨论．通过实验验证了算法的适用性和有效性．     

基于遗传聚类算法的离群点检测

离群点检测是数据挖掘一个重要内容,它为分析各种海量的、复杂的、含有噪声的数据提供了新的方法。对离群数据挖掘几类主要的方法进行了分析和评价,并在此基础上了提出了一种基于遗传聚类的离群点检测算法。该算法结合了遗传算法全局搜索的优点和K-均值方法局部收敛速度快的特点,取得较好效果。实验验证该算法很好地检测到数据集中的离群点,同时还完成了数据集的聚类。具有较好的实用性。     

基于簇的分布式传感器故障检测算法

针对大规模无线传感器网络(WSN)中故障检测准确率降低,并产生较大通信负载的问题,根据传感器节点的时空相关性特点,提出一种基于簇的分布式传感器故障检测算法。通过邻居节点间的数据交换和互相测试检测簇首节点,并以正常簇首节点作为参照诊断故障节点。性能分析与实验结果表明,在大规模WSN中,该算法具有良好的故障检测能力和较低的通信负载,在邻居节点数较少、节点故障率较高的情况下,能达到98%以上的故障检测准确率,并保持较低的能耗水平。     

Distributed optimization in wireless sensor networks: an island-model framework

Wireless sensor networks (WSNs) is an emerging technology in several application domains, ranging from urban surveillance to environmental and structural monitoring. Computational intelligence (CI) techniques are particularly suitable for enhancing these systems. However, when embedding CI into wireless sensors, severe hardware limitations must be taken into account. In this paper we investigate the possibility to perform an online, distributed optimization process within a WSN. Such a system might be used, for example, to implement advanced network features like distributed modelling, self-optimizing protocols, and anomaly detection, to name a few. The proposed approach, called DOWSN (distributed optimization for WSN) is an island-model infrastructure in which each node executes a simple, computationally cheap (both in terms of CPU and memory) optimization algorithm, and shares promising solutions with its neighbors. We perform extensive tests of different DOWSN configurations on a benchmark made up of 15 continuous optimization problems; we analyze the influence of the network parameters (number of nodes, inter-node communication period and probability of accepting incoming solutions) on the optimization performance. Finally, we profile energy and memory consumption of DOWSN to show the efficient usage of the limited hardware resources available on the sensor nodes.     

基于改进的OPTICS聚类和LOPW的离群数据检测算法

针对现有的离群数据检测算法时间复杂度过高,且检测质量不佳的不足,提出一种新的基于改进的OPTICS聚类和LOPW的离群数据检测算法。首先,使用改进的OPTICS聚类算法对原始数据集进行预处理,筛选由聚类形成的可达图得到初步离群数据集;然后,利用新定义的基于P权值的局部离群因子LOPW计算初步离群数据集中对象的离群程度,计算距离时引入去一划分信息熵增量确定属性的权重,提高离群检测准确性。实验结果表明,改进后的算法不仅提高了运算效率,而且提高了对离群数据检测的精确度。     

一种基于概率的孤立点检测方法

现有孤立点检测方法大多数都需要预先设定孤立点个数,若设定不准确将降低孤立点检测的准确性。针对该问题,提出一种基于概率的孤立点检测方法。结合基于密度的DBSCAN算法与中位数求方差的方法,对待检测数据集进行聚类,提取出不包含在任何聚类中的可疑孤立点并进行分析,从而确定最终孤立点。该方法所检测的数据与时间因素线性无关,不必预先设定孤立点个数及聚类数,并且对噪声数据具有较强的抗干扰能力。IRIS测试数据集上的实验结果表明,该方法能够有效地识别孤立点。     

基于线性回归的无线传感器网络分布式数据采集优化策略

事件监测是无线传感器网络中最重要的应用之一,部署在监测区域内的传感器节点通过对感知数据信息的采集、处理和传输等基本操作完成具体的监测任务,在各种操作中,节点之间的数据传输是最消耗能量的.为了减少节点之间的通信数据量,达到降低网络能耗和延长网络生命周期的目的,该文提出了一种能量高效的基于线性回归的无线传感器网络分布式数据采集优化策略,通过应用线性回归分析方法构建感知数据模型,保持感知数据的特征,使节点仅传输回归模型的参数信息,代替传输实际监测的感知数据信息.仿真实验结果表明,文中提出的数据采集优化策略能通过较小的通信量有效地实现事件监测区域感知数据的预测和估计,降低网络的总能量消耗,延长网络的生命周期.     

基于局部离群点检测算法的电力通信网络拥塞安全控制方法

针对电网运行数据堵塞程度较高,传输安全性较差的问题,提出了基于局部离群点检测算法的电力通信网络拥塞安全控制方法。通过电力通信网络的通道模型与路由监测协定,凭借波特间隔均衡法优化节点布局,结合自适应偏差补充调整反馈,均衡通道。针对储存空间、带宽容量、CPU处置功能等主要拥塞因素,分析数据密度估计值,并在带宽函数中加入邻域平均距离得到局部密度,推导出数据的局部离群点,通过调节离群点大小断定和控制电力通信网络。实验证明,所提方法能够精准检测出电力通信网络是否拥塞,及时调节通信数据,降低堵塞程度,保证信息可以安全传输。     

一种模拟退火遗传算法的传感器网络数据融合技术研究

研究无线传感器网络(WSN)数据融合技术。传感器节点计算能力、通信能力有限,WSN采用交叉重叠方式部署,导致冗余数据量大,需采用数据融合技术消除冗余和无效数据,节约网络通信能耗。结合遗传算法全局搜索和模拟退火算法局部搜索的优点,提出一种模拟退火遗传算法的WSN数据融合方法(SA-GA)。采用模拟退火遗传算法快速找到移动代理路由最优传感器节点序列,并实现数据融合。仿真实验结果表明,与遗传算法、模拟退火算法相比,SA-GA更能快速找到全局最优数据融合节点序列,并对数据进行有效融合,具有更小的网络能耗和网络延时。