基于变宽直方图的无线传感器网络异常数据检测算法

数据的准确性是衡量无线传感器网络(WSN)性能的重要指标,异常数据检测是无线传感器网路面临的关键问题和主要挑战。提出了一种基于变宽直方图的异常数据检测算法,通过数据聚合的方式将网络中的动态感知数据聚合成变宽的直方图来准确检测出异常数据,同时避免不必要的数据传输。对算法的性能进行了理论分析,并基于真实大规模无线传感器网络系统数据进行了实验评估,结果表明算法具有很高的准确率,并有效降低了网络通信开销。     

基于神经网络的无线传感器网络异常数据检测方法

传感器网络的异常数据检测对于环境监测具有十分重要的意义。基于BP神经网络模型和线性神经网络模型,分别提出了两种无线传感器网络异常数据检测方法。提出的方法在每个当前时刻通过最近的固定长度的历史数据集训练神经网络,来完成下一时刻的预报。通过神经网络的模型残差,确定概率为P的置信区间。当下一时刻数据落入置信区间内,则该数据被判为正常;反之,则为异常。为了比较和验证两种检测方法的性能,在Matlab环境下完成了仿真实验。实验结果表明,基于线性神经网络的异常数据检测方法的检测率(detection rate)达到了97.9%,误报率(false positive rate)不超过0.76%;基于BP神经网络的异常数据检测方法的检测率为96.7%,误报率不超过0.84%。     

基于核聚类的无线传感器网络异常检测方案

针对无线传感器网络的自身特殊性和所面临的路由安全威胁,提出了一种基于核聚类的异常检测方案——KCAD,以检测路由攻击所导致的流量异常。该方案通过利用Mercer核,将输入空间的流量特征样本隐式地映射到高维特征空间,突出了不同样本间的特征差异,从而更好地完成聚类,提高了检测准确率,同时还针对流量特征样本做了时间维扩展,使之更能反映近期网络流量状况,减少了由于历史数据集影响所带来的误报。仿真实验结果表明,KCAD方案能够在较少的资源开销条件下,迅速、有效地检测出传感器网络中的攻击异常。     

无线传感器网络中基于模式频繁度的异常检测方法

传感器网络的异常数据检测对于相关应用具有非常重要的意义。针对异常数据问题,提出了一种基于数据变化模式和数据空间相关性的无线传感器网络分布式异常数据检测方法。该方法首先为数据创建一个分布模型,即将数据变化模式映射到某个特征空间的分区中,确定非频繁分区,再通过判定数据是否落在非频繁分区来筛选出潜在异常值,最后根据邻居节点数据的空间相关性对异常值产生的原因进行判定。实验结果表明,该方法在避免较高运算复杂度的同时,能够有效地检测并区分网络中的错误数据与异常事件。     

基于大数据的网络信息数据流量异常检测方法

网络结构日益复杂,网络故障出现的频率也逐渐增多,对网络管理带来了挑战。在网络管理中,最重要的任务是通过对网络信息数据流量异常情况进行检测,提前进行处置,将故障率降低到最低。对此,笔者提出基于大数据的网络信息数据流量异常检测方法。通过对比实验证明,该方法具有更高的准确率,且检测性能良好,能够满足目前大数据环境下对网络信息数据流量异常的检测要求。     

基于深度信念网络的高维传感器数据异常检测算法

越来越多的物联网数据呈现高维度特征,针对目前传感器数据异常检测算法对高维数据在线检测的困难,提出一种基于深度信念网络的高维传感器数据异常检测算法。首先利用深度信念网络对高维数据进行特征提取,降低原始数据维度,再对降维后的数据进行异常检测。在检测过程中将QSSVM(Quarter-Sphere Support Vector Machine)与滑动窗口模型相结合,实现了在线式的异常检测。通过在四组真实传感器数据上的大量实验,与先前的异常检测算法做了对比,实验结果表明,新算法相对于OCSVM(One-Class Support Vector Machine)仅利用原有算法50%的计算时间,将检测准确度提高了约20%。     

基于改进LSTM的桥梁传感器异常数据的检测方法

桥梁正常与否通常通过传感器来检测,但是庞大的数据量对于传统检测方来说存在很大挑战,因此提出基于长短期记忆模型循环神经网络(Long Short Term Memory、LSTM)的方法进行异常检测.首先利用小波变换与奇异谱分析(Singular Spectrum Analysis、SSA)对传感器数据进行预处理,之后利用两层LSTM对序列进行向量表示、逆序重构,利用贝叶斯优化算法对LSTM网络进行参数优化,最终通过极大似然估计(Maximum Likelihood Estimate、MLE)对该段序列进行异常得分估计,最终通过学习异常报警阈值实现时间序列异常检测并发现潜在异常.采用桥梁某部位的应变数据、风速数据与振动传感器数据进行仿真实验,验证了所提方法相比其他传统方法具有更高的精确性.     

DBSCAN聚类算法在异常检测中的应用

运用数据挖掘的方法进行入侵检测已经成为网络安全领域的一个热点研究方向,该文主要对异常检测进行研究,将一种快速DBSCAN聚类算法应用到入侵检测中,通过对数据进行聚类,从而发现其中未知的攻击行为。该文以KDD99数据集为例做实验,证明了DBSCAN算法具有很好的聚类效果,实验结果得到了较高的检测率和较低的误报率。     

基于智能蝙蝠算法的异常数据检测方法

随着大数据应用的普及,网络攻击日益严重并已成为主要的网络安全问题。针对大数据环境下的网络攻击检测问题,设计一种融合聚类和智能蝙蝠算法（DEBA）的网络攻击检测系统。该系统将K-means算法与蝙蝠算法相结合进行数据流分类,实现了对异常数据的高效检测。实验结果显示,该系统的聚类准确率、算法耗时和误报率方面明显优于基于传统蝙蝠算法的K-means算法和单独K-means算法的网络异常数据检测方法。     

传感器网络中的局部异常检测算法

找到异常数据对于传感器网络来说非常重要。本文通过一个例子首先提出了局部异常的概念。与传统异常不同,局部异常仅取决于节点及其周围节点的取值。我们给出了局部异常的形式化定义,并首先提出了解决局部异常的Nave算法,由于其能耗过大,又提出了分布式的解决方案DLODA。DLODA将网络分成多个区域,每个区域选择一个簇头,簇头能够在网内提前算出部分查询结果,并过滤掉不会成为查询结果的数据,以节约能量开销。最后从能量消耗和响应时间两个方面对DLODA的性能进行了评估,实验显示DLODA具有良好性能。     

一种基于分层聚合的分布式异常数据检测方案

在无线传感器网络中,由于传感器节点的带宽、功率、计算能力有限,传统的集中式方案难以区分海量数据中的异常数据.为解决此问题,提出一种基于多层分布式无线传感器网络的异常数据检测方案.在节点层级采用K-Means++算法对数据进行聚类,执行簇合并算法以减少数据传输量,在网关节点执行基于KNN的异常簇检测算法,将正常簇信息返回至底层节点进行局部检测,从而区分异常数据.在高斯数据集与IBRL数据集上的实验结果表明,该方案检测率高于98%,且能显著降低通信消耗.     

无线传感器网络中基于聚类的自适应数据存储

数据存储是无线传感器网络的研究重点.本文分析无线传感器网络中数据存储和访问的相关代价,研究了网状拓扑结构网络中数据存放位置的选择问题.将数据存储问题抽象为传感器节点聚类问题,实现了三种基于聚类的分布式数据存储方法CBDS.为了能够降低能量消耗,CBDS依据生产者和消费者的位置信息、网络拓扑信息及数据速率计算数据存放位置,并且依据这些参数的变化自适应地调整数据存放位置.实验结果表明:CBDS较传统的数据存储方法不仅减少了能量消耗,延长了网络的生命周期,并且降低了访问延迟.     

基于滑动窗口和置信度的无线传感器网络异常检测算法

针对无线传感器网络中异常检测误报率高及节点间通信开销大的问题,提出了基于滑动窗口和置信度的无线传感器网络异常检测算法(ADABSWC)。该算法使用环境干扰因子量化监测环境中的不确定性,建立异常数据干扰区间识别滑动窗口中的异常数据。提出了数据异常度的计算方法,用来预判异常来源;然后引入多通信半径划分最佳邻域,利用相对熵计算节点信息置信度;根据节点信息置信度协同判定出节点异常数据的来源。通过仿真实验,ADABSWC算法在不同传感器节点规模下均体现了较好的性能。该算法与KNN-PSOELM、OFN算法相比,事件节点、错误节点的检测率均高于98%,且误报率均低于1.5%。实验结果表明,所提出的算法可保证高检测精度的同时控制误报率在较低水平,算法拥有较好的容错性能。     

基于ＢＩＲＣＨ聚类算法的高维传感器数据异常检测

海量高维传感器数据受网络环境扰动较大,导致其异常值检测难度较大,提出基于BIRCH聚类算法的高维传感器数据异常检测方案。推算节点对应的一阶差分信号序列,信号矢量通过多跳路由传输至网关节点,将空间相关性强的传感器节点划分在同一簇内,采集完整的高维传感器数据;利用分割点预设得到传感器数据特征属性候选分割点,挑选信息增益最大的点为最佳分割点;将传感器数据序列的中位数异常看作异常检测判定条件,利用BIRCH聚类算法中的聚类特征和聚类特征树计算节点特征属性,将数据聚类结果拟作球形簇状架构,输出高维传感器数据序列异常数据。仿真结果证明,该方法的异常节点检测的检出率在95%以上,误报率为0.35%,异常检测耗时在1.5min以内。     

基于BP神经网络的录井异常数据检测方法研究

在石油钻井工程中,由于技术和设备的客观因素,导致录井数据经常出现异常值,影响了录井解释评价精度。针对该问题,提出了一种基于BP神经网络的录井异常数据处理方法。为了在构建数据环节中提供准确且可信的工程数据,研究了录井异常数据的产生原因及异常数据的表征,并且通过对比格鲁布斯法、K-means聚类算法以及BP神经网络等方法的特点,选择BP神经网络作为异常值处理的方法。通过模型预测的录井数据误差平方值与样本数据的均方根误差进行比较,来确定数据的异常情况,保证检测异常点的合理性。经实验验证和同类算法的比较,表明了BP神经网络模型可以实现检测录井异常点数据,且检测异常点的准确率高于同类算法,处理异常点结果可信,能够有效解决因异常点数据所带来的问题。     

基于时空轨迹数据的异常检测

伴随着智能设备的普及和无线通信技术的发展,用户在使用无线网络满足各种需求时,无线网络也记录下了用户上网留下的大量时空轨迹数据.针对时空轨迹数据的异常检测已经成为数据挖掘领域一个新的研究热点.为了更好地关注学生健康发展,促进校园信息化建设,以真实校园上网数据为例,提出了一种基于多尺度阈值和密度相结合的谱聚类算法(Spec...     

一种两阶段异常检测方法

提出了一种新的距离和对象异常因子的定义，在此基础上提出了一种两阶段异常检测方法TOD，第一阶段利用一种新的聚类算法对数据进行聚类，第二阶段利用对象的异常因子检测异常．TOD的时间复杂度与数据集大小成线性关系，与属性个数成近似线性关系，算法具有好的扩展性，适合于大规模数据集．理论分析和实验结果表明TOD具有稳健性和实用性．