基于Argo浮标剖面数据获取全球海面温度异常

Argo浮标的大范围投放,为海洋科学研究提供了丰富的资料,使得海洋表层温度的获取不再局限于传统的考察船、漂流浮标和卫星数据反演。本文提出了获取海洋表层温度的一种新方法。利用Argo浮标实测剖面数据与标准温度模型,获取每个格网点的温度异常;然后再利用标准温度模型和温度异常,获取海洋表面上任一点的温度。利用实测数据对此方法进行验证,得到内符合精度为1.8,外符合精度为1.97,结果证明了此方法的可行性和有效性。     

基于长短期记忆网络和滑动窗口的流数据异常检测方法

针对目前流数据存在数量巨大、生成迅速和概念漂移的特点,提出了一种基于长短期记忆(LSTM)网络和滑动窗口的流数据异常检测方法。首先采用LSTM网络进行数据预测,之后计算预测值与实际值的差值。对于每个数据,选择合适的滑动窗口,将滑动窗口区间内的所有差值进行分布建模,再根据每个差值在当前分布的概率密度来计算数据异常可能性。LSTM网络不仅可以进行数据预测,还可以边预测边学习,实时更新调整网络,保证模型的有效性;而利用滑动窗口可以使得异常分数的分配更为合理。最后使用在真实数据基础上制造的模拟数据进行了实验。实验结果验证了所提方法在低噪声环境下比直接利用差值进行检测和异常数据分布建模法(ADM)方法的平均曲线下面积(AUC)值分别提高了0.187和0.05。     

基于滑动窗口和置信度的无线传感器网络异常检测算法

针对无线传感器网络中异常检测误报率高及节点间通信开销大的问题,提出了基于滑动窗口和置信度的无线传感器网络异常检测算法(ADABSWC)。该算法使用环境干扰因子量化监测环境中的不确定性,建立异常数据干扰区间识别滑动窗口中的异常数据。提出了数据异常度的计算方法,用来预判异常来源;然后引入多通信半径划分最佳邻域,利用相对熵计算节点信息置信度;根据节点信息置信度协同判定出节点异常数据的来源。通过仿真实验,ADABSWC算法在不同传感器节点规模下均体现了较好的性能。该算法与KNN-PSOELM、OFN算法相比,事件节点、错误节点的检测率均高于98%,且误报率均低于1.5%。实验结果表明,所提出的算法可保证高检测精度的同时控制误报率在较低水平,算法拥有较好的容错性能。     

基于滑动窗口的几何移动平均鞅算法在震前异常分析中的应用

在地震发生前往往存在各种异常现象,而如何有效地提取震前异常信息是非常重要的研究课题。采用一种基于滑动窗口的几何移动平均鞅算法来进行震前异常特征提取。该算法将地震数据进行几何移动平均鞅处理和滑动窗口特征抽取后,能够有效地提取地震震前异常数据的特征。利用该算法对汶川地震和庐山地震震前的美国国家海洋和大气管理局(NOAA)卫星长波辐射信息进行了分析。实验结果表明该算法能够发现震中区域比周边区域存在更明显的异常,这些异常信号可以辅助研究人员在震前确定地震区域。     

基于ARMA模型的联机时间序列数据分割算法

自回归移动平均(ARMA)模型近年来被广泛用于时间序列数据的预测、聚类以及相似性查找等.由于现实中的时间序列数据其底层生成机制与结构经常动态发生变化,因而对跨越较长时期的数据建立一个单一静态的ARMA模型并不合适.本文提出一种联机分割算法,首先对数据建立动态的ARMA模型,然后根据模型的预测信息与历史数据的特征信息,判断是否适合继续使用该模型描述后续数据,或者需要对数据进行分割,从而逐段建立ARMA模型.算法能够处理持续数据流,对仿真数据与实际数据的试验结果表明,本文所提出的算法是实用有效的.     

基于SparkR的水文传感器数据的异常检测方法

为了高效地从海量的水文传感器数据中检测出异常值，提出一种基于SparkR的水文时间序列异常检测方法。首先，对数据进行清洗后，采用滑动窗口配合自回归积分滑动平均模型（ARIMA）在SparkR平台上进行预测；然后，对预测的结果计算置信区间，将在区间范围以外的判定为异常值；最后，基于检测结果，利用K均值算法对原数据进行聚类，同时计算其状态转移概率，对检测出的异常值进行质量评估。以在滁河获取的水文传感器数据为实验数据，分别在运行时间和异常值检测效果这两个方面进行了实验。结果显示:利用SparkR对百万级数据进行计算时，利用双节点计算的时间要长于单节点；但是对千万级数据进行计算时，双节点比单节点计算时间上更少，最多减少了16.21%，且评估过后的灵敏度由之前的5.24%提高到了92.98%。实验结果表明，在SparkR下，根据水文数据的特点并结合预测检验和聚类校验的方法对千万级水文时间序列进行检测时，能有效提高传统方法的计算效率，并且在灵敏度方面相比传统方法也有显著提升。     

基于二次滑动窗口机制的日志异常检测方法

针对日志异常检测的传统特征提取方法往往选取一定数量的日志进行特征提取,在程序并发和网络时延波动较大等导致日志顺序混乱的场景下,传统方法效果不够理想.本文提出一种基于二次滑动窗口机制的日志异常检测方法,首先基于正则表达式和日志解析方法提取出日志时间戳和模板信息,再先后两次采用滑动窗口方法获取特征提取的序列对象.其中初次滑...     

基于滑动窗口的RFID自适应数据清洗算法

RFID（射频识别）标签阅读器对操作环境的敏感性很高,导致其产生的RFID数据流不可靠,并含有大量的漏读,因此必须要对原始数据进行清洗。设计基于滑动窗口的自适应数据清洗算法,算法使用滑动窗口技术和二项分布模型计算合适的窗口大小,通过窗口子区间的监测结果和标签的状态来动态调整窗口大小。结果显示,在移动环境下本算法比SMURF算法产生的平均错误数少,性能更加优越,准确率和稳定性都有明显提高。      

基于滑动窗口的直升机序列异常检测算法

无标签的序列在异常检测算法中往往存在着对数据的信息掌握不全面、不能合理使用的情况,而采用深度学习的技术实现检测时往往对其计算的解释性欠佳;对于攻克这些难题,以直升机飞行数据为例对时间序列的反常检测问题展开了深入研究,并利用Iforest技术和PCA算法,给出了一个采用滑动窗口的时间序列异常检测方法,利用从滑动窗口采集信息的时间变化状态等数据信息,将序列异常检测问题转换为点异常检测问题;同时以auc评分为衡量标准,从带有时刻特殊标志的多个信息集上检验了检测效率的提高;在无标签的直升机飞行数据集上进行实验,验证了算法的有效性,并通过对比检测过程中不同特征变量的变化情况,从算法层面和现实层面上阐述了算法的可解释性。     

基于KL距离的自适应阈值网络流量异常检测

针对现有网络流量异常检测方法检测精度低且对网络环境动态变化适应性差的问题,根据网络流量在相邻时间周期内的强相关性特性,提出一种自适应阈值的网络流量异常检测方法。利用滑动窗口控制KL距离值数量,建立指数加权移动平均模型获取下一时刻的KL距离预测值,并采用滑动窗口划分的KL距离子序列与预测值确定自适应阈值范围,通过判断观测值是否在自适应阈值范围内实现网络流量异常检测。实验结果表明,该方法能有效检测网络流量异常,具有较高的检测精度。     

基于MapReduce技术的Argo浮标剖面信息融合算法

针对目前Argo浮标剖面以单一浮标为分析单元造成的分析不全面,以及单机处理造成的计算时间长且复杂等问题,提出一种以经纬度网格单元为分析对象,采用MapReduce技术与主曲线相结合的信息融合算法。在Map阶段,从大量数据文件中提取Argo浮标的有效信息,并对所提取的有效Argo剖面信息进行经纬度划分。在Reduce阶段,生成各划分区域Argo浮标主剖面:首先对数据进行归一化处理,然后利用K主曲线理论获得由少量剖面点和折线组成且包含区域剖面特征的主剖面,从而实现海量Argo浮标的信息融合。通过全球Argo浮标样本数据对所提算法进行验证,新的信息融合算法在投影距离为0.03~0.10时残差均值小于0.1,且相比传统的单机处理方式,存储空间节约99.4%,计算速度提升36.4%。验证结果表明,所提算法在保证生成主剖面准确度的同时节省了极大的存储空间,提高了计算速度。     

基于Improved-HMM的进程行为异常检测

针对传统隐马尔可夫模型(HMM)状态转移概率仅与前一状态有关的不足,提出了一种改进的隐马尔可夫模型(Im-proved-HMM),该模型考虑到状态转移概率与前两时刻状态相关,旨在提高异常检测准确率。用基于Improved-HMM的Baum-Welch(BW)算法对正常进程行为进行建模,并采用滑动窗口的方法,检测进程行为是否处于异常状态。实验结果表明,该模型的检测准确率高于传统的HMM模型,能及时、准确检测到进程行为的异常。     

一种结合ARMA的高精度穿墙雷达成像算法

雷达穿墙检测是一项新颖的探测技术,简要介绍了一种基于连续波的双频多普勒雷达以及应用这种雷达检测障碍物后运动目标的基本成像算法。分析了这种算法的主要特点,并针对其主要的缺陷,提出了一种新颖的ARMA（Auto-Regressive Moving Average）修正模型,成功改善了多普勒雷达中普遍存在的低分辨率和频谱混叠问题。对传统算法和基于ARMA模型算法的成像进行了仿真,成像结果验证了改进算法的先进性和有效性。     

基于多维二进制搜索树的异常检测技术

将多维二进制搜索树（kd树）应用于异常检测,用kd树对网络数据进行组织、建立用户轮廓并以此为基础实现了一个异常检测系统,通过实验给出了系统对不同种类攻击的检测效果。实验结果表明,kd树在异常检测中具有很高的适用性。     

基于命名及解析行为特征的异常域名检测方法

设计了DNS解析统计向量和检测特征向量,提出了一种基于命名及解析行为特征的异常域名检测方法,通过应用真实DNS解析数据的实验验证了该方法的有效性和可行性。实验表明,该方法较现有方法能够发现更多的异常域名,且具有较低的误报率。该方法是对现有方法检测能力的补充和提高,为僵尸网络等安全事件的检测与控制提供有效的信息支持和技术手段。     

HL-Isomap+SVM在网络入侵检测中的应用

支持向量机所具有的处理小样本和良好的推广能力的优势,在入侵检测中得到了广泛应用。考虑到数据特征的高维性和冗余性,特征提取是一个关键步骤。采用非线性流形学习算法L-Isomap对入侵检测数据进行特征选择,然后应用one-class SVM训练并识别异常。通过将异构值差度量（HVDM）距离代替欧几里德距离提出了HL-Isomap。选用KDD数据集来比较上述不同模型,实验结果表明了降维方法的有效性,尤其是误警率性能得到了显著的提高。     

基于改进否定选择匹配算法的异常检测

使用了一种改进的否定选择匹配算法来检测异常行为。在这种算法中考虑了位置因素对两个序列匹配度的影响,从而能够更加准确识别自体与非自体,有效地减小检测集的规模。首先使用正常的序列调用生成初始检测集,然后通过学习来扩充检测集,使用最终得到的检测集扫描一定长度的调用序列,通过其中异常序列的比例来显示该段序列调用是否出现了异常。最后给出了实验结果。     

基于模糊数据挖掘与遗传算法的异常检测方法

建立合适的隶属度函数是入侵检测中应用模糊数据挖掘所面临的一个难点。针对这一问题,提出了在异常检测中运用遗传算法对隶属度函数的参数进行优化的方法。将隶属度函数的参数组合成有序的参数集并编码为遗传个体,在个体的遗传进化中嵌入模糊数据挖掘,可以搜索到最佳的参数集。采用这一参数集,能够在实时检测中最大限度地将系统正常状态与异常状态区分开来,提高异常检测的准确性。最后,对网络流量的异常检测实验验证了这一方法的可行性。