基于相关性的多维时序数据异常溯源方法

提出一种基于统计学相关性分析的多维时序异常数据检测分析方法,以对检测中表现为异常的数据进行溯源:对反映系统故障的数据和传感器质量问题的数据进行分类,进而识别出真正的系统故障,避免误检.首先根据相关关系构建时序相关图,再进一步归纳为时序相关环模型,通过在时序相关图上搜索并确定时序相关环的过程,提取时序相关环中的特征,得到时间序列相关性集合.进而利用时间序列相关性集合进行时序数据异常来源检测,根据检测结果评估时序传感器数据对应的系统故障的几率.在真实的工业设备传感器序列数据集上进行大量实验,实验结果验证了该方法在高维时序数据的异常检测任务上的有效性.通过对比实验,验证了该方法从稳定性和效率上优于基于统计和基于机器学习模型的基准算法,时间序列的维度越高,该方法较基准算法的提升越明显.该方法通过对多维时序数据相关性知识的挖掘,既节约了计算成本,又实现了对多维异常数据来源的精准识别.     

基于改进图神经网络的异常检测方法

异常检测在许多领域都具有重要意义,它可以帮助人们及时发现数据错误或缺失,而传统的方法只能对单一因素进行异常识别。随着数字时代的到来,时序数据往往表现出数据庞大、复杂、维度高等特点,传统异常检测方法由于计算的可扩展性较弱,存在维度灾难问题,在多维数据场景中经常表现不准。为了提高异常检测精度及捕捉多维数据的关联性,在此提出一种基于改进图神经网络的多维序列异常检测模型,选择图偏差网络（GDN）作为基础框架,使用Transformer模型替换了原模型中的预测部分,对相邻时间序列的未来值进行预测,以此来捕捉时间序列的特征,学习时间序列之间的依赖关系,提高异常检测精度。实验结果表明,在3个公开的数据集上,该方法可获得较高的精确率和计算效率。     

基于电力大数据的用户侧数据异常检测方法研究

针对现有电力大数据的异常检测方法存在的准确度低、检测效率慢等问题,在数据挖掘的基础上,提出了一种将孤立森林算法和局部离群因子算法相结合的电力大数据异常检测方法。从全局和局部两个方面对电力大数据进行异常检测,提高了电力大数据检测的优越性。为了验证该方法检测结果的优越性,通过仿真对该方法进行对比分析。结果表明,与传统的异常检测方法相比,该方法具有更高的检测效率,能够更准确地检测出用户侧电力数据异常值。     

融合统计方法和双向卷积LSTM的多维时序数据异常检测

通过数据分析进行异常检测,有助于准确识别异常行为,从而提高服务质量和决策能力。然而,由于多维时序数据的时空依赖性以及异常事件发生的随机性,现有方法仍然存在一定的局限性。针对上述问题,提出一种融合新型统计方法和双向卷积LSTM的多维时序数据异常检测方法MBCLE。该方法引入堆叠的中值滤波处理输入数据中的点异常并平滑数据波动;设计双向卷积长短期记忆网络（Bi-ConvLSTM）和双向长短期记忆网络（Bi-LSTM）相结合的预测器进行数据建模和预测;通过双向循环指数加权移动平均（BrEWMA）平滑预测误差;使用动态阈值方法计算阈值以检测上下文异常。实验结果表明,MBCLE具有良好的检测性能,各步骤均对性能提升有所贡献。     

基于改进负向选择算法的异常数据检测方法

针对基本实值负向选择算法检测率不高的问题,采用可变尺寸检测器,有效减少了漏洞问题.同时,限制检测器的最小半径,节省了存储检测器所需要的空间.通过对污水处理数据进行检测,实验结果表明,该方法提高了异常数据的检测精度.     

基于小波隐马尔科夫模型的控制过程异常数据检测方法

针对小波异常信号检测原理的局限性,提出了适用于过程数据的基于小波隐马尔可夫模型（W-HMM）的异常数据检测方法．首先在一定尺度下对检测信号进行分解,将频率组分不同于其他大部分信号的信号作为异常信号;然后通过计算待检测信号的小波系数与正常信号小波系数的相似概率,并利用求取隐马尔可夫模型（HMM）最优状态链的Viterbi算法对数据进行最终判断;最后通过数值验证和应用表明了所提出的检测算法的有效性和实用性．     

基于混合方法的多维时间序列驾驶异常点检测

针对传统异常点检测模型难以准确分析汽车驾驶异常行为的情况,建立一种基于自动编码器与孤立森林算法的多维时间序列汽车驾驶异常点检测模型。利用滑动窗口计算原始多维时间序列范数、范数变化率及相关统计信息值提取数据特征,通过自动编码器重构特征数据,并结合孤立森林算法实现异常点检测。实验结果表明,与基于LOF、OCSVM、iForest和LSTM-AE的异常点检测模型相比,该模型的召回率和F1度量值可分别提升至6%和2.4%以上,综合性能更优。     

面向多维数据的异常点检测模型设计

为了在大数据环境下快速、精准地挖掘异常点,保障网络安全,提出了一种面向多维数据的异常点检测模型设计方案。该方案利用长短期记忆网络(LSTM)存储任意时间段的多维数据,并使用图卷积网络提取完整数据结构,同时加入惩罚参数和均方误差来缩小异常点出现范围。此外,还利用编码器和解码器构建变分自编码器函数模型,使其能够解读正常数据子特征,并通过编码重建损失函数来计算数据异常度量,从而实现异常点检测。经过实验验证,该方法表现出较高的检测正确率和运行效率,具有极高的应用价值。     

基于智能蝙蝠算法的异常数据检测方法

随着大数据应用的普及,网络攻击日益严重并已成为主要的网络安全问题。针对大数据环境下的网络攻击检测问题,设计一种融合聚类和智能蝙蝠算法（DEBA）的网络攻击检测系统。该系统将K-means算法与蝙蝠算法相结合进行数据流分类,实现了对异常数据的高效检测。实验结果显示,该系统的聚类准确率、算法耗时和误报率方面明显优于基于传统蝙蝠算法的K-means算法和单独K-means算法的网络异常数据检测方法。     

针对异常序列检测的非法入侵识别算法

针对非法入侵带来的室内安全隐患,聚焦于目前应用广泛的Wi-Fi技术,首次设计提出了一种通过学习合法用户的行为习惯,再进行异常序列检测进而甄别非法入侵者的识别算法。对收集到Wi-Fi信号的CSI特征值进行去噪和信号分段,使用隐马尔科夫模型对用户的行为建模。根据模型输出的概率不断调整判断的阈值,使学习训练的模型随着时间的推移越来越符合用户的行为特征。实验结果表明检测准确率可以达到93.4%,达到了实时准确检测的目的。     

基于数据影响的多对象交互流程偏差检测方法

现有的大多数偏差检测方法能够识别来自流程活动及部分数据属性的偏差,但是无法处理流程执行过程中数据变化对流程的影响问题,尤其是在涉及多对象交互的情况下。针对这一问题,提出了一种多对象交互情况下基于数据影响的业务流程偏差检测方法。首先,基于控制流与数据信息识别可能的偏差活动;然后,根据数据变化对活动的影响定义影响集;接着,将以对象为中心的概念引入偏差检测过程,形式化以对象为中心的Petri网模型,在此基础上,通过分析对象是否对其修改的数据具有执行权限,分类并定义了四种数据影响类型及其计算标准,据此得到基于数据影响的偏差检测结果;最后,与其他偏差检测方法对比验证,结果表明,应用该方法得到的偏差检测结果值得到提升,并且能够处理多对象交互的流程偏差。该方法能够有效捕获多对象交互流程中数据变化影响的流程活动,提高偏差检测的合理性与准确性。     

一种融合了异常数据识别的CMM改进算法

针对聚类过程中有意义的异常数据难以识别的问题,在改进CMM算法的基础上,提出了一种融合了异常数据识别的层次聚类算法。采用CMM方法提出的原子簇思想,通过重新定义簇中心、噪声判断标准以及改进循环机制等手段提高聚类准确性及算法效率。提出了异常数据的概念和定义,并将其识别算法引入聚类过程过程。基于仿真及实际数据的实验结果证明,该算法能够根据设定参数准确识别异常数据,同时其聚类准确性及性能针对CMM算法也有了相应提高。     

基于改进KNN算法的交通流异常数据修复方法

交通流数据分析是交通规划、控制、管理等工作实施的基础。交通流数据异常会给交通状态辨识及交通管理和控制带来困扰,不利于交通领域各方面研究及工作的开展。因此,对异常数据进行修复具有必要性。为了提高交通流异常数据修复精度,进一步改善交通数据质量,构建了基于改进K近邻（K-Nearest Neighbor,KNN）算法的交通流异常数据修复模型。通过对KNN基础模型中k值和状态向量进行优选、提出距离占比的近邻值权重选取方式,实现对其模型的改进。为了验证模型的有效性,采用实测交通流数据进行实验分析。实验结果表明,改进的KNN数据修复模型具有更高的修复精度,其平均相对误差为9.88%,能够有效改善数据质量,为智能交通控制体系提供基础数据支持。     

高维数据环境下网络异常检测的改进否定选择算法

人工免疫中的否定选择算法目前已成功地应用于异常检测的低维数据集上,但在高维数据集上的效果不大理想。为了改善算法的性能,分析了现有否定选择算法在网络异常检测中的不足,对带变长检测器的否定选择算法进行了修改,提出了一种改进的否定选择算法,新算法中通过移动检测器控制检测器覆盖情况。仿真实验结果表明了改进算法在网络异常检测中高维数据集上的有效性,可以取得较高的检测率和较低的误报率。     

基于条件随机场模型的数据异常检测算法

企业数据中心作为辅助决策的重要工具,保证其数据的及时性、准确性和科学性是最基本的要求和最核心的原则。对于数据异常的情况,若仅依靠人为的经验在海量数据中进行判断是很困难的,也是不科学且低效的。针对企业购销存数据的准确性问题,研究了基于机器学习的数据异常检测算法。由于购销存数据是由一组相对固定的数据项组成,可以看作是一个结构化数据序列,因此选择了解决结构化序列预测问题最为有效的条件随机场模型CRFs。通过对大量历史数据进行学习,分析出数据的自身规律以及关联关系,使计算机具备自动检测异常的能力。实验结果表明了该算法的有效性。     

基于关联规则映射的生物信息网络多维数据挖掘算法

针对在生物信息网络中对复杂和大规模的数据集进行挖掘时所出现的算法挖掘精度低、运行速度慢、内存占用大等问题,提出一种基于关联规则映射的生物信息网络多维数据挖掘算法.该算法结合网络数据集之间的关联映射关系,从而确定网络数据集的关联规则,并引入挖掘因子和相对误差来提高算法的挖掘精度;根据多维子空间中数据集之间的关联程度进行子空间区分以及子空间内数据集区分,从而实现对不同数据集的有效挖掘.在实验中,对不同数据集数量下的算法内存占用情况、算法挖掘精度、算法运行时间进行仿真,从实验结果可以看出基于关联规则映射的挖掘算法可以有效地提高挖掘精度,在减少内存占用和提升计算速度上也具有一定的优势.     

增量式SVM的数据流异常检测模型

针对网络数据流异常检测,既要保证分类准确率,又要提高检测速度的问题,在原有数据流挖掘技术的基础上提出一种改进的增量式学习算法.算法中建立多模型轮转结构,在每次训练中从几何角度出发求出当前训练样本集的支持向量,选择出分布于超平面间隔中的支持向量进行增量SVM训练.使用UCI标准数据库中的数据进行实验,并且与另外两种经典分类模型进行比较,结果表明了方法的有效性.     

M-TAEDA:多变量水质参数时序数据异常事件检测算法

在供水管网中部署传感器网络实时获取多个水质参数时间序列数据,当供水管网发生污染时,高效准确地检测水质异常是一个重要问题。提出多变量水质参数时间异常事件检测算法（M-TAEDA）,利用BP模型分析多变量水质参数的时序数据,确定可能离群点;结合贝叶斯序贯分析独立更新每个参数的事件概率,预测单个传感器节点检测的异常概率;将单变量的事件概率融合为统一多变量事件概率,融合判断异常事件。实验结果表明：BP模型模拟多变量水质参数进行预测可以达到90%精确度;与单变量参数时间异常事件检测算法（S-TAEDA）相比,M-TAEDA可以提高异常检出率约40%,降低误报率约45%。     

基于模糊数据挖掘与遗传算法的异常检测方法

建立合适的隶属度函数是入侵检测中应用模糊数据挖掘所面临的一个难点。针对这一问题,提出了在异常检测中运用遗传算法对隶属度函数的参数进行优化的方法。将隶属度函数的参数组合成有序的参数集并编码为遗传个体,在个体的遗传进化中嵌入模糊数据挖掘,可以搜索到最佳的参数集。采用这一参数集,能够在实时检测中最大限度地将系统正常状态与异常状态区分开来,提高异常检测的准确性。最后,对网络流量的异常检测实验验证了这一方法的可行性。