面向时序数据异常检测的可视分析综述

时序数据中的异常检测指的是在时序上去检测分析数据中异常的特征、趋势或模式.自动化的异常检测方法常会忽略细微的、模糊的、不确定的异常.可视分析通过对数据的可视表达和可视界面,集成用户和数据挖掘的能力.首先总结异常检测的挑战;然后从异常类型(属性、拓扑和混合)和异常检测方法(直接投影法、聚类方法和机器学习方法)2个角度对面向时序数据异常检测的可视分析工作进行分类和总结;最后阐述了未来的研究方向.     

一种采用串行自编码器的时序数据异常检测方法

基于深度学习的时序数据异常检测模型大多采用循环神经网络或长短期记忆网络捕捉时序依赖性,并利用自编码器重构数据,进而实现时序数据的异常检测.虽然此类检测模型实现了较高的异常检测率,但它们的网络结构复杂,导致模型的计算效率较低.为提高模型的计算效率,提出一种基于串行自编码器的异常检测模型SAE-AD.该模型仅包含两个结构简单的自编码器(AE_1$和AE_2$),其所含参数较少,且训练目标较为简单,从而加快了模型的计算效率.通过将自编码器AE_1$和AE_2$串行拼接,即AE_1$的输出作为AE_2$的输入,可有效提高AE_2$的解码器对正常数据特征的解码能力,有助于提升模型的检测准确率.实验结果表明,相较于其他新近提出的异常检测模型,SAE-AD模型具有更高的精确率、召回率和$F_1$值.     

基于多模态生成对抗网络的多元时序数据异常检测

针对传统多元时序数据异常检测模型未考虑时空数据的多模态分布问题,提出了一种多模态生成对抗网络多元时序数据异常检测模型。利用滑动窗口分割时间序列并构造特征矩阵来捕获数据的多模态特征,将其与原始数据分别作为模态信息输入多模态编码器及多模态生成器中,输出具有时空信息的多模态特征矩阵,并将真实数据编码成特征矩阵,将两类特征矩阵作为判别器输入,利用梯度惩罚方法并拟合真实分布与生成分布之间的Wasserstein距离,取代二分类交叉熵损失训练判别器,结合生成器重构误差及判别器评分实现异常检测。基于安全水处理(SWaT)及水量分布(WADI)等数据集的测试结果表明,所提模型相比基准模型在F1-分数性能指标上分别提升了0.11和0.19,能够较好地识别多元时序数据异常,具有较好的鲁棒性以及泛化能力。     

基于联邦学习的跨源数据错误检测方法

随着海量数据的涌现和不断积累,数据治理成为提高数据质量、最大化数据价值的重要手段.其中,数据错误检测是提高数据质量的关键步骤,近年来引起了学术界及工业界的广泛关注.目前,绝大多数错误检测方法只适用于单数据源场景.然而在现实场景中,数据往往不集中存储与管理.不同来源且高度相关的数据能够提升错误检测的精度.但由于数据隐私安全问题,跨源数据往往不允许集中共享.鉴于此,提出了一种基于联邦学习的跨源数据错误检测方法 FeLeDetect,以在数据隐私保证的前提下,利用跨源数据信息提高错误检测精度.为了充分捕获每一个数据源的数据特征,首先提出一种基于图的错误检测模型GEDM,并在此基础上设计了一种联邦协同训练算法FCTA,以支持在各方数据不出本地的前提下,利用跨源数据协同训练GEDM.此外,为了降低联邦训练的通信开销和人工标注成本,还提出了一系列优化方法.最后,在3个真实数据集上进行了大量的实验.实验结果表明:(1)相较于5种现有最先进的错误检测方法,GEDM在本地场景和集中场景下,错误检测结果的F1分数平均提高了10.3%和25.2%;(2) FeLeDetect错误检测结果的F1分数较本地场景...     

基于时序关联智慧城市边缘数据异常检测算法

针对智慧城市边缘感知数据类型多、数据维度大和存在数据异常等问题,提出基于时序的边缘检测异常数据算法。对解决该问题的基于边缘计算的智慧城市物联网、大数据分析框架进行设计,同时设计边缘服务增强现实框架;对智慧城市边缘检测异常数据问题进行定义,设计检测流程和时序关联计算算法,提出基于时序关联的智慧城市边缘检测异常数据算法。对设计的算法,利用感知设备采集数据,进行大量实验与仿真对比分析,实验结果表明,该算法在解决时序关联多维数据异常检测的准确率和召回率方面,具有一定的优越性。     

融合统计方法和双向卷积LSTM的多维时序数据异常检测

通过数据分析进行异常检测,有助于准确识别异常行为,从而提高服务质量和决策能力。然而,由于多维时序数据的时空依赖性以及异常事件发生的随机性,现有方法仍然存在一定的局限性。针对上述问题,提出一种融合新型统计方法和双向卷积LSTM的多维时序数据异常检测方法MBCLE。该方法引入堆叠的中值滤波处理输入数据中的点异常并平滑数据波动;设计双向卷积长短期记忆网络（Bi-ConvLSTM）和双向长短期记忆网络（Bi-LSTM）相结合的预测器进行数据建模和预测;通过双向循环指数加权移动平均（BrEWMA）平滑预测误差;使用动态阈值方法计算阈值以检测上下文异常。实验结果表明,MBCLE具有良好的检测性能,各步骤均对性能提升有所贡献。     

基于改进自编码模型的工业时序数据异常检测

针对传统异常检测模型在处理工业多维时序数据时特征提取不充分、抗干扰能力弱等问题,提出一种改进的自编码模型,有效结合了门控循环网络的时序信息记忆能力和收缩自编码器的鲁棒特征提取能力,能够同时捕获不同特征变量之间的非线性相关性和单个变量自身的时序相关性。采取半监督学习异常检测方法,使用正常数据训练模型收敛,并根据待检测数据输入模型后计算出的异常得分来判定异常样本。基于真实的工业传感器数据进行实验后的结果表明,该方法有效提高了异常检测的准确度和可靠性。     

基于相关性分析的工业时序数据异常检测

多维时间序列上的异常检测,是时态数据分析的重要研究问题之一.近年来,工业互联网中传感器设备采集并积累了大量工业时间序列数据,这些数据具有模式多样、工况多变的特性,给异常检测方法的效率、效果和可靠性均提出更高要求.序列间相互影响、关联,其隐藏的相关性信息可以用于识别、解释异常问题.基于此,提出一种基于序列相关性分析的多维时间序列异常检测方法.首先对多维时间序列进行分段、标准化计算,得到相关性矩阵,提取量化的相关关系;然后建立了时序相关图模型,通过在时序相关图上的相关性强度划分时间序列团,进行时间序列团内、团间以及单维的异常检测.在真实的工业设备传感器数据集上进行了大量实验,实验结果验证了该方法在高维时序数据的异常检测任务上的有效性.通过对比实验,验证了该方法从性能上优于基于统计和基于机器学习模型的基准算法.该研究通过对高维时序数据相关性知识的挖掘,既节约了计算成本,又实现了对复杂模式的异常数据的精准识别.     

基于Transformer重建的时序数据异常检测与关系提取

现有时序异常检测方法存在计算效率低和可解释性差的问题.考虑到Transformer模型在自然语言处理任务中表现出并行效率高且能够跨距离提取关系的优势,提出基于Transformer的掩膜时序建模方法.建立时序数据的并行无方向模型,并使用掩膜机制重建当前时间步,从而实现整段序列的重建.在存储系统数据集和NASA航天器数据...     

基于图自编码器的无监督多变量时间序列异常检测

针对多变量时间序列复杂的时间相关性和高维度使得异常检测性能较差的问题,以对抗训练框架为基础提出基于图自编码的无监督多变量时间序列异常检测模型.首先,将特征转换为嵌入向量来表示;其次,将划分好的时间序列结合嵌入向量转换为图结构数据;然后,用两个图自编码器模拟对抗训练重构数据样本;最后,根据测试数据在模型训练下的重构误差进行异常判定.将提出的方法与5种基线异常检测方法进行比较.实验结果表明,提出的模型在测试数据集获得了最高的F1分数,总体性能分F1分数比最新的异常检测模型USAD提高了28.4%.可见提出的模型有效提高异常检测性能.     

基于多模态对抗学习的无监督时间序列异常检测

时间序列异常检测旨在发现对应时序特征中不符合一般规律的特异性模式,是机器学习领域重要的研究方向之一.然而,现有的时序异常检测方法大多为单模态学习,忽略了时序信息在多模态空间上不同特征分布的关联性和互补性,不能充分利用已有信息进行有效地模式挖掘,从而造成检测效果差等问题.为此,提出了一种基于多模态对抗学习的无监督时间序列异常检测模型.首先,将原始时间序列转换至频域空间,构造多模态时间序列表示.其次,提出多模态生成对抗网络模型,针对多模态时间序列,实现正常时序信息关于时域和频域特征分布的无监督联合学习.最后,通过将异常检测问题转化为时间序列在时域和频域空间的重构度量问题,从时域空间和频域空间2个方面度量时间序列的异常值,实现更有效的异常检测.在时间序列数据集合UCR和MIT-BIH中的6个真实数据集的实验结果表明,在异常检测任务上相较于传统单模态异常检测方法,提出方法在AUC和AP这2个性能指标上最高分别提升了12.50%和21.59%,证明了方法的有效性.     

基于深度学习的时间序列数据异常检测方法

针对类间分布不平衡的时间序列数据的异常检测问题,提出了一种基于深度卷积神经网络的检测方法.首先采用抽样法对不平衡时间序列数据进行预处理;其次,将处理后的时间序列数据转换为尺度一致、时长一致的片段;最后将数据送入具有4层隐藏层结构的卷积神经网络模型中进行异常检测.实验结果表明,所提方法弥补了现存的检测技术由于忽略数据分布的偏斜性而造成的少数类检测精度低的缺点,并通过与现有的时间序列分类方法的比较,验证了所提方法的高效性.     

基于PSO和外部知识的时序数据异常检测

在时间序列数据的异常检测中, 单一模型往往只提取与自身模型结构相关的时序特征, 从而容易忽略其他特征. 同时, 面对大规模的时序数据, 模型难以对时序数据的局部趋势进行建模. 为了解决这两个问题, 本文提出一种基于粒子群优化算法(particle swarm optimization, PSO)和外部知识的异常检测模型PEAD. PEAD模型以深度学习模型作为基模型, 引入快速傅里叶变换生成的外部知识来提高基模型对局部趋势的建模能力, 随后PEAD模型以Stacking集成学习的方式训练基模型, 再使用PSO算法对基模型的输出加权求和, 对加权求和后的重构数据进行异常检测, PSO算法能够让模型的最终输出共同关注时序数据的全局特征和时间特征, 丰富模型提取的时序特征, 从而提高模型的异常检测能力. 通过对6个公开数据集进行测试, 研究结果表明PEAD模型在大部分数据集上表现良好.     

基于改进符号化度量方法的机场噪声异常检测

机场噪声中的异常情况拥有很大价值,利用它能够及时完善飞机和机场的设备。结合机场噪声数据的特点,对上述问题进行研究并提出一种基于改进的符号化聚集近似(Symbolic Aggregate Approximation,SAX)相似性度量的单监测点的时间序列异常检测方法。其运用相似性度量方法计算出度量结果,再运用k近邻异常检测方法进行异常发现,最后发现异常时间段。该方法在理论验证可行性之后在某机场的实测数据中进行应用,取得了良好的效果。     

核转折点裁剪表示的时间序列异常检测算法

裁剪表示是时间序列降维表示研究领域中一种重要的数据驱动表示方法,该类方法将原始时间序列数据转换为一组由0和1组成的序列。然而,传统裁剪表示方法忽略了时间序列中数据点对序列趋势变化的影响,同时无法自定义降维表示后的压缩率。为了解决以上问题,提出了一种基于核转折点的裁剪表示方法KTPC,并基于KTPC表示方法提出了一种高效的时间序列异常检测算法KTPC-AD。所提方法按照指定的压缩率寻找时间序列中的核转折点,将时间序列转换为由核转折点裁剪表示形成的一组0和1序列,利用KTPC-AD算法计算时间序列的异常得分,最终获得异常序列。实验结果表明,KTPC方法具有较高的表示效率,基于KTPC表示的时间序列异常检测算法不仅降低了异常检测的时间复杂度,同时有效提升了异常检测精度。     

基于Isolation Forest和Random Forest相结合的智能电网时间序列数据异常检测算法

智能电网的信息系统是保障电力行业正常运行的基础,而智能电网中各种时间序列数据的分析结果是衡量信息系统稳定运行的重要依据。传统的时间序列数据异常检测算法很难同时兼顾准确性和实时性。本文引入基于Isolation Forest和Random Forest相结合的智能电网时间序列数据异常检测算法,结合无监督学习算法和有监督学习算法的优点,实现机器自动标注和自动学习阈值,人工标注少量特征值,从一定程度上提高了时间序列数据异常检查准确性和实时性,可以满足智能电网时间序列数据异常检测需求,从而达到提升智能电网信息安全的目的。     

Cross-source Data Error Detection Approach Based on Federated Learning

With the emergence and accumulation of massive data, data governance has become an important manner to improve data quality and maximize data value. Specifically, data error detection is a crucial step to improve data quality, which has attracted wide attention from both industry and academia. At present, various detection methods tailored for a single data source have been proposed. However, in many real-world scenarios, data are not centrally stored or managed. Data from different sources but highly correlated can be employed to improve the accuracy of error detection. Unfortunately, due to privacy/security issues, cross-source data are often not allowed to be integrated centrally. To this end, this paper proposes FeLeDetect, a cross-source data error detection method based on federated learning, so as to improve the error detection accuracy by using cross-source data information on the premise of data privacy. First, a Graph-based Error Detection Model, namely GEDM, is presented to capture sufficient data features from each data source. On this basis, the paper then designs a federated co-training algorithm, namely FCTA, to collaboratively train GEDM by using different cross-source data without privacy leakage of data. Furthermore, the paper designs a series of optimization methods to reduce communication costs during federated learning and manual labeling efforts. Finally, extensive experiments on three real-world datasets demonstrate that (1) GEDM achieves an average improvement of 10.3% and 25.2% in terms of the $F1$ score in the local and centralized scenarios, respectively, outperforming all the five existing state-of-the-art methods for error detection; (2) the F1 score of the error detection by FeLeDetect is 23.2% on average higher than that by GEDM in the local scenario.     

一种非纯净训练数据异常入侵检测方法

异常入侵检测系统在训练阶段建立对象的正常行为模型，在测试阶段把它与对象的行为进行比较，如果出现了大于给定域值的偏差，就认为发生了入侵．通常建立对象正常行为模型的方法是用没有入侵的数据训练系统．这种方法存在实用性和可靠性方面的缺陷：人工合成的训练数据基表可以保证没有攻击，但它与入侵检测系统将要实际工作的环境有很大的差别；而从实际使用环境提取的训练数据又不能保证不合有攻击．本文提出了一种基于网络的非纯净训练数据的异常入侵检测方法ADNTD（Anomaly Detection for Noisy Training Data），它通过过滤训练数据中的低概率特征域的方法过滤掉训练数据中的攻击数据并建立网络的正常行为模型，以保证即使训练数据含有攻击的情况下仍能取得较好的检测效果．实验结果显示：在训练数据含有攻击时，ADNTD的性能明显好于以前的系统；在采用纯净数据训练时，ADNTD也具有与以前的系统相当的性能；ADNTD用带有攻击的数据训练的情况下仍能达到以前的同类系统用纯净数据训练相同的检测性能．