基于Transformer的时序数据异常检测方法

近年来,异常检测在电力系统运维、故障诊断等智能运维场景中起到关键作用。其中,深度学习在时序数据异常检测上取得了成功的应用。然而,基于长短期记忆(Long Short-Term Memory, LSTM)等异常检测方法因其序列学习模式中包含递归运算,导致模型难以并行计算,同时长期依赖性会导致模型性能下降。因此,提出了一种基于Transformer的时序数据异常检测方法,利用自注意力机制并行训练数据捕获内部有效信息,利用编码-解码框架使用端到端的方式通过时序数据生成异常得分。这个方法能更完整地提取时序数据的上下文关系,精确地捕获时序数据的异常关系。经实验证明,基于Transformer的时序数据异常检测方法在WADI、SWaT、KDDCUP99与AIOPS18等数据集上的异常检测表现出比其他方法更优的性能。     

基于相关性分析的工业时序数据异常检测

多维时间序列上的异常检测,是时态数据分析的重要研究问题之一.近年来,工业互联网中传感器设备采集并积累了大量工业时间序列数据,这些数据具有模式多样、工况多变的特性,给异常检测方法的效率、效果和可靠性均提出更高要求.序列间相互影响、关联,其隐藏的相关性信息可以用于识别、解释异常问题.基于此,提出一种基于序列相关性分析的多维时间序列异常检测方法.首先对多维时间序列进行分段、标准化计算,得到相关性矩阵,提取量化的相关关系;然后建立了时序相关图模型,通过在时序相关图上的相关性强度划分时间序列团,进行时间序列团内、团间以及单维的异常检测.在真实的工业设备传感器数据集上进行了大量实验,实验结果验证了该方法在高维时序数据的异常检测任务上的有效性.通过对比实验,验证了该方法从性能上优于基于统计和基于机器学习模型的基准算法.该研究通过对高维时序数据相关性知识的挖掘,既节约了计算成本,又实现了对复杂模式的异常数据的精准识别.     

基于时序关联智慧城市边缘数据异常检测算法

针对智慧城市边缘感知数据类型多、数据维度大和存在数据异常等问题,提出基于时序的边缘检测异常数据算法。对解决该问题的基于边缘计算的智慧城市物联网、大数据分析框架进行设计,同时设计边缘服务增强现实框架;对智慧城市边缘检测异常数据问题进行定义,设计检测流程和时序关联计算算法,提出基于时序关联的智慧城市边缘检测异常数据算法。对设计的算法,利用感知设备采集数据,进行大量实验与仿真对比分析,实验结果表明,该算法在解决时序关联多维数据异常检测的准确率和召回率方面,具有一定的优越性。     

基于图像分解和相对全变分的图像平滑

图像平滑旨在去除图像中纹理细节信息的同时保留重要的结构边缘,因此如何正确区分二者成了图像平滑的关键。梯度作为计算图像变化速度的重要指标是区分结构边缘和纹理细节的有效度量,但不同图像以及同一图像不同区域中的纹理和边缘的梯度差异并非固定不变的。为了能够有效识别结构边缘和纹理细节,提出了基于图像分解和相对全变分的图像平滑方法。为了扩大结构边缘和纹理细节之间的差异,实现在尽可能不改变结构边缘的前提下降低纹理细节的梯度,以多方向的梯度为约束对图像进行分解,提取图像的平滑成分。在特定尺度下,基于图像的区域结构差异,采用相对全变分方法,在保留结构边缘的同时去除该尺度下的纹理细节。通过迭代优化,不断调整图像区域尺度,实现对不同尺度纹理细节的逐步去除。与现有算法相比,新方法在有效地去除纹理细节和完整地保留结构边缘方面都具有较好的视觉效果。     

基于改进生成对抗网络的时序数据异常检测

针对时序数据复杂的时间相关性,以及现有异常检测模型存在准确性低、训练不稳定等问题,提出一种结合BiLSTM和WGAN-GP的无监督时序数据异常检测模型。使用BiLSTM作为生成器和判别器的基础网络来捕获时序数据的时间相关性;为保证训练过程的稳定性,使用Wasserstein距离取代原有的衡量方法,在判别器损失中加入梯度惩罚项;将重构损失与判别损失相结合定义异常函数,采用局部自适应阈值方法判别异常,提高异常检测的准确性。为验证模型性能,在涉及多个领域的5类数据集上进行实验,其结果表明,该模型相比于Arima、LSTM等模型具有最高的平均F1分数。     

基于Transformer重建的时序数据异常检测与关系提取

现有时序异常检测方法存在计算效率低和可解释性差的问题.考虑到Transformer模型在自然语言处理任务中表现出并行效率高且能够跨距离提取关系的优势,提出基于Transformer的掩膜时序建模方法.建立时序数据的并行无方向模型,并使用掩膜机制重建当前时间步,从而实现整段序列的重建.在存储系统数据集和NASA航天器数据...     

面向时序数据异常检测的可视分析综述

时序数据中的异常检测指的是在时序上去检测分析数据中异常的特征、趋势或模式.自动化的异常检测方法常会忽略细微的、模糊的、不确定的异常.可视分析通过对数据的可视表达和可视界面,集成用户和数据挖掘的能力.首先总结异常检测的挑战;然后从异常类型(属性、拓扑和混合)和异常检测方法(直接投影法、聚类方法和机器学习方法)2个角度对面向时序数据异常检测的可视分析工作进行分类和总结;最后阐述了未来的研究方向.     

一种基于图像边缘检测的全变分的去噪方法

提出了一种基于边缘检测的全变分图像去噪方法.在利用全变分去噪之前,先用Canny算子检测图像的边缘,对检测出的边缘区域和非边缘区域做标记;然后在边缘和非边缘区域设置不同的均衡系数,利用全变分模型对图像进行去噪.实验结果表明该算法能抑制以往全变分模型方法产生的阶梯效应,具有较好的图像恢复效果.     

基于PSO和外部知识的时序数据异常检测

在时间序列数据的异常检测中, 单一模型往往只提取与自身模型结构相关的时序特征, 从而容易忽略其他特征. 同时, 面对大规模的时序数据, 模型难以对时序数据的局部趋势进行建模. 为了解决这两个问题, 本文提出一种基于粒子群优化算法(particle swarm optimization, PSO)和外部知识的异常检测模型PEAD. PEAD模型以深度学习模型作为基模型, 引入快速傅里叶变换生成的外部知识来提高基模型对局部趋势的建模能力, 随后PEAD模型以Stacking集成学习的方式训练基模型, 再使用PSO算法对基模型的输出加权求和, 对加权求和后的重构数据进行异常检测, PSO算法能够让模型的最终输出共同关注时序数据的全局特征和时间特征, 丰富模型提取的时序特征, 从而提高模型的异常检测能力. 通过对6个公开数据集进行测试, 研究结果表明PEAD模型在大部分数据集上表现良好.     

基于改进自编码模型的工业时序数据异常检测

针对传统异常检测模型在处理工业多维时序数据时特征提取不充分、抗干扰能力弱等问题,提出一种改进的自编码模型,有效结合了门控循环网络的时序信息记忆能力和收缩自编码器的鲁棒特征提取能力,能够同时捕获不同特征变量之间的非线性相关性和单个变量自身的时序相关性。采取半监督学习异常检测方法,使用正常数据训练模型收敛,并根据待检测数据输入模型后计算出的异常得分来判定异常样本。基于真实的工业传感器数据进行实验后的结果表明,该方法有效提高了异常检测的准确度和可靠性。     

面向多元时序数据的个性化联邦异常检测方法

随着实时传感器在诸如机场、发电厂、智能工厂和医疗保健系统等各种领域的广泛运用,对多变量时间序列数据的异常检测变得更加重要。然而,目前面临两个关键的挑战。数据机构的敏感数据通常以孤岛的形式存在,这使得在保护隐私安全的前提下难以融合数据,无法训练出高性能的异常检测模型。不同数据机构的数据存在统计异构性,在个性化数据场景下,使用统一的异常检测模型的性能不佳。提出了一种面向多元时序数据的个性化联邦异常检测框架FedPAD（federated personalized anomaly detection）。FedPAD基于联邦学习架构,在保护隐私的前提下进行数据聚合,通过微调构建相对个性化的模型。在NASA航天器数据集上的实验表明,FedPAD能够实现准确和个性化的异常检测,相比于基准方法F1分数平均提高了6.9%。     

基于多模态生成对抗网络的多元时序数据异常检测

针对传统多元时序数据异常检测模型未考虑时空数据的多模态分布问题,提出了一种多模态生成对抗网络多元时序数据异常检测模型。利用滑动窗口分割时间序列并构造特征矩阵来捕获数据的多模态特征,将其与原始数据分别作为模态信息输入多模态编码器及多模态生成器中,输出具有时空信息的多模态特征矩阵,并将真实数据编码成特征矩阵,将两类特征矩阵作为判别器输入,利用梯度惩罚方法并拟合真实分布与生成分布之间的Wasserstein距离,取代二分类交叉熵损失训练判别器,结合生成器重构误差及判别器评分实现异常检测。基于安全水处理(SWaT)及水量分布(WADI)等数据集的测试结果表明,所提模型相比基准模型在F1-分数性能指标上分别提升了0.11和0.19,能够较好地识别多元时序数据异常,具有较好的鲁棒性以及泛化能力。     

基于社交媒体的用户情绪建模与异常检测

为了对新浪微博用户的异常情绪进行检测和分析,该文提出一种基于多元高斯模型和幂律分布的异常检测方法,根据联合概率密度值判断用户是否出现情绪异常。在实验部分,按照不同用户的异常检测准确率为83.49%,按照不同月份为87.84%。分布测试表明,单个用户的中性、快乐和悲伤情绪服从正态分布,而惊讶和愤怒情绪则不服从;群体发布的微博的情绪服从“幂律分布”,而单个用户则不服从。该文引入多元高斯模型来进行社交媒体的异常情绪的检测,通过联合概率密度值量化了异常情绪检测。当数据充足时,该方法可以检测用户或者某个社交平台每一周甚至每一天的异常情绪,这对个体异常情绪检测、网络舆情挖掘、大规模爆发事件预防以及公共安全监测有一定意义。     

基于距离和DF-RLS的时间序列异常检测

为能同时检测时间序列中的附加异常和革新异常,改进自回归模型,提出距离因子递推最小二乘(DF-RLS)线性预测算法。在此基础上,给出一种基于距离和DF-RLS的联合异常检测方法——DDR-OD。实验结果表明,与当前其他时间序列异常检测方法相比,DDR-OD的检测效果较优。     

基于时序异常检测的动力电池安全预警

电动汽车由于电池内部异常情况无法得到及时预测与预警,易导致事故发生,给驾驶员和乘客的生命和财产安全带来严重威胁。针对上述问题,提出基于Transformer和对比学习的编码器解码器（CT-ED）模型用于多元时间序列异常检测。首先,通过数据增强构造一个实例的不同视图,并利用对比学习捕获数据的局部不变特征;其次,基于Transformer对数据从时间依赖和特征依赖两方面进行编码;最后,通过解码器重构数据,计算重构误差作为异常得分,对实际工况下的机器进行异常检测。在SWaT、SMAP和MSL这3个公开数据集和电动汽车动力电池（EV）数据集上的实验结果表明,所提模型的F1值对比次优模型分别提升6.5%、1.8%、0.9%和7.1%。以上结果表明CT-ED适用于不同实际工况下的异常检测,平衡了异常检测的精确率和召回率。     

基于时序分析的工控异常检测算法研究

随着信息化及工业化的不断融合发展、开放通信协议的引入、智能终端设备的发展,工控系统网络环境由最初的封闭隔离环境变得与外部的连通性不断增强,导致工控系统的安全风险变得更加复杂多变。异常检测技术作为信息安全防护中重要的组成部分,可有效地发现在工控网络中不符合预期行为模式的异常事件。考虑到时间作为工业流量中的本质特性,文章开展了基于时序分析的异常检测算法研究,提出了一种基于Top-k的矩阵分布评估算法,实验结果证实此评估算法可有效地检测工控网络环境下的异常事件。     

基于时延特征的网络设备异常检测

随着互联网的飞速发展,网络设备的安全问题受到了广泛关注。针对现有的网络设备异常检测技术存在破坏性强、检测难度大的问题,文中以网络设备传输处理数据包所花费的时延作为检测依据,提出了一种基于时延特征的异常检测方案。所提方案采用了侧信道分析的方法,无须对网络设备进行升级改造,具有非侵入、易实施、广域性等特点。首先,使用高精度授时技术时戳机采集家庭路由器传输数据包时的时延变化信息,采用遗传算法提取时延分布的峰值位置特征;然后,针对数据集不平衡的问题,使用一类支持向量机算法构建异常检测算法;最后,通过搭建实验平台验证了检测方案的有效性,并对实验结果进行了评估。实验结果表明,所提方法具备可行性和有效性。     

基于时空大数据的异常车辆检测

针对传统人工检查黑车的方式不但耗时耗力而且效率低下的问题,提出一种新的自动检测黑车的方法。在Hadoop平台上,对物联网技术采集的全疆车辆加气数据进行分析;抽取车辆加气的时间特征和空间特征;利用随机森林算法研究车辆与驾驶员、加气站间的关系,从而发现具有异常加气模式的黑车车辆。在大规模真实数据集上的实验表明:提出的方法在黑车发现问题上有较高的准确率,可以用于帮助有关部门提高黑车检测的效率。     

基于相关性的多维时序数据异常溯源方法

提出一种基于统计学相关性分析的多维时序异常数据检测分析方法,以对检测中表现为异常的数据进行溯源:对反映系统故障的数据和传感器质量问题的数据进行分类,进而识别出真正的系统故障,避免误检.首先根据相关关系构建时序相关图,再进一步归纳为时序相关环模型,通过在时序相关图上搜索并确定时序相关环的过程,提取时序相关环中的特征,得到时间序列相关性集合.进而利用时间序列相关性集合进行时序数据异常来源检测,根据检测结果评估时序传感器数据对应的系统故障的几率.在真实的工业设备传感器序列数据集上进行大量实验,实验结果验证了该方法在高维时序数据的异常检测任务上的有效性.通过对比实验,验证了该方法从稳定性和效率上优于基于统计和基于机器学习模型的基准算法,时间序列的维度越高,该方法较基准算法的提升越明显.该方法通过对多维时序数据相关性知识的挖掘,既节约了计算成本,又实现了对多维异常数据来源的精准识别.