基于图自编码器的无监督多变量时间序列异常检测

针对多变量时间序列复杂的时间相关性和高维度使得异常检测性能较差的问题,以对抗训练框架为基础提出基于图自编码的无监督多变量时间序列异常检测模型.首先,将特征转换为嵌入向量来表示;其次,将划分好的时间序列结合嵌入向量转换为图结构数据;然后,用两个图自编码器模拟对抗训练重构数据样本;最后,根据测试数据在模型训练下的重构误差进行异常判定.将提出的方法与5种基线异常检测方法进行比较.实验结果表明,提出的模型在测试数据集获得了最高的F1分数,总体性能分F1分数比最新的异常检测模型USAD提高了28.4%.可见提出的模型有效提高异常检测性能.     

基于Transformer GAN架构的多变量时间序列异常检测

基于过程中实时采集的多变量时序关联数据进行异常检测是预防工业过程事故、保障系统安全的关键环节之一.然而,工业多变量时间序列异常检测仍面临如下两大难题:(1)时序数据变量间复杂的非线性关联特性缺乏有效的表达方法;(2)正常/异常分布极度不均衡的时间序列间复杂的相关性有待深入挖掘.本文提出一种新的基于多变量时间序列的无监督异常检测方法 ——基于Transformer GAN的多变量时间序列异常检测方法 (TGAN-MTSAD). TGAN-MTSAD采用Transformer网络作为生成对抗网络的基本模型,引入了图注意力层以自动学习时序多元变量间的复杂依赖关系,还应用了patch技巧使模型能够有效捕捉时间窗口内的异常细节信息,并提出了基于重构误差与鉴别误差相结合的异常分数计算方法.采用3个真实世界的数据集对所提方法进行了大量的性能验证与对比实验分析.结果表明, TGAN-MTSAD可以有效检测过程中的时序异常,在大多数情况下优于基线方法,并且具有良好的可解释性,可用于复杂工业异常诊断.     

基于应用层协议关键词序列的应用层异常检测方法

提出一种基于应用层协议关键词序列的应用层异常检测方法.它用应用层协议关键词和关键词之间的时间间隔构成观测序列,用隐半马尔可夫模型来刻画正常用户在使用每种应用层协议时的行为.该方法可分为模型训练和异常检测两个阶段:在模型训练阶段,利用前后向算法训练得到正常用户在使用每种应用层协议时其行为的隐半马尔可夫模型;在异常检测阶段,在线统计每个观测序列相对于模型的平均对数或然概率,当发现某个用户在使用某种应用层协议的过程中其行为出现异常时,采取调整该用户数据流的优先级或者带宽的方式来对该用户的异常行为进行控制,从而可以自动纠正用户的异常行为.使用包括DARPA测试数据集在内的一些数据对该方法进行了验证.实验结果表明该方法能很好地描述正常用户在使用应用层协议时的行为,并且在检测用户异常行为时具有很高的检测率和很低的误报率.     

时间序列多尺度异常检测方法

针对时间序列异常模式检测大多采用线性模式分割方式的局限性,研究了在Haar小波变换多尺度特征的基础上,结合时间序列模式分割技术,提出一种时间序列多尺度异常检测方法。该方法首先通过小波变换压缩时间序列,把时间序列分解在不同的尺度上;再利用二次回归模型将分解后的时间序列分割成可变长度的模式序列,计算模式异常值;最后重构原时间序列,检测原时间序列中的异常模式。实验结果表明,该方法可以有效地检测异常,而且可以从不同分解级数的压缩时间序列中检测多尺度异常模式。     

无偏KL散度算法对时空异常区间检测的优化研究

通过对多变量时空时间序列中异常的度量，可以从大量时空事件数据中检测出异常的数据部分。与孤立异常数据点检测采用的技术不同，提出了无偏KL散度算法(UKLD)。首先定义了时空时间序列中的异常区间，嵌入时间延迟后用高斯分布来估计检测区间和剩余区间的分布并通过累计和来加快高斯分布的参数估计过程，最后使用无偏KL散度计算区间之间的差异水平，将这种差异水平作为检测区间的异常得分从而得到时空异常区间。仿真分析结果表明，对比HOT SAX算法和RKDE算法，UKLD算法在精度方面更优，能更好地实现时空数据中的异常区间检测。     

交通流异常数据检测研究及实证

针对道路交通系统实时交通流数据普遍存在的异常现象,提出一种基于最小二乘支持向量机的交通异常数据检测方法。运用相空间重构技术,将时间序列数据转换为矢量数据。运用训练数据构建基于最小二乘支持向量机的回归估计模型,通过计算实际值与预测值之间的残差来判别异常数据。以成都市一环路北二段进行实证研究,并与传统检测方法比较分析,结果证实该检测方法的有效性。     

多变量时间序列模式挖掘的研究

多变量时间序列数据集合在许多领域中存在,由于其观测变量之间的相互关联性,往往需要进行综合分析.使用基于时间序列相似性的多变量时间序列模式挖掘方法,从历史数据中寻找出相似的多变量时间序列.将多变量的数据集分段平均为连续矩阵,并采用基于主成分分析和奇异值分解的方法来对矩阵进行相似性比较,最后通过相邻片断的合并以组成更高层次的时序片断,以提高模式的匹配的范围.并在地震前兆数据进行了实现.     

基于异常序列剔除的多变量时间序列结构化预测

针对传统多变量时间序列预测方法未考虑变量间依赖关系从而影响预测效果的问题,提出了一种基于异常序列剔除的多变量时间序列预测算法.该算法旨在利用多维支持向量回归机（Multi-dimensional support vector regression,M-SVR）内在的结构化输出特性,对选取到具有相似性的多个变量序列进行联合预测.首先,对已知序列进行基于模糊熵的层次聚类,实现对相似序列的初步划分;其次,求出类中所有序列的主曲线,根据序列到主曲线的距离计算各个序列的异常因子,从而进一步剔除聚类结果中的异常序列;最后,将选取到的相似变量序列作为输入,利用M-SVR进行预测.通过理论分析,证明本文算法在理论上存在信息损失上界与可靠度下界,从而说明本文算法的合理性与可行性.采用混沌时间序列数据与多个实际数据集进行对比实验,结果表明,与现有多个代表性方法相比,本文算法可有效挖掘多变量时间序列的内在结构信息,预测精度更高,数值稳定性更好.     

基于再编码的无监督时间序列异常检测模型

针对时间序列的数据不平衡和高度复杂的时间相关性导致的异常检测准确率低的问题，以生成对抗网络（GAN）作为基础提出一种基于再编码的无监督时间序列异常检测模型RTGAN。首先，使用具有周期一致性的多个生成器保证生成样本的多样性，从而学习不同的异常模式；其次，使用堆叠式LSTM-dropout RNN捕获时间相关性；然后，使用二次编码在潜在空间中比较生成样本和真实样本之间的差异，并将此差异作为再编码误差当作异常分数的一部分，从而提高异常检测的准确率；最后，使用新的异常分数对单变量和多变量时间序列数据集进行异常检测。将所提模型与七种基线异常检测模型在单变量和多变量时间序列上进行了比较。实验结果表明，所提模型在所有数据集上均获得了最高的平均F1值（0.815），并且总体性能分别比原始自编码器（AE）模型Dense-AE和最新的基准模型USAD高出36.29%和8.52%。通过不同的信噪比（SNR）检测模型的健壮性，结果表明所提模型一直优于LSTM-VAE、USAD和OmniAnomaly，尤其在SNR为30%情况下，RTGAN的F1值分别比USAD和OmniAnomaly高出13.53%和10....     

基于改进生成对抗网络的时序数据异常检测

针对时序数据复杂的时间相关性,以及现有异常检测模型存在准确性低、训练不稳定等问题,提出一种结合BiLSTM和WGAN-GP的无监督时序数据异常检测模型。使用BiLSTM作为生成器和判别器的基础网络来捕获时序数据的时间相关性;为保证训练过程的稳定性,使用Wasserstein距离取代原有的衡量方法,在判别器损失中加入梯度惩罚项;将重构损失与判别损失相结合定义异常函数,采用局部自适应阈值方法判别异常,提高异常检测的准确性。为验证模型性能,在涉及多个领域的5类数据集上进行实验,其结果表明,该模型相比于Arima、LSTM等模型具有最高的平均F1分数。     

基于改进核主元和支持向量数据描述故障检测

提出基于改进核主元和支持向量数据描述(SVDD)故障检测方法,适合于复杂工业过程具有非线性和非高斯性的情况.首先,通过对核主元(KPCA)特征空间样本进行重构误差,在样本集上自动识别异常值,减少对KPCA算法的影响并增强非线性核映射.然后,利用支持向量数据描述算法处理数据非高斯信号,据此构建统计量对工业过程进行检测.最后,将所提出的改进核主元和支持向量数据描述方法应用于田纳西-伊斯曼(TE,Tennessee Eastman)过程的仿真实验,结果说明提出方法的有效性.     

KPCA-LSSVM建模方法及在钢材淬透性中的应用研究

通过等式约束条件修改普通的支持向量机可以得到最小二乘支持向量机,不需要再次求解复杂的二次规划问题,提出了利用核主元分析进行特征提取,在高维特征空间中计算主元,降低样本的维数,然后用最小二乘支持向量机进行建模．仿真结果表明了该方法的有效性和优越性．     

基于距离和径向基核函数的加权KPCA分析

针对利用核主成分分析方法处理非线性问题存在对干扰点的敏感性和特征空间中的主成分缺乏明确的物理意义等缺点,提出了一种改进的模糊KPCA(Improved Fuzzy Kernel Principal Component Analysis,IFKPCA)算法,对每个样本点进行加权处理,并利用基于距离的特征核函数和径向基核函数,把特征空间中的重构误差和输入空间的误差对应起来。用算法对2个无干扰和有干扰的数据集进行了仿真实验。同时,对药物代谢的数据进行主成分提取。结果表明,IFKPCA弱化了干扰点对样本分布的影响,表现出较好的鲁棒性;基于距离的特征核函数对样本分布具有较大的依赖性,而径向基核函数对样本分布具有良好的鲁棒性,对药物代谢的应用结果也进一步表明了IFKPCA的有效性和可行性。     

基于特征向量提取的核主元分析法

核主成分分析(KPCA)是非线性化工过程故障检测与诊断时常用的多变量统计控制方法之一.从两个方面改进了KPCA的故障检测性能.为了提高KPCA方法故障检测的准确率,提出了基于小波的KPCA故障检测方法.当样本数大时,采用基于几何考虑的特征向量提取(FVS)算法,降低了KPCA计算的复杂性,缩短了计算时间.Tennessee Eastman process仿真给出了所提出的方法的有效性.     

一种快速核特征提取方法及其应用

针对核主成分分析方法（KPCA）存在大样本集的核矩阵K计算困难问题,提出一种基于分块特征向量选择的快速核主成分分析方法。采用分块特征向量选择方法提取样本子集,用样本子集建立KPCA模型。将该方法应用于某化工过程的特征信息提取,并与全体样本的KPCA相比较。实验结果表明,两者特征提取的有效性相当,但新方法在建模和特征提取过程所耗费的时间较少。     

Kernel ICA: An alternative formulation and its application to face recognition

This paper formulates independent component analysis (ICA) in the kernel-inducing feature space and develops a two-phase kernel ICA algorithm: whitened kernel principal component analysis (KPCA) plus ICA. KPCA spheres data and makes the data structure become as linearly separable as possible by virtue of an implicit nonlinear mapping determined by kernel. ICA seeks the projection directions in the KPCA whitened space, making the distribution of the projected data as non-gaussian as possible. The experiment using a subset of FERET database indicates that the proposed kernel ICA method significantly outperform ICA, PCA and KPCA in terms of the total recognition rate.     

基于特征样本的KPCA在故障诊断中的应用

核函数主元分析（KPCA）可用于非线性过程监控.建立KPCA模型首先要计算核矩阵K,K的维数等于训练样本的数量,对于大样本集,计算K很困难.对此提出一种基于特征样本的KPCA（SKPCA）,其基本思想是,首先利用非线性映射函数将输入空间映射到特征子空间,然后在特征子空间中计算主元.将SKPCA应用于监控Tennessee Eastman过程,并与基于全体样本的KPCA作比较,仿真结果显示,二者诊断结果基本相同,然而特征样本只是训练样本中的一小部分,因此减少了K的维数,解决了K的计算问题.     

Identity management based on PCA and SVM

A new approach for face recognition, based on kernel principal component analysis (KPCA) and support vector machines (SVMs), is presented to improve the recognition performance of the method based on principal component analysis (PCA). This method can simultaneously be applied to solve both the over-fitting problem and the small sample problem. The KPCA method is performed on every facial image of the training set to get the core facial features of the training samples. To ensure that the loss of the image information will be as less as possible, the facial data of high-dimensional feature space is projected into low-dimensional space, and then the SVM face recognition model is established to identify the low-dimensional space facial data. Our experimental results demonstrate that the approach proposed in this paper is efficient, and the recognition accuracy of the proposed method reaches 95.4 %.     

非线性特征提取和LSSVM在化工过程故障诊断中应用

提出利用非线性特征提取（核主成分分析（KPCA）和核独立成分分析）消除数据的不相关性,降低维数。核主成分分析利用核函数把输入数据映射到特征空间,进行线性主成分分析计算提取特征;核独立成分分析在KPCA白化空间进行线性独立成分分析（ICA）变换提取独立成分。提取的特征作为最小二乘支持向量机分类器的输入,构建融合非线性特征提取和最小二乘支持向量机的智能故障分类方法。研究了该方法应用到某石化企业润滑油生产过程的故障诊断中的有效性和可行性。     

Large-scale maximum margin discriminant analysis using core vector machines.

Large-margin methods, such as support vector machines (SVMs), have been very successful in classification problems. Recently, maximum margin discriminant analysis (MMDA) was proposed that extends the large-margin idea to feature extraction. It often outperforms traditional methods such as kernel principal component analysis (KPCA) and kernel Fisher discriminant analysis (KFD). However, as in the SVM, its time complexity is cubic in the number of training points m, and is thus computationally inefficient on massive data sets. In this paper, we propose an (1+epsilon)(2)-approximation algorithm for obtaining the MMDA features by extending the core vector machine. The resultant time complexity is only linear in m, while its space complexity is independent of m. Extensive comparisons with the original MMDA, KPCA, and KFD on a number of large data sets show that the proposed feature extractor can improve classification accuracy, and is also faster than these kernel-based methods by over an order of magnitude.