核最大方差差分嵌入在生物特征提取中的应用

最大方差差分嵌入算法（VDE）最大化全局方差和局部方差之差,该算法直接通过求解一个特征值问题而获得投影矩阵,无需矩阵求逆运算,因此VDE克服了无监督鉴别投影（UDP）算法的小样本问题,为了进一步增强VDE算法的非线性描述能力,提出了核最大方差差分嵌入算法（KVDE）,该算法首先采用核函数将样本映射到非线性高维空间,然后采用核方法得到一个低维子空间,人脸和掌纹数据库上的实验表明KVDE算法比VDE算法具有更好的性能。     

结合非线性频谱与核主元分析的复杂系统故障诊断方法

传统非线性频谱分析方法对复杂系统进行故障诊断时,求解出的非线性频谱数据量庞大,不便于直接用于故障检测与分类识别.本文提出了一种非线性频谱特征与核主元分析(KPCA)结合的故障诊断方法,首先通过最小二乘算法估计出前3阶Volterra时域核,由多维傅立叶变换求取出广义频率响应函数,然后利用KPCA方法对谱数据进行压缩与提取谱特征,最后利用多分类最小二乘支持向量机进行多故障检测与识别.考虑到频谱数据具有非线性的特点,KPCA中的核函数选用由多项式函数与径向基函数构成的混合核函数,兼顾了局部特性与全局特性.论文基于非线性频谱数据,给出了核主元模型建立与在线故障诊断的具体算法.对非线性模拟电路和数控机床伺服传动系统进行了仿真实验,结果表明本文方法能够大幅度降低频谱数据维数,故障识别率高,是一种实用的故障诊断方法.     

一种基于样本加权的合成多核学习方法

多核学习是目前基于内核学习的机器学习领域中的一个新的研究热点。内核学习方法可以把数据映射到高维空间来增加线性分类器如支持向量机的计算性能,它是目前处理非线性模式识别与分类问题的一种便捷、高效的方法。然而,在某些特殊情况下,基于单一核函数的内核学习方法并不能完全有效地处理如数据异构或者不规则、样本规模大、样本分布不平坦等实际问题,所以通过将多个核函数以加权的形式合成一个核函数,来得到更好的识别精度以及效率,是当前研究的一个发展趋势。因此,提出一种基于样本加权的合成多核学习方法,通过单一核函数对样本的拟合以及适应能力(对样本的学习精度),对每一个核函数按照对应的拟合以及适应能力加权,最终得到基于样本加权的合成多核决策函数。为了验证基于样本加权的合成多核学习方法的有效性和可靠性,在多个数据集上进行了实验分析,实验结果表明,与已有的多核学习方法相比较,本文提出的方法取得了更好的分类结果。     

改进的增量式SVM在网络入侵检测中的应用

针对传统的增量式支持向量机(Incremental Support Vector Machine,ISVM)在处理数据集时易受数据噪声和学习过程中振荡问题影响的缺点,将改进的核函数U-RBF和构造备用集的同心圆方法相结合,提出了基于备用集的增量式支持向量机(Reserved Set-Incremental Support Vector Machine,RS-ISVM)方法.该方法首先将特征属性的均值和均方差值嵌入到核函数RBF中,并通过同心圆方法将后续学习过程中最有可能成为支持向量的样本划入备用集.入侵检测实验证明RS-ISVM能够降低学习过程的振荡现象,提高了学习的速度,有非常好的性能和可靠性.     

一种基于核的监督流形学习算法

针对流形学习算法——局部保持映射存在的参数选择及不能进行非线性特征提取的问题,提出一种基于核的监督流形学习算法.该算法作为局部保持映射算法的改进算法用样本类标识信息指导建立局部最近邻图,并在建立局部最近邻图使用无参数的相似度量.利用核方法来解决局部保持映射算法在处理线性不可分问题上的局限性问题.在两个常用数据库上验证本文算法的可行性和有效性.     

基于支持向量机的网络入侵检测

将统计学习理论引人入侵检测研究中，提出了一种基于支持向量机的入侵检测方法(SVM-Based ID)．针对入侵检测所获得的高维小样本异构数据集，将SVM算法在这种异构数据集上进行推广，构造了基于异构数据集上HVDM距离定义的RBF形核函数，并基于这种核函数将有监督的C-SVM算法和无监督One-Class SVM算法用于网络连接信息数据中的攻击检测和异常发现，通过对DARPA数据的检测试验结果表明提出的方法是可行的、高效的．     

基于非线性电路频域核估计和神经网络的故障诊断

提出一种基于非线性电路频域核分析和神经网络的故障诊断方法．主要研究非线性系统频谱的获取,非线性系统频谱特征的提取及基于非线性系统频谱特征的故障诊断．利用Volterra频域核估计辨识非线性系统，通过系统广义频率响应函数的估算提取电路特征，将其预处理后作为递归神经网络的输入样本，利用神经网络的分类功能对电路的工作模式作出故障决策、最后。给出故障诊断实例验证了该方法的有效性．     

基于扩散K近邻距离的间歇过程故障诊断

针对间歇过程多模态、变量非线性、非高斯分布等特征,提出一种基于扩散K近邻距离的故障诊断方法.该方法首先在样本集完全图中应用马尔科夫随机游走定义带有分量权重的扩散距离,可以有效提取数据样本的关联信息和统计特征,然后应用K近邻规则方法对样本数据进行故障诊断.这种应用扩散距离替换传统K近邻规则欧式距离的统计方法,既可以提升对数据样本关联性信息的有效提取能力,又可以使得K近邻规则处理非线性、多模态检测问题的性能得以保持.通过在半导体蚀刻批次过程中的仿真应用,与传统线性、非线性方法的对比分析,实验结果验证了方法的有效性.     

多核学习方法

多核学习方法是当前核机器学习领域的一个新的热点. 核方法是解决非线性模式分析问题的一种有效方法, 但在一些复杂情形下, 由单个核函数构成的核机器并不能满足诸如数据异构或不规则、样本规模巨大、样本不平坦分布等实际的应用需求, 因此将多个核函数进行组合, 以获得更好的结果是一种必然选择. 本文根据多核的构成, 从合成核、多尺度核、无限核三个角度, 系统综述了多核方法的构造理论, 分析了多核学习典型方法的特点及不足, 总结了各自的应用领域, 并凝炼了其进一步的研究方向.     

Nonlinear process monitoring based on maximum variance unfolding projections

Kernel principal component analysis (KPCA) has recently proven to be a powerful dimensionality reduction tool for monitoring nonlinear processes with numerous mutually correlated measured variables. However, the performance of KPCA-based monitoring method largely depends on its kernel function which can only be empirically selected from finite candidates assuming that some faulty process samples are available in the off-line modeling phase. Moreover, KPCA works at high computational cost in the on-line monitoring phase due to its dense expansions in terms of kernel functions. To overcome these deficiencies, this paper proposes a new process monitoring technique comprising fault detection and identification based on a novel dimensionality reduction method named maximum variance unfolding projections (MVUP). MVUP firstly applies the recently proposed manifold learning method maximum variance unfolding (MVU) on training samples, which can be seen as a special variation of KPCA whose kernel matrix is automatically learned such that the underlying manifold structure of training samples is “unfolded” in the reduced space and hence the boundary of distribution region of training samples is preserved. Then MVUP uses linear regression to find the projection that best approximates the implicit mapping from training samples to their lower dimensional embedding learned by MVU. Simulation results on the benchmark Tennessee Eastman process show that MVUP-based process monitoring method is a good alternative to KPCA-based monitoring method.     

Nonlinear process monitoring and fault isolation using extended maximum variance unfolding

Kernel principal component analysis (KPCA) has become a popular technique for process monitoring, owing to its capability of handling nonlinearity. Nevertheless, KPCA suffers from two major disadvantages. First, the underlying manifold structure of data is not considered in process modeling. Second, the selection of kernel parameters is problematic. To avoid such deficiencies, a manifold learning technique named maximum variance unfolding (MVU) is considered as an alternative. However, such method is merely able to deal with the training data, but has no means to handle new samples. Therefore, MVU cannot be applied to process monitoring directly. In this paper, an extended MVU (EMVU) method is proposed, extending the utilization of MVU to new samples by approximating the nonlinear mapping between the input space and the output space with a Gaussian process model. Consequently, EMVU is suitable to nonlinear process monitoring. A cross-validation algorithm is designed to determine the dimensionality of the EMVU output space. For online monitoring, three different types of monitoring indices are developed, including squared prediction error (SPE), Hotelling-T², and the prediction variance of the outputs. In addition, a fault isolation algorithm based on missing data analysis is designed for EMVU to identify the variables contributing most to the faults. The effectiveness of the proposed methods is verified by the case studies on a numerical simulation and the benchmark Tennessee Eastman (TE) process.     

集成散度的MKL模型在模拟电路诊断中的应用

为提升模拟电路故障诊断精度,结合基于故障特征间一维模糊度的特征选择算法,提出一种新的多核超限学习机诊断模型。该模型通过设置虚拟的基核,将正则化参数融入基核权重求解过程中;同时,通过将特征空间类内散度集成到多核优化目标函数中,在最小化训练误差的同时,使得同一模式的故障样本更加集中,有效提升了故障模式间的辨识力。通过两个模拟电路诊断实例表明：相比于单核学习算法,所提方法可以显著提升诊断精度,并且可以将难以辨识的故障样本更加准确地隔离到相应模糊组中;相比于一般的多核学习算法,所提方法在取得相似诊断精度的同时,时间花费更少。     

基于深度迁移自编码器的变工况下滚动轴承故障诊断方法

在实际工业场景下的轴承故障诊断,存在轴承故障样本不足,训练样本与实际信号样本存在分布差异的问题;文章提出一种新的基于深度迁移自编码器的故障诊断方法FS-DTAE,应用于不同工况下的轴承故障诊断;该方法首先采用小波包变换进行信号处理与特征提取;其次,采用提出的基于朴素贝叶斯与域间差异的特征选取(FSBD)方法对统计特征进行评估,选取更有利于跨域故障诊断和迁移学习的特征;然后,利用源域特征数据训练深度自编码器,将训练得到的模型参数迁移至目标域,再利用目标域正常状态样本对深度迁移自编码器模型进行微调,微调后的模型用于目标域无标签特征数据的故障分类;最后,基于CWRU轴承故障数据开展不同工况下故障诊断实验,结果表明,所提出的FS-DTAE方法能够有效提高不同工况下的故障诊断准确率。     

An Incremental Model Transfer Method for Complex Process Fault Diagnosis

Fault diagnosis is an important measure to ensure the safety of production, and all kinds of fault diagnosis methods are of importance in actual production process. However, the complexity and uncertainty of production process often lead to the changes of data distribution and the emergence of new fault classes, and the number of the new fault classes is unpredictable. The reconstruction of the fault diagnosis model and the identification of new fault classes have become core issues under the circumstances. This paper presents a fault diagnosis method based on model transfer learning and the main contributions of the paper are as follows: 1) An incremental model transfer fault diagnosis method is proposed to reconstruct the new process diagnosis model. 2) Breaking the limit of existing method that the new process can only have one more class of faults than the old process, this method can identify M faults more in the new process with the thought of incremental learning. 3) The method offers a solution to a series of problems caused by the increase of fault classes. Experiments based on Tennessee-Eastman process and ore grinding classification process demonstrate the effectiveness and the feasibility of the method.      

基于极限学习机的船舶柴油机故障诊断

针对传统深度核极限学习机网络仅利用端层特征进行分类导致特征不全面，以及故障诊断分类器中核函数选择不恰当等问题，提出基于多层特征表达和多核极限学习机的船舶柴油机故障诊断方法。利用深度极限学习机网络提取故障数据的多层特征；将提取出的各层特征级联为一个具有多属性特征的故障数据特征向量；使用多核极限学习机分类器准确地实现柴油机的故障诊断。在标准分类数据集和船舶柴油机仿真故障数据集上的实验结果表明，与其他极限学习机算法相比，该方法能够有效提高故障诊断的准确率和稳定性，且具有较好的泛化性能，是柴油机故障诊断一个更为优秀实用的工具。     

一种基于样本加权的多尺度核支持向量机方法

多核学习方法是机器学习领域中的一个新的热点。核方法通过将数据映射到高维空间来增加线性分类器的计算能力,是目前解决非线性模式分析与分类问题的一种有效途径。但是在一些复杂的情况下,单个核函数构成的核学习方法并不能完全满足如数据异构或者不规则、样本规模大、样本分布不平坦等实际应用中的需求问题,因此将多个核函数进行组合以期获得更好的结果,是一种必然的发展趋势。因此提出一种基于样本加权的多尺度核支持向量机方法,通过不同尺度核函数对样本的拟合能力进行加权,从而得到基于样本加权的多尺度核支持向量机决策函数。通过在多个数据集上的实验分析可以得出所提方法对于各个数据集都获得了很高的分类准确率。     

面向旋转机械故障诊断的深度流形迁移学习

深度学习因强大的特征提取能力已逐渐成为旋转机械故障诊断的主要方法。但深层模型缺乏领域适应能力,工况变化时性能衰退严重。迁移学习为解决变工况诊断问题提供新的途径。然而现有深度迁移学习方法大多仅对齐不同领域分布的均值中心,未考虑特征分布的流形结构,其适配性能仍难以应对不同工况复杂的机械故障信号。针对该问题,提出一种深度流形迁移学习方法,以堆叠自编码器为框架,在无监督预训练阶段同时利用源域和目标域样本训练,充分挖掘数据本质特征;针对模型微调,提出流行迁移框架,在适配分布差异同时还保持领域间特征分布结构的一致性。将新方法与现有迁移学习方法在旋转机械故障诊断案例进行充分的比较实验,结果表明,新方法优于现有方法,能显著提高变工况故障诊断精度。通过有效性分析在机理上进一步证明了融合目标域数据的无监督预训练策略和流形迁移微调策略对提高变工况故障诊断的有效性。     

AKSNet: A novel convolutional neural network with adaptive kernel width and sparse regularization for machinery fault diagnosis

Convolutional kernels have significant affections on feature learning of convolutional neural network (CNN). However, it is still a challenging problem to determine appropriate kernel width. Moreover, some features learned by convolutional layers are still redundant and noisy. Thus, adaptive selection of kernel width and feature selection of feature maps are key techniques to improve feature learning performance of CNNs. In this paper, a new deep neural network (DNN) model, adaptive kernel sparse network (AKSNet) is proposed to extract multi-scale fault features from one-dimensional (1-D) vibration signals. Firstly, an adaptive kernel selection method is developed, where multiple branches with different kernels are used to extract multi-scale features from vibration signals. Channel-wise attention is developed to fuse features generated by these kernels to obtain different informative scales. Secondly, a spatial attention is used for dynamic receptive field to focus on salient region of feature maps. Thirdly, a sparse regularization layer is embedded in the deep network to further filter noise and highlight impaction of the feature maps. Finally, two cases are adopted to verify effectiveness of AKSNet-based feature learning for bearing fault diagnosis. Experimental results show that AKSNet can effectively extract features from multi-channel vibration signals and then improves fault diagnosis performance of the classifier significantly. AKSNet shows better recognition performance in comparison with that of shallow neural networks and other typical DNNs.     

基于DCCA-IWO-MKSVM的模拟电路故障诊断方法

为了提高模拟电路故障的诊断效果,提出基于DCCA-IWO-MKSVM的模拟电路故障诊断方法。采用DCCA算法对模拟电路的故障特征进行提取,构造新的融合特征。对支持向量机的核函数进行线性组合构造新的多核函数,并用IWO算法对其参数进行优化,以构建最优故障诊断模型,用于融合特征的学习分类。故障诊断实验结果表明:对于融合特征的故障诊断效率,该算法要优于单核函数的IWO-SVM算法,且整个故障诊断系统的诊断效果具有较高的准确率。