KNPE算法在化工过程故障检测中的应用

化工生产过程具有维数高、非线性强等特点。针对传统的邻域保持嵌入(NPE)算法对非线性数据特征提取不足的缺陷,引入高斯核函数,将数据由非线性的输入空间转换到线性的特征空间。核邻域保持嵌入(KNPE)算法在构建局部空间特征结构的基础上,能够更好地提取数据的非线性结构。通过以田纳西-伊斯曼(TE)仿真过程为例,构造T2和SPE统计量进行故障检测,证明了KNPE方法比NPE和KPCA方法能够更快更准确的检测出非线性故障的发生。     

改进LNS和邻域保持嵌入算法的研究

传统邻域保持嵌入算法(Neighbor Preserving Embedding,NPE)对具有多中心、方差差异明显特性的高维数据的降维处理效果并不好,因此提出一种改进LNS和邻域保持嵌入算法(Modified Local Neighbor Standardization-Neighbor Preserving Embedding,MLNS-NPE),并应用于故障诊断中。利用MLNS算法对数据进行处理,对处理后的数据进行NPE算法建模。在数值例子和青霉素发酵过程中应用该算法与传统NPE算法、核邻域保持嵌入算法(KNPE)、KNN算法比较,结果表明,采用该算法后,数据多中心和模态差异消除,为后续NPE算法的应用提供先决条件,同时相比其他算法故障检测率最高,提高了NPE算法对多模态数据的检测能力。     

核岭回归的邻域保持最大间隔分析的人脸识别

邻域保持嵌入是局部线性嵌入的线性近似,强调保持数据流形的局部结构.改进的最大间隔准则重视数据流形的判别和几何结构,提高了对数据的分类性能.文中提出的核岭回归的邻域保持最大间隔分析既保持流形的局部结构,又使不同类别的数据保持最大间隔,以此构建算法的目标函数.为了解决数据流形高度非线性化的问题,算法采用核岭回归计算特征空间的变换矩阵.先求解数据样本在核子空间中降维映射的结果,再解得核子空间.在标准人脸数据库上的实验表明该算法正确有效,并且识别性能优于普通的流形学习算法.     

高斯核密度估计方法检测健康数据异常值

针对智能穿戴设备普及背景下,利用运动手环采集的活动数据存在未知异常数据的问题,提出一种基于高斯核密度估计的健康数据异常值检测方法。首先采用t-分布邻域嵌入算法对数据集进行特征提取,增强数据局部结构能力;接着利用高斯核局部密度代替局部异常因子算法中的局部可达密度,提出基于高斯核密度估计离群因子(GKDELOF)算法,推导分析了该算法判断阈值的稳定性;最后在UCI标准数据集上进行仿真实验,验证算法的准确性,并在选取的真实运动手环所采集的活动数据集上进行实验分析。实验结果表明,该方法能够解决由活动复杂多样性造成的健康数据稀疏问题,准确检测出异常值。     

基于交叉熵的改进NPE间歇过程故障检测算法

针对具有复杂动态特性的间歇过程进行故障检测,邻域保持嵌入(neighborhood preserving embedding,NPE)算法在保持数据局部几何结构时因忽略全局信息而造成检测率较低的问题,提出一种基于交叉熵(cross entropy,CE)的邻域保持嵌入(CEGLNPE)算法.首先,将交叉熵保持全局结构的思想引入NPE的局部结构保持中,得到兼顾全局-局部的目标函数;然后,利用滑动窗进一步解决间歇过程动态性问题并建立全局-局部的故障检测模型,可以同时兼顾全局和局部数据的结构保持,以提高故障检测效率和精度;最后,通过监测SPE、T²统计量判断是否发生故障.利用人工数据集Swiss-Roll和青霉素发酵仿真过程与KPCA、NPE算法进行对比验证,所得结果表明了所提出算法在故障检测中的有效性.     

核空间直觉模糊局部C-均值聚类分割算法研究

针对现有直觉模糊C-均值聚类仅适合呈团状数据的不足,采用非线性函数将数据样本从欧式空间映射至再生希尔伯特高维特征空间,得到核空间直觉模糊聚类算法;同时考虑相邻像素的相互影响,将邻域像素融入核空间直觉模糊聚类的最优化目标函数中,经数学推导便得到嵌入像素局部信息的核空间直觉模糊聚类分割算法。图像分割测试结果表明,核直觉模糊C-均值聚类分割法相比现有直觉模糊C-均值聚类分割法能获得更满意的分割效果;同时,嵌入局部信息的核直觉模糊C-均值聚类分割法表现出良好的抗噪鲁棒性。     

基于KIsomap特征提取的软测量建模方法

来自化工生产过程的数据大多具有非线性和高维性,对数据进行特征提取是软测量建模过程的必要环节。流形学习作为一种非线性维数约简方法,可以获得高维数据在低维空间的嵌入。针对流形学习中的等距映射法(Isomap)鲁棒性差、拓扑稳定性不好等缺点,通过常数偏移的方法构造核矩阵,形成核等距映射法(KIsomap),提高了Isomap算法的鲁棒性和拓扑稳定性。运用一种将K近邻与ε-半径法相结合的方法构造邻域图,基于核等距映射法(KIsomap)对数据进行特征提取,并建立高斯过程回归软测量模型,提高了模型的泛化能力与学习效率。将该方法应用于某双酚A装置的软测量建模,仿真结果表明相比于其他特征提取的软测量建模方法,该方法具有更高的估计精度和学习效率。     

流形距离与压缩感知核稀疏投影的局部线性嵌入算法

流形学习算法的目的是发现嵌入在高维数据空间中的低维表示,现有的流形学习算法对邻域参数k和噪声比较敏感。针对此问题,文中提出一种流形距离与压缩感知核稀疏投影的局部线性嵌入算法,其核心思想是集成局部线性嵌入算法对高维流形结构数据的降维有效性与压缩感知核稀疏投影的强鉴别性,以实现高效有降噪流形学习。首先,在选择各样本点的近邻域时,采用流形距离代替欧氏距离度量数据间相似度的方法,创建能够正确反映流形内部结构的邻域图,解决以欧氏距离作为相似性度量时对邻域参数的敏感。其次,利用压缩感知核稀疏投影作为从高维观测空间到低维嵌入空间的映射,增强算法的鉴别性。最后,利用Matlab工具对实验数据集进行仿真,进一步验证所提算法的有效性。     

核空间隐马尔可夫随机场图像模糊聚类

针对模糊C均值算法未考虑图像邻域信息,导致其分割效果不好的不足,结合隐马尔可夫随机场和高斯核函数,提出核空间隐马尔可夫随机场模糊C均值聚类算法。引入隐马尔可夫随机场,在目标函数中引入像素的空间邻域信息,使得分割算法对噪声鲁棒性增强;引入核函数,将样本点非线性变换映射到高维特征空间,增强图像分割的抗干扰能力,保持图像的细节信息。对标准灰度图像添加噪声,用以验证算法的性能。视觉效果及分割图像的峰值信噪比均显示,改进算法具有更好的抗噪能力。     

核邻域保持判别嵌入在人脸识别中的应用

为更有效地进行数据降维,将核映射思想引入到邻域保持判别嵌入中,提出一种核邻域保持判别嵌入的流形学习算法。以类内相似度矩阵与类间散度矩阵之差作为鉴别准则,使类间散度矩阵不受满秩的约束,从而解决人脸数据的非线性和小样本问题。在ORL和Yale人脸库上的实验结果表明,该算法具有较好的人脸识别性能。     

Multi-layer radial basis function neural network based on multi-scale kernel learning

The conversion functions in the hidden layer of radial basis function neural networks (RBFNN) are Gaussian functions. The Gaussian functions are local to the kernel centers. In most of the existing research, the spatial local response of the sample is inaccurately calculated because the kernels have the same shape as a hypersphere, and the kernel parameters in the network are determined by experience. The influence of the fine structure in the local space is not considered during feature extraction. In addition, it is difficult to obtain a better feature extraction ability with less computational complexity. Therefore, this paper develops a multi-scale RBF kernel learning algorithm and proposes a new multi-layer RBF neural network model. For the samples of each class, the expectation maximization (EM) algorithm is used to obtain multi-layer nested sub-distribution models with different local response ranges, which are called multi-scale kernels in the network. The prior information of each sub-distribution is used as the connection weight between the multi-scale kernels. Finally, feature extraction is implemented using multi-layer kernel subspace embedding. The multi-scale kernel learning model can efficiently and accurately describe the fine structure of the samples and is fault tolerant to setting the number of kernels to a certain extent. Considering the prior probability of each kernel as the weight makes the feature extraction process satisfy the Bayes rule, which can enhance the interpretability of feature extraction in the network. This paper also theoretically proves that the proposed neural network is a generalized version of the original RBFNN. The experimental results show that the proposed method has better performance compared with some state-of-the-art algorithms.     

进化贝叶斯优化的核极限学习机分类器

为解决传统核极限学习机算法参数优化困难的问题,提高分类准确度,提出一种改进贝叶斯优化的核极限学习机算法.用樽海鞘群设计贝叶斯优化框架中获取函数的下置信界策略,提高算法的局部搜索能力和寻优能力;用这种改进的贝叶斯优化算法对核极限学习机的参数进行寻优,用最优参数构造核极限学习机分类器.在UCI真实数据集上进行仿真实验,实验...     

混合核函数稀疏LS-SVM软测量建模与应用

针对最小二乘支持向量机存在的稀疏性欠缺和单核函数局限性问题,本文提出一种基于混合核函数稀疏最小二乘支持向量机的软测量建模方法.该方法使用多项式核函数和RBF核函数线性加权构成混合核函数,兼顾最小二乘支持向量机的全局拟合能力与局部拟合能力,以矢量基学习作为稀疏解算法,改善最小二乘支持向量机的稀疏性,在精简模型结构的同时,避免冗余信息中的噪声过多的拟合到模型参数中,进而采用粒子群算法优化模型部分参数.将此方法分别应用于Mackey- Glasss混沌模型的时间序列预测和乙烯精馏塔塔釜乙烯浓度预测,应用结果表明该方法较最小二乘支持向量机、稀疏最小二乘支持向量机以及混合核最小二乘支持向量机具有更好的泛化效果和预报精度,兆示出其良好的应用潜力.     

基于局部结构学习的非线性属性选择算法

针对大多数高维数据之间不仅有相似性,而且还有非线性关系等特点,提出一种基于局部结构学习的非线性属性选择算法。该算法首先通过核函数把数据映射到高维空间,在高维空间中表示出数据属性之间的非线性关系;然后在低维空间中通过局部结构学习来充分挖掘属性之间的相似性,同时通过低秩约束来排除噪声的干扰;最后通过稀疏正则化因子来进行属性选择。其通过核函数映射来找出数据属性之间的非线性关系,运用局部结构学习来找出数据属性之间的相似性,是一种嵌入了局部结构学习的非线性属性选择算法。实验结果表明,该算法相比其他的对比算法,有更好的效果。     

基于WKGV-KICA 的盲源信号分离算法

基于核学习的非线性映射能力,提出一种小波核广义方差的核独立成分分析算法WKGV-KICA.小波核函数具有近似正交,适用于信号局部分析的优点.与互信息相联系,将核广义方差作为对比函数对统计独立性进行衡量,可以获得理想的数学特性.将该算法应用于宽范围的盲源分离问题的实例中,并与现有算法进了比较.实验结果表明, WKGV-KICA算法在同等条件下的分离精度更高,而且性能更好.     

基于核极限学习机的标记分布学习

标记分布学习作为一种新的学习范式,利用最大熵模型构造的专用化算法能够很好地解决某些标记多样性问题,但是计算量巨大。基于此,引入运行速度快、稳定性更高的核极限学习机模型,提出基于核极限学习机的标记分布学习算法（KELM-LDL）。首先在极限学习机算法中通过RBF核函数将特征映射到高维空间,然后对原标记空间建立KELM回归模型求得输出权值,最后通过模型计算预测未知样本的标记分布。与现有算法在各领域不同规模数据集的实验表明,实验结果均优于多个对比算法,统计假设检验进一步说明KELM-LDL算法的有效性和稳定性。     

一种半监督局部线性嵌入算法的文本分类方法*

针对局部线性嵌入算法（LLE）应用于非监督机器学习中的缺陷,将该算法与半监督思想相结合,提出了一种基于半监督局部线性嵌入算法的文本分类方法。通过使用文本数据的流形结构和少量的标签样本,将LLE中的距离矩阵采用分段形式进行调整;使用调整后的矩阵进行线性重建从而实现数据降维;针对半监督LLE中使用欧氏距离的缺点,采用高斯核函数将欧氏距离进行变换,并用新的核距离取代欧氏距离,提出了基于核的半监督局部线性嵌入算法;最后通过仿真实验验证了改进算法的有效性。     

Online identification using radial basis function neural network coupled with KPCA

In this paper, we are going to propose an online radial basis function (RBF) neural network algorithm without any preprocessing step. Then a kernel principal component analysis (KPCA) is coupled with the proposed online RBF neural network algorithm. Indeed, the KPCA method is used as a preprocessing step to reduce the feature dimension which fed to the RBF neural network. Reducing memory requirements of the models makes RBF neural network training efficient and fast. These two proposed algorithms are applied, with success, for identification of a mobile robot position. The simulation results present that the used sigmoid function as a kernel, compared to other kernel functions, which gives an excellent model and a minimum mean square error.     

基于全局融合的多核概念分解算法

非负矩阵分解（NMF）算法仅能用于对原始非负数据寻找低秩近似，而概念分解（CF）算法将矩阵分解模型扩展到单个非线性核空间，提升了矩阵分解算法的学习能力和普适性。针对无监督环境下概念分解面临的如何设计或选择合适核函数这一问题，提出基于全局融合的多核概念分解（GMKCF）算法。同时输入多种候选核函数，在概念分解框架下基于全局线性权重融合对它们进行学习，以得出质量高稳定性好的聚类结果，并解决概念分解模型面临核函数选择的问题。采用交替迭代的方法对新模型进行求解，证明了算法的收敛性。将该算法与基于核的K-均值（KKM）、谱聚类（SC）、KCF（Kernel Concept Factorization）、Coreg（Co-regularized multi-view spectral clustering）、RMKKM（Robust Multiple KKM）在多个真实数据库上的实验结果表明，该算法在数据聚类方面优于对比算法。