基于核最优变换与聚类中心的雷达目标识别

抽取有效鉴别特征是雷达一维高分辨距离像识别的关键.基于统计学习理论的核化原理,提出一种新的鉴别特征提取方法---核最优变换与聚类中心算法.该算法通过非线性变换,将数据映射到核空间,在核空间执行最优变换与聚类中心算法,能够提取一维距离像的稳健非线性鉴别特征.同时,基于训练样本在核空间所张成的子空间的一组基,给出一种快速计算方法,提高了特征提取速度.基于微波暗室实测数据的实验表明了该方法的有效性.

     

基于核空间中最优变换和聚类中心的鉴别特征提取

应用统计学习理论中的核化原理,可以将许多线性特征提取算法推广至非线性特征提取算法.提出了基于核化原理的最优变换与聚类中心算法,即通过非线性变换,将数据映射到高维核空间,应用最优变换算法,实现原空间数据的非线性特征提取,而求解过程却借助"核函数",回避了复杂非线性变换的具体表达形式.新算法可提取稳健的非线性鉴别特征,从而解决复杂分布数据的模式分类问题.大量数值实验表明新算法比传统的最优变换与聚类中心算法更有效,甚至优于经典的核Fisher判别分析.     

一种改进的Fisher判别方法在人脸识别中的应用

对核Fisher鉴别分析进行了深入分析,发现了一种等价的但更为简单的非线性特征抽取方法.该方法利用一个映射将原始输入空间变换到一个更低维的空间RN中,然后在该空间上利用线性Fisher鉴别分析进行最优特征抽取.讨论了特征提取的一般模型,并提出了一种基于矩阵相似度的特征提取算法.通过ORL人脸数据库的数值实验,表明该算法比传统Fisher算法有更好的性能.     

基于核的非凸数据模糊K-均值聚类研究

将模糊K-均值聚类算法与核函数相结合,采用基于核的模糊K-均值聚类算法来进行聚类。核函数隐含地定义了一个非线性变换,将数据非线性映射到高维特征空间来增加数据的可分性。该算法能够解决模糊K-均值聚类算法对于非凸形状数据不能正确聚类的问题。     

基于知识量加权的直觉模糊均值聚类方法

针对聚类算法中特征数据对聚类中心贡献的差异性及算法对初始聚类中心的敏感性等问题,提出一种基于知识量加权的直觉模糊均值聚类方法。首先将原始数据集直觉模糊化并改进最新的直觉模糊知识测度计算知识量,据此实现数据集特征加权,再利用核空间密度与核距离初始化聚类中心,以提高高维特征数据集的计算精度与聚类效率,最后基于类间样本距离与最小知识量原理建立聚类优化模型,得到最优迭代算法。基于UCI人工数据集的实验结果表明,所提方法较大程度地提高了聚类的准确性与迭代效率,分类正确率及执行效率分别平均提高了10.63%和31.75%,且具有良好的普适性和稳定性。该方法首次将知识测度新理论引入模糊聚类并取得优良效果,为该理论在其他相关领域的潜在应用开创了新例。     

核自组织映射竞争聚类

基于核方法可在高维特征空间中完成数据聚类,但缺乏对原输入空间聚类中心及结果的直观刻画.提出一种核自组织映射竞争聚类算法.该算法是利用核的特征,导出SOM算法的获胜神经元及权重更新规则,而竞争学习机制依然保持在原输入空间中,这样既解决了当输入样本分布结构呈高度非线性时,其分类能力下降的问题,而且解决了Donald[1]算法导致的特征空间中的获胜神经元在原始输入空间中的原像不存在,而无法对聚类结果利用可视化技术进行解释的问题.实验结果表明,提出的核自组织映射竞争聚类算法在某些数据集中可以获得比SOM算法更好的结果.     

类属型数据核子空间聚类算法

现有的类属型数据子空间聚类方法大多基于特征间相互独立假设,未考虑属性间存在的线性或非线性相关性.提出一种类属型数据核子空间聚类方法.首先引入原作用于连续型数据的核函数将类属型数据投影到核空间,定义了核空间中特征加权的类属型数据相似性度量.其次,基于该度量推导了类属型数据核子空间聚类目标函数,并提出一种高效求解该目标函数的优化方法.最后,定义了一种类属型数据核子空间聚类算法.该算法不仅在非线性空间中考虑了属性间的关系,而且在聚类过程中赋予每个属性衡量其与簇类相关程度的特征权重,实现了类属型属性的嵌入式特征选择.还定义了一个聚类有效性指标,以评价类属型数据聚类结果的质量.在合成数据和实际数据集上的实验结果表明,与现有子空间聚类算法相比,核子空间聚类算法可以发掘类属型属性间的非线性关系,并有效提高了聚类结果的质量.     

一种改进的加权模糊核聚类算法

聚类算法对初始值的依赖性较大,通常容易陷入局部最优, 很难得到稳定的聚类结果.为改善该问题,本文提出了一种改进的加权模糊核聚类算法,将迭代自组织的数据分析算法(ISODATA)的思想引入到加权模糊核聚类算法(WFKCA)中,利用聚类中心分裂/合并的中间结果来调整初始中心,降低了WFKCA算法收敛于局部最优的可能.改进算法采用特征空间中的计算度量,将单值标准差阈值扩展为标准差阈值向量,并增加了对聚类中心的调整幅度.实验结果显示,该算法在不同结构和维数的数据集上都取得了更稳定的聚类精度.     

基于模糊核LVQ的Sammon非线性映射算法

提出了一种基于可靠稳定的模糊核学习矢量量化（FKLVQ）聚类的Sammon非线性映射新算法。该方法通过Mercer核，将数据空间映射到高维特征空间，并在此特征空间上进行FKLVQ学习获取数据空间有效且稳定的聚类权矢量，然后在特征空间和输出空间上仅针对各空间的数据样本和它们各自的聚类权矢量进行Sammon非线性核映射。这样既降低了计算的复杂度，又使数据空间和输出空间上数据点与聚类中心间的距离信息保持相似。仿真结果验证了该方法的可靠性和稳定性。     

核零空间线性鉴别分析及其在人脸识别中的应用

零空间线性鉴别分析NLDA充分利用样本总类内离散度矩阵的零空间信息,能有效克服线性鉴别分析LDA的小样本问题.核方法通过非线性映射,将输入空间样本映射到高维特征空间,再在高维特征空间利用线性特征提取算法.因此,核方法属于非线性特征提取算法.文中结合LDA、NLDA和核方法的优点,引入了核零空间线性鉴别分析KNLDA,导出了KNLDA算法.该算法通过引入核函数,得到低维矩阵,有效避免了直接计算复杂的非线性映射函数,解决了高维类内离散度矩阵的维数灾难问题.同时,将KNLDA算法应用于人脸识别.基于ORL人脸数据库以及ORL与Yale混合人脸数据库的实验结果表明了KNLDA算法的有效性.     

Optimal subset-division based discrimination and its kernelization for face and palmprint recognition

Discriminant analysis is effective in extracting discriminative features and reducing dimensionality. In this paper, we propose an optimal subset-division based discrimination (OSDD) approach to enhance the classification performance of discriminant analysis technique. OSDD first divides the sample set into several subsets by using an improved stability criterion and K-means algorithm. We separately calculate the optimal discriminant vectors from each subset. Then we construct the projection transformation by combining the discriminant vectors derived from all subsets. Furthermore, we provide a nonlinear extension of OSDD, that is, the optimal subset-division based kernel discrimination (OSKD) approach. It employs the kernel K-means algorithm to divide the sample set in the kernel space and obtains the nonlinear projection transformation. The proposed approaches are applied to face and palmprint recognition, and are examined using the AR and FERET face databases and the PolyU palmprint database. The experimental results demonstrate that the proposed approaches outperform several related linear and nonlinear discriminant analysis methods.     

一种基于空间变换的核Fisher鉴别分析

引入空间变换的思相想，提出了一种基于空间变换的核Fisher鉴别分析，与KFDA不同的是，该方法只需在一个较低维的空间内执行，从而较大幅度地降低了求解最优鉴别矢量集的计算量，提高了计算速度，在ORL标准人脸库上的试验结果验证了所提方法的有效性。     

具有统计不相关性的最佳鉴别特征空间的维数定理

提出并严格证明了具有统计不相关性的最佳鉴别特征空间的维数定理：对含有L个类别的模式识别问题，具有统计不相关性的最佳鉴别特征空间的维数为（L－1）：说明了具有统计不相关性的最佳鉴别变的与Wilks所提出的经典的模式特征抽取方法的关系。在一定的条件下，具有统计不相害性的最佳鉴别矢量集等价于Wilks所提出的经典鉴别矢量集。经典的模式特征抽取方法可以用来在不损失任何Fisher鉴别信息的意义下，对含有L个类别的模式识别问题。抽取（L－1）个具有统计不相关性的最佳鉴别特征。     

Optimizing the data-dependent kernel under a unified kernel optimization framework

The kernel functions play a central role in kernel methods, accordingly over the years the optimization of kernel functions has been a promising research area. Ideally Fisher discriminant criteria can be used as an objective function to optimize the kernel function to augment the margin between different classes. Unfortunately, Fisher criteria are optimal only in the case that all the classes are generated from underlying multivariate normal distributions of common covariance matrix but different means and each class is expressed by a single cluster. Due to the assumptions, Fisher criteria obviously are not a suitable choice as a kernel optimization rule in some applications such as the multimodally distributed data. In order to solve this problem, recently many improved discriminant criteria (DC) have been also developed. Therefore, to apply these discriminant criteria to kernel optimization, in this paper based on a data-dependent kernel function we propose a unified kernel optimization framework, which can use any discriminant criteria formulated in a pairwise manner as the objective functions. Under the kernel optimization framework, to employ different discriminant criteria, one has to only change the corresponding affinity matrices without having to resort to any complex derivations in feature space. Experimental results based on some benchmark data demonstrate the efficiency of our method.     

局部搜索自适应核模糊聚类方法

核模糊C-均值聚类KFCM是利用核函数将数据映射到高维空间,通过计算数据点与聚类中心的隶属度对数据进行聚类的算法,拥有高效、快捷的特点而被广泛应用于各领域,然而KFCM算法存在对聚类中心的初始值敏感和不能自适应确定聚类数两个局限性。针对这两个问题,提出一种局部搜索自适应核模糊聚类方法,该方法引入核方法提高数据的可分性,并构造基于核函数的评价函数来确定最优的聚类数目和利用部分样本数据进行局部搜索以寻找初始聚类中心。人工数据和UCI数据集上的实验结果验证了该算法的有效性。     

极小化类内散布度的大间距非线性鉴别分析

提出了一种新的非线性鉴别分析算法——极小化类内散布的大间距非线性鉴别分析。该算法的主要思想是将原始样本映射到更高维的空间中,利用核技术对传统的大间距分类算法进行改进,在新的高维空间中利用再生核技术寻找核鉴别矢量,使得在这个新的空间中核类内散度尽可能的小。在ORL人脸数据库上进行实验,分析了识别率及识别时间,结果表明该方法具有一定优势。     

一种改进的核特征抽取方法及其在人脸识别中的应用

首先利用核函数技术将原始样本隐式地映射到高维特征空间;然后在高维空间里利用再生核理论建立基于Fisher鉴别极小准则的2个等价模型;最后在该空间的核类间散布矩阵的非零空间和零空间中应用Fisher极小鉴别准则求取核鉴别矢量.在人脸库上的实验结果验证了该算法的有效性.     

核正交判别局部正切空间对齐算法

针对现有的局部正切空间算法中存在的问题,文中提出一种基于核变换的特征提取方法——核正交判别局部正切空间对齐算法(KOTSDA)。该算法首先利用核方法将人脸图像投影到一个高维非线性空间,提取其非线性信息;然后在目标函数中利用正切空间判别分析算法在保持样本的类内局部几何结构的同时最大化类间差异;最后添加正交约束,得到核正交判别局部正切空间对齐算法。该算法不需要经过PCA降维,有效避免判别信息的丢失,在ORL和Yale人脸库上的实验验证算法有效性。     

基于核的Fisher非线性最佳鉴别分析在人脸识别中的应用

抽取最佳鉴别特征是人脸识别中的重要一步。对小样本的高维人脸图像样本,由于各种抽取非线性鉴别特征的方法均存在各自的问题,为此提出了一种求解核的Fisher非线性最佳鉴别特征的新方法,该方法首先在特征空间用类间散度阵和类内散度阵作为Fisher准则,来得到最佳非线性鉴别特征,然后针对此方法存在的病态问题,进一步在类内散度阵的零空间中求解最佳非线性鉴别矢量。基于ORL人脸数据库的实验表明,该新方法抽取的非线性最佳鉴别特征明显优于Fisher线性鉴别分析(FLDA)的线性特征和广义鉴别分析(GDA)的非线性特征。