基于模糊核LVQ的Sammon非线性映射算法

提出了一种基于可靠稳定的模糊核学习矢量量化（FKLVQ）聚类的Sammon非线性映射新算法。该方法通过Mercer核，将数据空间映射到高维特征空间，并在此特征空间上进行FKLVQ学习获取数据空间有效且稳定的聚类权矢量，然后在特征空间和输出空间上仅针对各空间的数据样本和它们各自的聚类权矢量进行Sammon非线性核映射。这样既降低了计算的复杂度，又使数据空间和输出空间上数据点与聚类中心间的距离信息保持相似。仿真结果验证了该方法的可靠性和稳定性。     

基于改进核典型相关分析的人脸识别方法

标准KCCA方法需要存储和计算核矩阵,而核矩阵的大小是训练样本数的平方,随着样本数的增加,计算量逐渐增大、特征提取缓慢.为了提高特征提取的效率,提出了一种基于特征向量集的KCCA特征提取方法.采用特征选择方法,选择一个训练样本子集并将其映射到再生核希尔伯特空间(RKHS).用KCCA进行特征提取,将计算复杂度由O(n3)降到O(Nl2)(L<相似文献   

基于密度估计的逻辑回归模型

介绍了一种基于密度的逻辑回归（Density-based logistic regression,DLR）分类模型以解决逻辑回归中非线性分类的问题. 其主要思想是根据Nadarays-Watson密度估计将训练数据映射到特定的特征空间,然后组建优化模型优化特征权重以及Nadarays-Watson 密度估计算法的宽度. 其主要优点在于：它不仅优于标准的逻辑回归,而且优于基于径向基函数（Radial basis function,RBF）内核的核逻辑回归（Kernel logistic regression,KLR）. 特别是与核逻辑回归分析和支持向量机（Support vector machine,SVM）相比,该方法不仅达到更好的分类精度,而且有更好的时间效率. 该方法的另一个显著优点是,它可以很自然地扩展到数值类型和分类型混合的数据集中. 除此之外,该方法和逻辑回归（Logistic regression,LR）一样,有同样的模型可解释的优点,这恰恰是其他如核逻辑回归分析和支持向量机所不具备的.     

基于近似高斯核显式描述的大规模SVM求解

大规模数据集上非线性支持向量机(support vector machine, SVM)的求解代价过高,然而对于线性SVM却存在高效求解算法.为了应用线性SVM高效求解算法求解非线性SVM,并保证非线性SVM的精确性,提出一种基于近似高斯核显式描述的大规模SVM求解方法.首先,定义近似高斯核并建立其与高斯核的关系,推导近似高斯核与高斯核的偏差上界.然后给出近似高斯核对应的再生核希尔伯特空间(reproducing kernel Hilbert space, RKHS)的显式描述,由此可精确刻画SVM解的结构,增强SVM方法的可解释性.最后显式地构造近似高斯核对应的特征映射,并将其作为线性SVM的输入,从而实现了用线性SVM算法高效求解大规模非线性SVM.实验结果表明,所提出的方法能提高非线性SVM的求解效率,并得到与标准非线性SVM相近的精确性.     

支持向量机最优模型选择的研究

通过对核矩阵的研究,利用核矩阵的对称正定性,采用核校准的方法提出了一种SVM最优模型选择的算法——OMSA算法．利用训练样本不通过SVM标准训练和测试过程而寻求最优的核参数和相应的最优学习模型,弥补了传统SVM在模型选择上经验性强和计算量大的不足．采用该算法在UCI标准数据集和FERET标准人脸库上进行了实验,结果表明,通过该算法找到的核参数以及相应的核矩阵是最优的,得到的SVM分类器的错误率最小．该算法为SVM最优模型选择提供了一种可行的方法,同时对其他基于核的学习方法也具有一定的参考价值．     

基于改进SVM-RFE的特征选择方法研究

SVM-RFE特征选择算法是一种有效的特征选择方法,具有较高的应用价值。针对传统SVM-RFE特征选择算法中SVM参数(γ和C)难以确定的问题,本文采用粒子群算法搜索SVM的参数。然后将特征向量映射到SVM参数γ确定的核空间中并进行特征选择,有效地将特征选择与SVM分类器设计关联起来。仿真结果表明,特征选择后的数据集仍能保证SVM分类器具有较高的分类正确率。     

核的正交完备鉴别局部保持投影

针对完备鉴别局部保持投影算法所求得的最优判别矢量间存在信息冗余问题,提出了核的正交完备鉴别局部保持投影算法。通过将核函数技术与正交性原理融合,采用高斯核函数将原始样本映射到高维特征空间,在高维特征空间的局部总体散度矩阵中计算最优判别矢量,只需在整个范围内对值域空间进行特征值分解,去除局部零空间达到样本降维目的。该算法分别在 UMIST 人脸库和 JAFFE 人脸表情库上进行实验,实验结果表明算法的识别率高达95．59％。     

基于核正交半监督鉴别分析的人脸识别算法

针对人脸识别中的非线性特征提取和有标记样本不足问题,提出了在核空间具有正交性半监督鉴别矢量的计算方法。算法利用核函数将人脸数据映射到高维非线性空间,在该空间采用边界Fisher判别分析（Marginal Fisher Analysis,MFA）算法将少量有类别标签样本进行降维,同时采用无监督鉴别投影（Unsupervised Discriminant Projection,UDP）对大量无标签样本进行学习,以半监督的方法构造算法的目标函数,在特征值求解时以正交方式找出最优投影向量,进行人脸识别。通过实验,在ORL和YALE人脸数据库上验证了该算法的有效性。     

基于再生核Hilbert空间的非线性信道均衡算法

在高速无线通信领域,为消除码间干扰（ISI）必须研究非线性信道均衡技术。基于再生核希尔伯特空间（RKHS）研究非线性信道的自适应均衡算法。首先基于非线性维纳模型提出均衡器的结构,基于RKHS引入核方法,与仿射投影算法（APA）相结合推导出核仿射投影算法（KAPA）,再通过引入松弛因子得到改进的KAPA算法。用蒙特卡罗法对提出的自适应算法进行仿真,从收敛性能、误码率（BER）、跟踪能力、计算复杂度等方面与其他算法做比较。在不增加计算复杂度的情况下,极大降低了误码率,非常适合时变非线性信道均衡的应用。     

一种新的特征提取方法及其在模式识别中的应用

核典型相关分析(KCCA)是一种有监督的机器学习方法,可以有效地提取非线性特征。然而随着训练样本数目的增加,标准的KCCA方法的计算复杂度会随之增加。针对此缺点,提出一种改进的KCCA方法：首先用几何特征选择方法选择一个训练样本子集并将其映射到再生核希尔伯特空间(RKHS),然后设计了一种提升特征提取效率的算法,该算法按照对特征分类贡献的大小巧妙地选取样本的特征值,进而求出其相应的特征向量,最后将改进的KCCA与支持向量数据描述(SVDD)多分类器相结合用于分类识别。在ORL人脸图像数据库上的实验结果表明,改进的方法相对传统的KCCA方法,在不影响识别率的情况下提高了人脸识别速度,减小了系统存储量。