基于零空间核判别分析的人脸识别

提取有效特征对高维数据的模式分类起着关键作用.零空间线性判别分析(null-space linear discriminant analysis,NLDA)在数据降维和特征提取上表现出较好的性能,但是该方法本质上仍是一种线性方法.为有效提取数据的非线性特征,提出了零空间核判别分析算法(null-space kernel discriminant analysis,NKDA)并将其应用于人脸识别.利用核函数将原始样本隐式地映射到高维特征空间后,采用一次瘦QR分解求核类内散布矩阵的零空间鉴别矢量集,最后再进行一次Cholesky分解求得具正交性的核空间鉴别矢量集.与NLDA相比,NKDA具有更好的识别性能且在大样本情况下也能应用.另外,基于NKDA,提出了增量NKDA算法,当增加新的训练样本时能正确地更新NKDA鉴别矢量集.在ORL库、Yale库和PIE子库上的实验结果表明了算法的有效性和效率,在有效降维的同时能进一步提高鉴别能力.     

有效的协方差判别学习算法

在基于视频的图像集分类中,类内样本多样性问题是影响算法分类性能的一个主要原因.为了尝试解决该问题,提出了一种图像集分类算法,其目标体现在2个方面:(1)使得算法在时间效率上相较于协方差判别学习(CDL)等具有代表性的图像集分类算法有进一步的提升;(2)使得算法在分类精度上也仍然具有可比性.首先利用双向二维主成分分析对原始的协方差特征进行降维,使其变得更加紧凑.同时,为了抽取到更具判别性的特征信息,对每一个低维紧凑的协方差矩阵应用QR分解,使其变换成一个正交基矩阵和一个非奇异的上三角矩阵.考虑数据分布空间的黎曼流形特性,通过定义函数的方式使得上三角矩阵仍然分布在由对称正定(SPD)矩阵张成的SPD流形之上.此时,原始的样本空间就转化成了一个由正交基矩阵张成的Grassmann流形和一个特征分布更加紧凑的新的SPD流形.为了更好地整合这2种黎曼流形特征,首先利用Stein散度以及对数欧氏距离导出一个黎曼流形测地线距离度量;然后,利用该度量设计一个正定的核函数将上述特征映射到一个高维Hilbert核空间;最后,利用核判别分析算法进行判别子空间特征学习.文中算法在5个基准视频集YTC, Honda, ETH-80, MDSD以及AFEW上均取得了较好的分类结果,同时在计算效率上也优于CDL等对比算法,从而表明了其可行性和有效性.     

一种KPCA的快速算法

针对大训练集时核主分量分析（KPCA）的计算代价大、特征提取速度慢等问题，提出一种KPCA的快速算法．该算法通过训练样本在特征空间所张成的子空间的一组标准正交基，将训练集上的KPCA过程。转化为以所有核训练样本在这组基下的坐标为数据集的PCA过程．其求解过程只需特征值分解一个阶数等于基的个数的矩阵。而且对某样本进行特征提取时．只需计算该样本与构成这组基的样本间的核函数．实验结果验证了该算法的有效性．     

单核和多核相关向量机的比较研究

针对相关向量机中的核函数选择问题进行研究,对高斯核函数进行改进,提出修正的高斯核函数方法,并比较改进的高斯核函数与普通高斯核函数的特性,证明提出的核函数的优良特性。在对单一核函数改进的基础上,进行多核相关向量机核函数的研究,结合局部性高斯核函数和全局性多项式核函数形成混合核函数,并运用于相关向量机。在不同大小的数据集上对几种核函数进行对比实验,验证修正的高斯核函数及混合核函数的性能。     

核不相关鉴别分析以及它在字符识别中的应用

核不相关鉴别分析是在线性不相关鉴别分析的基础上发展起来的．然而，由于核函数的运用，计算核不相关矢量集变得更加复杂．为了解决这个问题，提出一种解决核不相关鉴别分析的有效算法．该算法巧妙地利用了矩阵的分解，然后在一个矩阵对上进行广义奇异值分解．与此同时，提出了几个相关的定理．最重要的是，提出的算法能克服核不相关鉴别分析中矩阵的奇异问题．在某种意义上，提出的算法拓宽了已有的算法，即从线性问题到非线性问题．最后，用手写数字字符识别实验来验证提出的算法是可行和有效的．     

一种新的混合核函数支持向量机

针对单核函数支持向量机性能的局限性问题,提出将sigmoid核函数与高斯核函数组成一种新的混合核函数支持向量机.高斯核是典型的局部核;sigmoid核在神经网络中被证明具有良好的全局分类性能.新混合核函数结合二者的优点,其支持向量机的分类性能优于由单核函数构成的支持向量机,实验结果表明该方法的有效性.     

基于混合核支持向量机的金融时间序列分析

核函数是支持向量机（SVM）的重要部分,它直接影响到SVM的各项性能。当前SVM在金融时间序列分析中,基本上采用高斯径向核函数（RBF）,其次才是多项式核函数。然而,每种核函数都有它的优势和不足,整合两个或多个核函数对于学习能力和泛化能力的提高是一个有效的途径。采用高斯径向核函数与多项式核函数的混合核函数运用于金融时间序列预测中,且与其单个核函数的支持向量机的实验结果进行了比较。结果表明,混合核函数具有更好的性能。     

基于Xgboost优化的KELM滑坡预报模型研究

针对极限学习机对滑坡预测准确性低及在训练过程中模型不稳定的问题,引入RBF高斯核函数并使用极限梯度提升树算法Xgboost对KELM进行优化,建立了Xgboost优化后的Xgboost-KELM预测模型;首先采用高斯核RBF作为极限学习机的核函数,解决隐藏节点随机映射问题,增加模型稳定性及适用性;其次将清洗后的监测数据作为模型输入,并使用Xgboost寻优算法对核函数中的超参数进行优化,通过4组测试集进行Xgboost-KELM建模,依据均方误差迭代曲线得出最佳超参数;最后使用两组10%样本集验证模型评价指标及稳定性,实验结果AUC均值对比模型至少提高3个百分点,Precision、Accuracy及Recall至少高于对比模型1.7个百分点,同时Xgboost-KELM模型的方差及偏差都较小,证明该模型稳定性较好,实验结果说明Xgboost-KELM模型具有较好的预测效果,在滑坡灾害预测中有较好的预测能力。     

基于多核学习的投影非负矩阵分解算法

非负矩阵分解(NMF)把给定的数据矩阵分解成低维的非负基矩阵和对应的系数矩阵,两者之间存在必然联系。为此,研究者将基矩阵转换为系数矩阵的投影,进一步提高分解效率。但是该方法无法处理非线性数据,核函数的引入部分解决了此问题,却同时导致核函数参数选择的问题。基于多核学习理论,提出了一种多核学习的投影非负矩阵分解(MKPNMF)算法,该算法有效地避免了核函数参数选择的问题,同时提高了学习性能。在实际人脸数据上的实验结果表明,MKPNMF较已有的NMF类方法具备明显的性能优势。     

核函数的选择与改进在人脸识别中的应用

核函数方法广泛应用于人工神经网络和支持向量机等机器学习领域,该方法的采用有效地避免了特征空间中的维数灾难的问题,改善了学习机的分类性能。但是核函数的选择及新的核函数构造一直机器学习领域的核心问题,直接关系到学习机性能的好坏。然而,这个方向的研究成果不多。以支持向量机为例,通过对核矩阵一些特性的计算和研究,从理论上对常用的核函数性能进行了预测。在此基础上,通过实验仿真证实了通过优选后的核函数所组成的混合核函数对分类性能的改善。在加权系数选择合适的情况下,学习机的识别率甚至可以达到100%。所以,不但构造出了性能优异的学习机,而且为核函数的选择提供了参考。