高斯核选择的线性性质检测方法*

核选择直接影响核方法的性能.已有高斯核选择方法的计算复杂度为Ω(n²),阻碍大规模核方法的发展.文中提出高斯核选择的线性性质检测方法,不同于传统核选择方法,询问复杂度为O(ln(1/δ)/ ^{2),计算复杂度独立于样本规模.文中首先给出函数 线性水平的定义,证明可使用 线性水平近似度量一个函数与线性函数类之间的距离,并以此为基础提出高斯核选择的线性性质检测准则.然后应用该准则,在随机傅里叶特征空间中有效评价并选择高斯核.理论分析与实验表明,应用性质检测以实现高斯核选择的方法有效可行.}     

基于最大相关熵准则的鲁棒度量学习算法

度量亦称距离函数,是度量空间中满足特定条件的特殊函数,一般用来反映数据间存在的一些重要距离关系.而距离对于各种分类聚类问题影响很大,因此度量学习对于这类机器学习问题有重要影响.受到现实存在的各种噪声影响,已有的各种度量学习算法在处理各种分类问题时,往往出现分类准确率较低以及分类准确率波动大的问题.针对该问题,本文提出一种基于最大相关熵准则的鲁棒度量学习算法.最大相关熵准则的核心在于高斯核函数,本文将其引入到度量学习中,通过构建以高斯核函数为核心的损失函数,利用梯度下降法进行优化,反复测试调整参数,最后得到输出的度量矩阵.通过这样的方法学习到的度量矩阵将有更好的鲁棒性,在处理受噪声影响的各种分类问题时,将有效地提高分类准确率.本文将在一些常用机器学习数据集（UCI）还有人脸数据集上进行验证实验.     

基于核正交流形角不相似度的非线性动态过程监测方法

针对过程的非线性和动态特性,提出一种基于核正交流形角不相似度的监测方法.利用两个流形子空间正交向量求取内积矩阵的奇异值,构建基于核正交流形角的不相似度指标,量化评估标准集和测试集的流形子空间的统计量关系.首先,在多流形投影方法的基础上,利用非线性函数将原始过程数据投影到特征空间;其次,引入Gram-Schmidt方法正交化投影向量,形成流形子空间的基向量;再次,对两个流形子空间的内积进行特征值分解,获得核正交流形角,构建不相似度监测模型,该监测指标融合角度和距离度量,能够更好地触发故障警报;最后,通过在TE过程上的仿真实验验证了所提出算法的优越性.     

基于核方法的一种新的模糊支持向量机

由于支持向量机对样本中的噪声及孤立点非常敏感,因而在解决非线性、高维数、不确定问题时,使用模糊支持向量机比使用支持向量机的效果要好。在模糊支持向量机中,模糊隶属度函数的建立是关键也是难点。一般,模糊隶属度是在原始空间中根据样本点的相互距离及到类中心的距离创建的。考虑样本间的密切度,在特征空间中利用混合核函数建立一种新的模糊隶属度。通过试验比较多项式核函数、高斯径向基核函数与混合核函数,可看出新方法表现出了它的优越性。     

增量式约简最小二乘孪生支持向量回归机

为了解决增量式最小二乘孪生支持向量回归机存在构成的核矩阵无法很好地逼近原核矩阵的问题,提出了一种增量式约简最小二乘孪生支持向量回归机(IRLSTSVR)算法。该算法首先利用约简方法,判定核矩阵列向量之间的相关性,筛选出用于构成核矩阵列向量的样本作为支持向量以降低核矩阵中列向量的相关性,使得构成的核矩阵能够更好地逼近原核矩阵,保证解的稀疏性。然后通过分块矩阵求逆引理高效增量更新逆矩阵,进一步缩短了算法的训练时间。最后在基准测试数据集上验证算法的可行性和有效性。实验结果表明,与现有的代表性算法相比,IRLSTSVR算法能够获得稀疏解和更接近离线算法的泛化性能。     

一种新的拓展稀疏人脸识别算法

近几年来,基于稀疏表示分类是一个备受关注的研究热点。如果每类训练样本较充分,该类方法可以取得比较好的识别效果。当训练样本比较少时,它的分类效果可能就不理想。拓展的稀疏分类算法可以较好的解决这一问题,它在表示测试样本时,引入了训练样本的类内变量矩阵,利用它和训练样本集来表示测试样本,从而提高了人脸识别率。然而,该算法并没有考虑训练样本在表示测试样本中所起的作用,即所有训练样本的权重都等于1。本文采用高斯核距离对训练样本加权,提出用加权的训练样本和类内散度矩阵来共同表示测试样本,即基于加权的拓展识别算法。实验证明所提算法能够取得更好的人脸识别效果。     

一种确定高斯核模型参数的新方法

支持向量机中核函数及其参数的选择非常重要，该文提出了一种利用支持向量之间的距离求取高斯核函数参数的有效方法。该方法充分利用了支持向量机方法的最优判别函数仅仅与支持向量有关，并且支持向量为高斯核中心的特点。实验结果表明，该方法较好地反映了图像特征的本质，解决了高斯核函数参数在实际使用中不易确定的问题。     

基于类边界壳向量的快速SVM增量学习算法

为进一步提高SVM增量训练的速度,在有效保留含有重要分类信息的历史样本的基础上,对当前增量训练样本集进行了约简,提出了一种基于类边界壳向量的快速SVM增量学习算法,定义了类边界壳向量。算法中增量训练样本集由壳向量集和新增样本集构成,在每一次增量训练过程中,首先从几何角度出发求出当前训练样本集的壳向量,然后利用中心距离比值法选择出类边界壳向量后进行增量SVM训练。分别使用人工数据集和UCI标准数据库中的数据进行了实验,结果表明了方法的有效性。     

核典型相关分析特征融合方法及应用

构建了一种基于核函数的典型相关分析的特征融合算法。首先,利用核函数将图像矩阵映射到核空间,再抽取同一模式的两组特征向量,在两组特征向量之间建立描述它们的相关性的判据准则函数;然后依此准则函数抽取两组典型投影矢量集;最后通过给定的特征融合策略抽取组合的典型相关特征以用于分类识别。该算法将两组特征向量之间的相关性特征作为有效鉴别信息,既可以很好地融合信息,又可以有效地去除特征之间的信息冗余,并且避免了对映射后的数据矩阵进行分解,从而简化了数据运算。在AR、PIE、ORL、Yale人脸数据库及UCI手写体数字库上的实验结果证明了该方法的有效性和稳定性。     

基于特征距离的组合核矩阵模型选择标准

核矩阵的组合方法是核函数构造和核方法学习的崭新的、重要的方法。目前,组合核矩阵的模型选择标准并不多见,应用较多的是核目标匹配,但该标准并不严格,尚具有较大的冗余性。针对这一问题,本文提出一个有效的基于特征距离的组合核矩阵模型选择标准。本文首先讨论核目标匹配标准及其局限性,然后提出基于特征距离的核矩阵模型型选择标准并分析该标准的计算性能,最后通过实验验证所提出的模型选择标准在核参数选择和组合系数选择两方面的效能。理论分析和实验结果表明,所提出的基于特征距
离的组合核矩阵模型选择标准是合理且有效的。     

Extraction of Speaker Features from Different Stages of DSR Front-Ends for Distributed Speaker Verification

The ETSI has recently published a front-end processing standard for distributed speech recognition systems. The key idea of the standard is to extract the spectral features of speech signals at the front-end terminals so that acoustic distortion caused by communication channels can be avoided. This paper investigates the effect of extracting spectral features from different stages of the front-end processing on the performance of distributed speaker verification systems. A technique that combines handset selectors with stochastic feature transformation is also employed in a back-end speaker verification system to reduce the acoustic mismatch between different handsets. Because the feature vectors obtained from the back-end server are vector quantized, the paper proposes two approaches to adding Gaussian noise to the quantized feature vectors for training the Gaussian mixture speaker models. In one approach, the variances of the Gaussian noise are made dependent on the codeword distance. In another approach, the variances are a function of the distance between some unquantized training vectors and their closest code vector. The HTIMIT corpus was used in the experiments and results based on 150 speakers show that stochastic feature transformation can be added to the back-end server for compensating transducer distortion. It is also found that better verification performance can be achieved when the LMS-based blind equalization in the standard is replaced by stochastic feature transformation.     

一种混合混沌神经网络训练集的选择方法

阐述了一种利用欧氏距离和角距离选择混沌神经网络训练集的方法,该方法在欧氏距离的基础上,进一步利用角度最小原则,选择与参考中心角度最接近的部分,并通过模变换使其符合训练集的选择标准,实验证明其效果更佳.     

高斯卷积角:用于叶片图像检索的形状描述不变量

植物叶片图像的识别是计算机视觉和图像处理技术在生物学和现代农业中的一个重要应用.其挑战性在于植物叶片种类数量巨大,且许多叶片图像具有很大的类间相似性,使得描述叶片图像的类间差异变得非常困难.本文提出了一种称为高斯卷积角的叶片形状描述新方法.该方法用高斯函数与叶片轮廓点的左右邻域向量的卷积产生高斯卷积角,再通过改变高斯函数的尺度参数,生成多尺度的高斯卷积角,组成特征向量.组合各轮廓点的特征向量,构成一个特征向量集合,作为叶片形状的描述子.两幅叶片图像的相似性可以简单的通过计算它们的高斯卷积角特征向量集合间的Hausdorff距离来进行度量.高斯卷积角描述子具有平移、旋转、缩放和镜像变换的内在不变性.该不变性从理论上得到了证明.该描述子还具有由粗到细的描述叶片形状的优良特性,使得其具有很强的叶片辨识能力.通过用中外两个公开的叶片图像数据集进行算法性能测试,实验结果表明该方法优于现有的其他同类方法,验证了该方法的有效性.     

利用稀疏自编码的局部谱聚类映射算法

传统谱聚类算法直接对原始数据建立高斯核邻接矩阵后再对数据进行聚类,并未考虑数据的深层次特征以及数据的邻域流形结构,并且仅进行单一聚类,针对以上三点不足,提出了利用稀疏自编码的局部谱聚类映射算法(LSCMS),通过对数据进行预处理,利用稀疏自编码提取能反映原始数据本质的深层次特征,并以此替代原始数据;对每个数据利用其邻域进行线性重构,以重构权值代替高斯核函数建立邻接矩阵.LSCMS在聚类同时将数据映射到聚类指标上进而协调聚类指标.在UCI数据集、手写数据集、人脸数据集上的实验结果表明:算法优于现有的聚类算法.     

基于高斯核的SVM的参数选择

基于高斯核的支持向量机应用很广泛,高斯核参数σ的选择对分类器性能影响很大,本文提出了从核函数性质和几何距离角度来选择参数σ,并且利用高斯函数的麦克劳林展开解决了参数σ的优化选择问题。实验结果表明,该方法能较快地确定核函数参数σ,且 SVM 分类效果较好,解决了高斯核参数σ在实际应用中不易确定的问题。     

权重马氏距离高斯核在谱分割中的应用

为了使经典谱分割的Nystrm采样快速算法得到更清晰的结果,将权重马氏距离高斯核应用于其中,相对于常用的马氏距离高斯核,得到了更好的分割效果。结果表明,使用权重马氏距离高斯核更能准确的反映两个向量的相似度,从而实现准确的分割。     

基于多核融合的中文领域实体关系抽取

针对传统径向基核函数的训练矩阵中所有元素都十分接近零而不利于分类的问题,该文提出了一种融合了改进的径向基核函数及其他核函数的多核融合中文领域实体关系抽取方法。利用径向基核函数的数学特性,提出一种改进的训练矩阵,使训练矩阵中的向量离散化,并以此改进的径向基核函数融合多项式核函数及卷积树核函数,通过枚举的方式寻找最优的复合核函数参数,并以上述多核融合方法与支持向量机结合进行中文领域实体关系抽取。在旅游领域的语料上测试,相对于单一核方法及传统多核融合方法,关系抽取性能得到提高。     

Support vector learning for fuzzy rule-based classification systems

To design a fuzzy rule-based classification system (fuzzy classifier) with good generalization ability in a high dimensional feature space has been an active research topic for a long time. As a powerful machine learning approach for pattern recognition problems, the support vector machine (SVM) is known to have good generalization ability. More importantly, an SVM can work very well on a high- (or even infinite) dimensional feature space. This paper investigates the connection between fuzzy classifiers and kernel machines, establishes a link between fuzzy rules and kernels, and proposes a learning algorithm for fuzzy classifiers. We first show that a fuzzy classifier implicitly defines a translation invariant kernel under the assumption that all membership functions associated with the same input variable are generated from location transformation of a reference function. Fuzzy inference on the IF-part of a fuzzy rule can be viewed as evaluating the kernel function. The kernel function is then proven to be a Mercer kernel if the reference functions meet a certain spectral requirement. The corresponding fuzzy classifier is named positive definite fuzzy classifier (PDFC). A PDFC can be built from the given training samples based on a support vector learning approach with the IF-part fuzzy rules given by the support vectors. Since the learning process minimizes an upper bound on the expected risk (expected prediction error) instead of the empirical risk (training error), the resulting PDFC usually has good generalization. Moreover, because of the sparsity properties of the SVMs, the number of fuzzy rules is irrelevant to the dimension of input space. In this sense, we avoid the "curse of dimensionality." Finally, PDFCs with different reference functions are constructed using the support vector learning approach. The performance of the PDFCs is illustrated by extensive experimental results. Comparisons with other methods are also provided.     

Discriminative common vectors for face recognition

In face recognition tasks, the dimension of the sample space is typically larger than the number of the samples in the training set. As a consequence, the within-class scatter matrix is singular and the linear discriminant analysis (LDA) method cannot be applied directly. This problem is known as the "small sample size" problem. In this paper, we propose a new face recognition method called the discriminative common vector method based on a variation of Fisher's linear discriminant analysis for the small sample size case. Two different algorithms are given to extract the discriminative common vectors representing each person in the training set of the face database. One algorithm uses the within-class scatter matrix of the samples in the training set while the other uses the subspace methods and the Gram-Schmidt orthogonalization procedure to obtain the discriminative common vectors. Then, the discriminative common vectors are used for classification of new faces. The proposed method yields an optimal solution for maximizing the modified Fisher's linear discriminant criterion given in the paper. Our test results show that the discriminative common vector method is superior to other methods in terms of recognition accuracy, efficiency, and numerical stability.     

Regularization parameter estimation for feedforward neural networks

Under the framework of the Kullback-Leibler (KL) distance, we show that a particular case of Gaussian probability function for feedforward neural networks (NNs) reduces into the first-order Tikhonov regularizer. The smooth parameter in kernel density estimation plays the role of regularization parameter. Under some approximations, an estimation formula is derived for estimating regularization parameters based on training data sets. The similarity and difference of the obtained results are compared with other work. Experimental results show that the estimation formula works well in sparse and small training sample cases.