基于核函数的构造型网络二分覆盖算法

该文首先介绍了构造型神经网络中的覆盖算法的特点和性质,以及与支持向量机(SVM)中的核函数法的关系。然后,根据这些性质将两者有机结合起来,提出了一种处理多类问题分类的基于核函数的二分覆盖分类算法(Kf-BCC)。仿真结果表明,这种方法可以达到很好的效果,也为多类问题的分类提供了一种有效途径。     

机器学习中的核覆盖算法

基于统计学习理论的支持向量机（SVM）方法在样本空间或特征空间构造最优分类超平面解决了分类器的构造问题,但其本质是二分类的,且核函数中的参数难以确定,计算复杂性高．构造性学习算法根据训练样本构造性地设计分类网络,运行效率高,便于处理多分类问题,但存在所得的分界面零乱、测试计算量大的缺点．该文将SVM中的核函数法与构造性学习的覆盖算法相融合,给出一种新的核覆盖算法．新算法克服了以上两种模型的缺点,具有运算速度快、精度高、鲁棒性强的优点．其次．文中给出风险误差上界与覆盖个数的关系．最后给出实验模     

一种新的混合核函数支持向量机

针对单核函数支持向量机性能的局限性问题,提出将sigmoid核函数与高斯核函数组成一种新的混合核函数支持向量机.高斯核是典型的局部核;sigmoid核在神经网络中被证明具有良好的全局分类性能.新混合核函数结合二者的优点,其支持向量机的分类性能优于由单核函数构成的支持向量机,实验结果表明该方法的有效性.     

一种基于核函数的非线性感知器算法

为了提高经典Rosenblatt感知器算法的分类能力，该文提出一种基于核函数的非线性感知器算法，简称核感知器算法，其特点是用简单的迭代过程和核函数来实现非线性分类器的一种设计，核感知器算法能够处理原始属性空间中线性不可分问题和高维特征空间中线性可分问题。同时，文中详细分析了其算法与径向基函数神经网络、势函数方法和支持向量机等非线性算法的关系。人工和实际数据的计算结果表明：与线性感知器算法相比，核感知器算法可以有效地提高分类精度。     

SVM在多源遥感图像分类中的应用研究

在利用遥感图像进行土地利用/覆盖分类过程中,可采用以下两种途径来提高分类精度:一是通过增加有利于分类的数据源,引入地理辅助数据和归一化植被指数(NDVI)来进行多源信息融合;二是选择更好的分类方法,例如支持向量机(SVM)学习方法,由于该方法克服了最大似然法和神经网络的弱点,非常适合高维、复杂的小样本多源数据的分类。为了提高多源遥感图像分类的精度,还研究了支持向量机在遥感图像分类中模型的选择,包括多类模型和核函数的选择。分类结果表明,支持向量机比传统的分类方法具有更高的精度,尤其是基于径向基核函数和一对一多类方法的支持向量机模型更适合多源遥感图像分类,因此,基于支持向量机的多源土地利用/覆盖分类能大大提高分类精度。     

基于测度学习支持向量机的钢琴乐谱难度等级识别

现有钢琴乐谱难度分类主要由人工方式完成,效率不高,而自动识别乐谱难度等级的算法对类别的拟合度较低。因此,与传统将乐谱难度等级识别归结为回归问题不同,本文直接将其建模为基于支持向量机的分类问题。并结合钢琴乐谱分类主观性强、特征之间普遍存在相关性等特点,利用测度学习理论有难度等级标签乐谱的先验知识,依据特征对难度区分的贡献度,改进高斯径向基核函数,从而提出一种测度学习支持向量机分类算法——ML-SVM算法。在9类和4类难度两个乐谱数据集上,我们将ML-SVM算法与逻辑回归,基于线性核函数、多项式核函数、高斯径向基核函数的支持向量机算法以及结合主成分分析的各个支持向量机算法进行了对比,实验结果表明我们提出算法的识别正确率优于现有算法,分别为68.74%和84.67%。所提算法有效提高了基于高斯径向基核函数支持向量机算法在本应用问题中的分类性能。     

基于支持向量机的冠心病辅助诊断研究

支持向量机(SVM)是在统计学习理论基础上发展而来的一种新的通用学习方法,较好地解决了有限样本的学习分类问题。用支持向量机的分类算法,选取不同的核函数,构造了支持向量机的不同分类器,并将其应用于冠心病的预测诊断。仿真结果表明,非线性的支持向量机取得了较高的准确率,支持向量机在早期冠心病的诊断中有很大的应用潜力。     

一种入侵检测的分类方法研究

针对传统的入侵检测算法精度低,结果稳定性差的问题,提出了一种基于构造性核函数覆盖聚类和最大化最小概率机器回归方法的入侵检测算法。首先,利用核函数覆盖将原空间的待分类样本映射到一个高维的特征空间中,使得样本变得线性可分;然后通过控制错分率实现分类的最大化,并利用最大最小概率机的高维映射泛化特性,实现了不同核函数下的数据多维分类问题。实验结果证明,该算法具有分类准确率高、稳定性好的特点。     

基于核覆盖算法的煤价预测

核覆盖算法是在一般覆盖算法的基础上引入了核函数而提出的。新的算法不仅克服了传统的预测方法中存在的局限性,而且融合了SVM中的核函数法与构造性学习的覆盖算法中的优点,具有计算量小、精度高等优点。将核覆盖算法用于煤炭价格的预测中,取得了比其他方法更好的结果,也充分体现了核覆盖算法的有效性。     

一种混合核函数的支持向量机

为了提高支持向量机分类效果、学习能力和外推能力,分析了两种支持向量机的核函数:K型核函数和logistic核函数,构造出一种新的混合核函数的支持向量机,并且对其性能进行了理论分析。把构造出的混合核函数支持向量机与常用核函数构造的向量机应用到二维数据分类与图片分类中进行实验对比。二维数据点和图片分类的实验结果表明,混合核函数的支持向量机的分类效果、学习能力和外推能力,明显优于常用核函数构造的支持向量机。     

基于核函数的SVM机与三层前向神经网络的关系

针对尚未完全解决的SVM理论中求核函数的问题，首先证明了Vapnik的基于核函数的SVM机与三层前向神经网络的等价性；其次以作者提出的神经网络的覆盖算法为工具，证明了如下的定理（核函数存在性定理）；对任给的样本集（规模有限），必存在一函数（或相应的核函数），样本集在此函数映射下，映成某高维空间中的一子集（样本集的像集），在此高维空间中，像集是线性可分的；最后给出求解此函数的算法，算法的计算复杂性是多项式的，且算法求到的解在高维空间上是最大间隔解。     

基于交叉覆盖算法的改进算法——核平移覆盖算法

文中对前向神经网络交叉覆盖算法进行了分析,并在此基础上引入统计学习理论中的核函数,提出了两者结合的方法———核平移覆盖算法(简称KMCA)。KMCA通过Mercer核,将输入空间的样本映射到高维特征空间,然后先覆盖、后平移,以使覆盖领域局部最优,实现在核空间中分类识别。实验的结果证明了KMCA的可行性和有效性。     

融合PCA的支持向量机人脸检测研究

支持向量机（Support Vector Machine,SVM）作为一种经典的非线性分类器,用于模式识别,可以将训练样本从不可线性分类的低维空间映射到可线性分类的高维空间,再做分类,本文主要训练支持向量机使它学会区分人脸和非人脸。支持向量机的数学推导完备,算法逻辑严密,整体上比Adaboost算法复杂,但在样本量较少的情况下效果良好,因此有样本优势。支撑它的理论包含泛化性理论、最优化理论和核函数等,这些理论也被学术界广泛用于其他机器学习算法如神经网络,几十年来被证明具有很高的可靠性。同时本文论述主成分分析技术（PCA）用于压缩数据,实现数据降维,在数据预处理方面算法提供了很大帮助,使SVM支持向量机的输入数据维数大幅下降,大大提高了运算和检测时间。     

构造型神经网络在故障诊断中的应用研究

提出一种新的故障诊断方法,以便更加有效地解决具有先验知识的故障分类问题。以先验样本点为中心,利用内积判断样本数据的相似度,从而进行聚类分析,在特征空间里作超平面与球面相交,得到一个球面覆盖领域,从而将神经网络训练问题转化为点集的覆盖问题。该算法以构造型神经网络为基础,其特点是直接对故障样本数据进行处理,由于覆盖中心确定,该算法构造出的是隐层元最少的网络结构,有效地克服了传统神经网络训练时间长、学习复杂的问题。计算机仿真实验结果证实了该算法的有效性。     

基于LVQ神经网络的改进覆盖算法

覆盖算法是一种具有高分类准确度和强泛化能力的构造性神经网络分类算法。针对其选择覆盖中心的随意性,结合竞争性神经网络方法对覆盖算法进行改进,在覆盖学习之前进行预学习,选择最佳覆盖球形中心,来优化覆盖。通过标准UCI测试数据实验的比较,从分类的准确性和覆盖个数方面进行对比,得到改进的覆盖算法有很好的效果。     

ParaGro: a learning algorithm for growing parallel self-organizing maps with any input/output dimensions

Self-organizing maps (SOM) have become popular for tasks in data visualization, pattern classification or natural language processing and can be seen as one of the major contemporary concepts for artificial neural networks. The general idea is to approximate a high dimensional and previously unknown input distribution by a lower dimensional neural network structure so that the topology of the input space is mapped closely. Not only is the general topology retained but the relative densities of the input space are reflected in the final output. Kohonen maps also have the property of neighbor influence. That is, when a neuron decides to move, it pulls all of its neighbors in the same direction modified by an elasticity factor. We present a SOM that processes the whole input in parallel and organizes itself over time. The main reason for parallel input processing lies in the fact that knowledge can be used to recognize parts of patterns in the input space that have already been learned. Thus, networks can be developed that do not reorganize their structure from scratch every time a new set of input vectors is presented, but rather adjust their internal architecture in accordance with previous mappings. One basic application could be a modeling of the whole–part relationship through layered architectures.

The presented neural network model implements growing parallel SOM structure for any input and any output dimension. The advantage of the proposed algorithm is in its property of processing the whole input space in one step. All nodes of the network compute their step simultaneously, and are, therefore, able to detect known patterns without reorganizing. The simulation results support the theoretical framework presented in the following sections.     

Kernel Nearest-Neighbor Algorithm

The ‘kernel approach’ has attracted great attention with the development of support vector machine (SVM) and has been studied in a general way. It offers an alternative solution to increase the computational power of linear learning machines by mapping data into a high dimensional feature space. This ‘approach’ is extended to the well-known nearest-neighbor algorithm in this paper. It can be realized by substitution of a kernel distance metric for the original one in Hilbert space, and the corresponding algorithm is called kernel nearest-neighbor algorithm. Three data sets, an artificial data set, BUPA liver disorders database and USPS database, were used for testing. Kernel nearest-neighbor algorithm was compared with conventional nearest-neighbor algorithm and SVM Experiments show that kernel nearest-neighbor algorithm is more powerful than conventional nearest-neighbor algorithm, and it can compete with SVM. This revised version was published online in June 2006 with corrections to the Cover Date.