基于核函数的SVM机与三层前向神经网络的关系

针对尚未完全解决的SVM理论中求核函数的问题，首先证明了Vapnik的基于核函数的SVM机与三层前向神经网络的等价性；其次以作者提出的神经网络的覆盖算法为工具，证明了如下的定理（核函数存在性定理）；对任给的样本集（规模有限），必存在一函数（或相应的核函数），样本集在此函数映射下，映成某高维空间中的一子集（样本集的像集），在此高维空间中，像集是线性可分的；最后给出求解此函数的算法，算法的计算复杂性是多项式的，且算法求到的解在高维空间上是最大间隔解。     

大样本情况下的一种新的SVM迭代算法

针对SVM方法在大样本情况下学习和分类速度慢的问题，提出了大样本情况下的一种新的SVM迭代训练算法。该算法利用K均值聚类算法对训练样本集进行压缩，将聚类中心作为初始训练样本集，减少了样本间的冗余，提高了学习速度。同时为了保证学习的精度，采用往初始训练样本集中加入边界样本和错分样本的策略来更新训练样本集，迭代训练直到错分样本数目不变为止。该文提出的基于K均值聚类的SVM迭代算法能在保持学习精度的同时，减小训练样本集及决策函数的支持向量集的规模，从而提高学习和分类的速度。     

求解线性约束的二次规划神经网络学习新算法

提出了一种基于0.618法求解具有线性约束的二次规划问题的神经网络学习新算法。与已有的求解线性约束的二次规划问题的神经网络学习算法相比,该算法的适用范围更广,计算精度更高。其目的是为具有线性约束的二次规划问题的求解提供一种新方法。仿真实验验证了新算法的有效性。     

一种基于核函数的非线性感知器算法

为了提高经典Rosenblatt感知器算法的分类能力，该文提出一种基于核函数的非线性感知器算法，简称核感知器算法，其特点是用简单的迭代过程和核函数来实现非线性分类器的一种设计，核感知器算法能够处理原始属性空间中线性不可分问题和高维特征空间中线性可分问题。同时，文中详细分析了其算法与径向基函数神经网络、势函数方法和支持向量机等非线性算法的关系。人工和实际数据的计算结果表明：与线性感知器算法相比，核感知器算法可以有效地提高分类精度。     

自反馈神经网络的椭球学习算法

本文讨论自反馈神经网络的学习问题，指出联想记忆的神经网络的学习可以化为某种规划（优化）的问题来解，于是可借用规划数学中发展得成熟的优化技术来解自反馈神经网络的学习问题，文中给出一种称为椭球算法的学习方法，其计算复杂性是多项式型。     

基于实数编码遗传算法的改进支持向量机

提出了一种基于实数编码遗传算法的改进支持向量机.针对二进制遗传算法求解分类问题的3点不足之处,提出了改进算法.该算法在问题的约束中引进核函数,将问题映射到高维空间,成为线性问题后求解,从而使算法不仅适合解线性问题,也适合解非线性问题;引进Reduced SVM思想,仅用数据集的1%～10%的样本信息就能求出分类问题的分划超平面,从而大大降低了问题的复杂性;最后采用实数编码的遗传算法求解,节省了两次编码-解码转换所占据的运行时间.给出了算法的迭代步骤,数值实验表明该改进的算法是有效的,理论证明该算法确实是收敛的.     

线性可分文本的SVM算法研究与改进

在分析SVM算法的二次规划问题及利用可行性方向法求解二次规划问题的基础上,将效率较高的可行性方向法应用于求解SVM算法中的二次规划问题,给出线性可分文本的SVM算法的改进算法,改进后的SVM算法在时间复杂度上有着明显的提高,从而有效提高SVM算法的训练效率.     

一种快速支持向量机增量学习算法

经典的支持向量机(SVM)算法在求解最优分类面时需求解一个凸二次规划问题,当训练样本数量很多时,算法的速度较慢,而且一旦有新的样本加入,所有的训练样本必须重新训练,非常浪费时间.为此,提出一种新的SVM快速增量学习算法.该算法首先选择那些可能成为支持向量的边界向量,以减少参与训练的样本数目;然后进行增量学习.学习算法是一个迭代过程,无需求解优化问题.实验证明,该算法不仅能保证学习机器的精度和良好的推广能力,而且算法的学习速度比经典的SVM算法快,可以进行增量学习.     

医学图像决策支持系统中的SVM算法

支持向量机(SVM)方法是利用最优分类面(线)将两类样本在特征空间或输入空间中无错误地分开,而且要使两类的分类空隙最大。因此标准的SVM方法需要求解二次规划问题,计算量很大。该文以一个医学决策支持系统为应用背景,介绍一种解决该问题的新方法。在UCI数据集和所开发的决策支持系统上的应用表明,该算法简便可行,具有更高的精度和更快的速度。     

求解模糊相关机会规划的混合智能算法

模糊相关机会规划是一类有着广泛应用背景的随机规划问题,该文采用模糊模拟产生样本训练BP网络以逼近机会函数,然后应用微粒群算法并以逼近机会函数的神经网络作为适应值估计,从而提出了一种求解模糊相关机会规划的混合智能算法。最后通过实例仿真说明了算法的正确性和有效性。     

Programming based learning algorithms of neural networks withself-feedback connections

Discusses the learning problem of neural networks with self-feedback connections and shows that when the neural network is used as associative memory, the learning problem can be transformed into some sort of programming (optimization) problem. Thus, the rather mature optimization technique in programming mathematics can be used for solving the learning problem of neural networks with self-feedback connections. Two learning algorithms based on programming technique are presented. Their complexity is just polynomial. Then, the optimization of the radius of attraction of the training samples is discussed using quadratic programming techniques and the corresponding algorithm is given. Finally, the comparison is made between the given learning algorithm and some other known algorithms     

A one-layer recurrent neural network for support vector machine learning.

This paper presents a one-layer recurrent neural network for support vector machine (SVM) learning in pattern classification and regression. The SVM learning problem is first converted into an equivalent formulation, and then a one-layer recurrent neural network for SVM learning is proposed. The proposed neural network is guaranteed to obtain the optimal solution of support vector classification and regression. Compared with the existing two-layer neural network for the SVM classification, the proposed neural network has a low complexity for implementation. Moreover, the proposed neural network can converge exponentially to the optimal solution of SVM learning. The rate of the exponential convergence can be made arbitrarily high by simply turning up a scaling parameter. Simulation examples based on benchmark problems are discussed to show the good performance of the proposed neural network for SVM learning.     

Robustness and generalization

We derive generalization bounds for learning algorithms based on their robustness: the property that if a testing sample is “similar” to a training sample, then the testing error is close to the training error. This provides a novel approach, different from complexity or stability arguments, to study generalization of learning algorithms. One advantage of the robustness approach, compared to previous methods, is the geometric intuition it conveys. Consequently, robustness-based analysis is easy to extend to learning in non-standard setups such as Markovian samples or quantile loss. We further show that a weak notion of robustness is both sufficient and necessary for generalizability, which implies that robustness is a fundamental property that is required for learning algorithms to work.     

基于多分类支持向量机的网络入侵检测技术

对多分类支持向量机在网络入侵检测中的应用进行了研究,深入探讨了其中的关键技术问题和解决方法,并用KDD1999CUP中的标准入侵检测数据集对文中设计的支持向量机分类器进行了测试评估,将实验结果和BP神经网络方法进行了比较。实验证明,该方法在保持较低误警率的同时有着很好的检测率,并且在训练时间上优于BP网络方法。     

一种基于神经网络复杂度的修剪算法

针对神经网络结构设计问题,提出一种基于神经网络复杂度的修剪算法.其实质是在训练过程中,利用网络连接权矩阵的协方差矩阵计算网络的信息熵,获得网络的复杂度;在保证网络信息处理能力的前提下,删除对网络复杂度影响最小的隐节点.该算法不要求训练网络到代价函数的极小点,适合在线修剪网络结构,并且避免了结构调整前的网络权值预处理.通过对典型函数逼近的实验结果表明,该算法在保证网络逼近精度的同时,可有效地简化网络结构.     

The linear separability problem: some testing methods

The notion of linear separability is used widely in machine learning research. Learning algorithms that use this concept to learn include neural networks (single layer perceptron and recursive deterministic perceptron), and kernel machines (support vector machines). This paper presents an overview of several of the methods for testing linear separability between two classes. The methods are divided into four groups: Those based on linear programming, those based on computational geometry, one based on neural networks, and one based on quadratic programming. The Fisher linear discriminant method is also presented. A section on the quantification of the complexity of classification problems is included.     

A comparative study for content-based dynamic spam classification using four machine learning algorithms

The growth of email users has resulted in the dramatic increasing of the spam emails during the past few years. In this paper, four machine learning algorithms, which are Naïve Bayesian (NB), neural network (NN), support vector machine (SVM) and relevance vector machine (RVM), are proposed for spam classification. An empirical evaluation for them on the benchmark spam filtering corpora is presented. The experiments are performed based on different training set size and extracted feature size. Experimental results show that NN classifier is unsuitable for using alone as a spam rejection tool. Generally, the performances of SVM and RVM classifiers are obviously superior to NB classifier. Compared with SVM, RVM is shown to provide the similar classification result with less relevance vectors and much faster testing time. Despite the slower learning procedure, RVM is more suitable than SVM for spam classification in terms of the applications that require low complexity.     

一种基于正交神经网络的曲线重建方法

提出了一种基于正交神经网络的曲线重建方法。该正交神经网络结构与三层交向网络相同,不同的是正交网的隐单元处理函数采用Ｔｃｈｅｂｙｃｈｅｆｆ正交函数,而不是ｓｉｇｍｏｉｄｉａｌ函数,新的曲线重建方法具有利用较少的数据点列将光滑的曲线以较高的精度重建的特点,网络训练采用Ｇｉｖｅｎｓ正交学习算法,由于它不是一种迭代算法,故学习速度快,而且没有网络初始参数的选取问题,网络训练又能避免陷入局部极小解等问题。实     

用于股指预测的自适应训练及删剪算法

提出了利用基于自适应训练及删剪算法的抽头延迟神经网络模型对股指这一非线性时间序列进行预测。首先采用基于递归最小方差的自适应学习算法对网络模型进行学习训练，由于该算法的学习步长能够自行调整，初始参数少，所以收敛速度很快；再利用删剪算法对学习后的网络结构进行删剪，优化网络的拓扑结构，降低网络的计算复杂度，提高网络的泛化能力；然后对优化后的网络进行再学习，使优化后的网络具有最佳参数；最后利用优化后的网络对未来的股指（测试样本）进行预测。仿真实验表明，与删剪前的网络结构相比，优化后的网络结构不但降低了计算复杂度而且提高了预测精度，运算复杂度降低到原来的0.0556，预测均方误差达到8.7961e-5。     

基于反传混沌粒子群训练的前馈神经网络研究

为了解决前馈神经网络训练收敛速度慢、易陷入局部极值及对初始权值依赖性强等缺点, 提出了一种基于反传的无限折叠迭代混沌粒子群优化(ICMICPSO)算法训练前馈神经网络(FNNs)参数。该方法在充分利用BP算法的误差反传信息和梯度信息的基础上, 引入了ICMIC混沌粒子群的概念, 将ICMIC粒子群(ICMICPS)作为全局搜索器, 梯度下降信息作为局部搜索器来调整网络的权值和阈值, 使得粒子能够在全局寻优的基础上对整个空间进行搜索。通过仿真实验与多种算法进行对比, 结果表明在训练和泛化能力上ICMICPSO-BPNN方法明显优于其他算法。