多层前向网络的交叉覆盖设计算法

文章根据多层前向权、阈值神经网络的设计原则,将设计过程分成两步进行:先用尽可能少的领域将样本中的各类分隔开来,然后再用作者提出的交叉覆盖算法进行网络设计.文章给出两个很有代表性的模拟例子,一个是平面上两根螺线的分离问题,另一个是“无穷样本学习”的例子.模拟结果证明了此方法的有效性.  

模糊商空间理论(模糊粒度计算方法)

把商空间模型推广到模糊粒度世界,并给出了两个基本结论.一个结论是,下面4种提法等价:(1) 在论域X上给定一个模糊等价关系;(2) 给定X的商空间上的一个归一化等腰距离;(3) 给定X的一个分层递阶结构;(4) 给定一个X的模糊知识基.另一个结论是,所有模糊粒度世界全体,构成一个完备半序格.这些结论为粒度计算提供了一个强有力的数学模型和工具.  

M-P神经元模型的几何意义及其应用

给出M-P神经元模型的几何意义,这个几何的铨释,给神经元一个非常直观的理解,利用这个直观的理解,给出两个颇为有趣的应用:(1)用此法给出三层前向神经网络的学习能力的基本定理的新的证明;(2)给出前向网络的拓扑结构设计的新方法.  

佳点集遗传算法

该文借助于遗传算法的理想浓度模型以及由此模型对遗传算法的机理的分析，给出了遗传算法的运行机理发及特点，即遗传算法是一个具有定向制导的随机搜索技术，其定向制导的原则蛎：导向以高适应度模式为祖先的“家族”方向，以此结论为基础，利用数论中的佳点休的理论和方法，对GA算法中的交叉操作进行了重新设计，给出了一个新的GA算法，称之为佳点集遗传算法，最后作者将佳点GA算法应用于求解优化问题、SAT问题、TSP问题和背包问题，并与其它求解SAT算法进行比较，通过模拟比较，可以看出新的算法不但提高了算法的速度和精度，而且避免了其它方法常有的早期收敛的现象，这说明作者对GA算法机理的理解和佳点CA算法可能为GA算法的研究开辟一条新的途径。  

遗传算法机理的研究

众所周知,“模式定理”和“隐性并行性”是遗传算法(genetic algorithms,简称GA算法)的两大理论基础.该文对这两个原理进行分析,指出这两个原理存在有不严格和不足之处,即作为GA算法的基础,这两个原理尚欠完善.为加深对GA的理解，文章提出遗传算法的一个新的改进模型——理想浓度模型.通过对此模型的分析,得出遗传算法本质上是一个具有定向制导的随机搜索技术.其定向制导原则是,导向以适应度高的模式为祖先的染色体“家族”方向.最后给出两个典型的函数求最大值的模拟例子.从模拟结果看,改进后的GA算法大大提高了算法的速度,解的精度也有所提高.这说明新算法具有应用的潜力.  

基于核函数的SVM机与三层前向神经网络的关系

针对尚未完全解决的SVM理论中求核函数的问题，首先证明了Vapnik的基于核函数的SVM机与三层前向神经网络的等价性；其次以作者提出的神经网络的覆盖算法为工具，证明了如下的定理（核函数存在性定理）；对任给的样本集（规模有限），必存在一函数（或相应的核函数），样本集在此函数映射下，映成某高维空间中的一子集（样本集的像集），在此高维空间中，像集是线性可分的；最后给出求解此函数的算法，算法的计算复杂性是多项式的，且算法求到的解在高维空间上是最大间隔解。  

统计遗传算法

本文讨论了遗传算法中框架定理的不足之处，并对之进行了改进，然后分析了遗传算法与Ａ算法的相似性，以及遗传算法的概率性质．由此联想到它与ＳＡ算法的相似性，在此基础上，作者将原先发展的一套ＳＡ算法的理论移植到遗传算法中来，建立一个新的算法，称之为统计遗传算法（简记为ＳＧＡ算法）．为适合于优化计算，作者引入最大值统计量及其对应的ＳＡ算法（简称为ＳＭＡ算法），并将ＳＭＡ算法与ＧＡ算法相结合（记为ＳＧＡ（ＭＡＸ）算法）．新的算法不仅提高了算法的精度和降低了计算的复杂性，而且能克服ＧＡ算法中出现“早熟”的现象以及提供进行并行计算的可能性．更主要的是新的方法为ＧＡ算法的精度、可信度和计算复杂性的定量分析提供了理论和方法上的有力工具.  

多层前馈神经网络的学习和综合算法

本文提出多层前馈网络的一种新的学习和综合算法──ＦＰ算法，并证明由此算法得到的网络作为通用联想记忆器时，具有如下优点：（１）每个样本都是吸引中心；（２）每个样本的吸引半径达到最大值；（３）网络没有假吸引中心；（４）网络具有最少的元件个数；（５）学习的复杂性达到最优（就其复杂性的阶而言）．故此网络在性能、结构、计算复杂性等方面均达到很好状态．  

不同粒度世界的描述法--商空间法

面对复杂对象，如何描述对象往往成为解决问题的基础，为此，该文提出了一种不同粒度世界的描述方法——商空间法．在商空间法中用一个三元组(X，f，T)描述一个问题，在其论域上引入等价关系R，对应于R的商集[X]，然后将[X]当作新的论域，对它进行分析、研究，从而将问题表述成不同的粒度世界，进而达到简化问题、解决问题的目的．与粗糙集、决策树等方法相比较，商空间法具有更强的表达能力，它不仅可以定义多种不同的属性函数，而且可以描述论域中的元素、元素之间的相互关系(即结构)、运算等．该文介绍粒度世界的描写、划分法、粒度确定以及不同粒度世界的关系．最后给出了粒度世界的描述实例——互联网中的路由算法及称球游戏，以验证商空间方法的有效性．  

支持向量机理论与基于规划的神经网络学习算法

近年来支持向量机（SVM）理论得到国外学者高度的重视，普遍认为这是神经网络学习的新研究方向，近来也开始得到国内学者的注意。该文将研究SVM理论与神经网络的规划算法的关系，首先指出，Vapnik的基于SVM的算法与该文作者1994年提出的神经网络的基于规划的算法是等价的，即在样本集是线性可分的情况下，二者求得的均是最大边缘（maximal margin)解。不同的是，前者（通常用拉格郎日乘子法）求解的复杂性将随规模呈指数增长，而后者的复杂性是规模的多项式函数。其次，作者将规划算法化为求一点到某一凸集上的投影，利用这个几何的直观，给出一个构造性的迭代求解算法－－“单纯形迭代算法”。新算法有很强的几何直观性，这个直观性将加深对神经网络（线性可分情况下）学习的理解，并由此导出一个样本集是线性可分的充分必要条件。另外，新算法对知识扩充问题，给出一个非常方便的增量学习算法。最后指出，“将一些必须满足的条件，化成问题的约束条件，将网络的某一性能，作为目标函数，将网络的学习问题化为某种规划问题来求解”的原则，将是研究神经网络学习问题的一个十分有效的办法。