一种通过反馈提高神经网络学习性能的新算法

为了有效提高前向神经网络的学习性能，需要从一个新的角度考虑神经网络的学习训练．基于此，提出了一种基于结果反馈的新算法——FBBP算法．将神经网络输入调整与通常的权值调整的反向传播算法结合起来，通过调整权值和输入矢量值的双重作用来最小化神经网络的误差函数．并通过几个函数逼近和模式分类问题的实例仿真，将FBBP算法与加动量项BP算法、最新的一种加快收敛的权值更新的算法进行了比较，来验证所提出的算法的有效性．实验结果表明，所提出的算法具有训练速度快和泛化能力高的双重优点，是一种非常有效的学习方法．     

一种新的神经网络结构及其学习算法

提出了一个基于模糊集理论的新的神经网络结构及其学习算法。这种神经网络是对标准的BP网络修改后构成的(记作FIBP)。并通过几个实例仿真验证其有效性。实验结果表明，当用FIBP网络解决动态的、高度非线性的函数逼近时，其学习速度比BP网络快，精度高而且泛化能力高。     

神经网络的学习误差函数及泛化能力

用于训练神经网络的样本点集不可避免地会受到噪声污染。利用神经网络的概率描述,通过研究Ｋ－Ｌ信息和神经网络泛化能力的关系,构造一个新的神经网络学习误差函数。泛化能力分析和仿真结果表明了该学习误差函数的合理性。     

神经网络的泛化理论和泛化方法

泛化能力是多层前向网最重要的性能,泛化问题已成为目前神经网络领域的研究热 点.文中综述了神经网络泛化理论和泛化方法的研究成果.对泛化理论,重点讲述神经网络的结 构复杂性和样本复杂性对泛化能力的影响;对泛化方法,则在介绍每种泛化方法的同时,尽量指 出该方法与相应泛化理论的内在联系.最后对泛化理论和泛化方法的研究前景作了展望.     

一种估计人工神经网络泛化误差的新方法

神经网络的结构学习就是要确定网络的拓扑,使之有较好的泛化能力,本文考虑了确定性前向网络,而其训练集合是随机点集的结构学习问题,文章定义了一种新的结构学习目标函数,给出了它与目前常用的目标函数比较的优越性,讨论了相关的学习算法,还给出了一个例子说明这种学习的效果。     

CMAC 算法收敛性分析及泛化能力研究

利用矩阵理论和线性方程组迭代收敛的一般性原理,在不附加特殊条件折情况下,证明了CMAC算法在批量和增量两种学习方式下的收敛定理,对在关联矩阵正定条件下得出的结论进行推广和改进。在此基础上提出了一种学习率自寻优的CMAC改进算法,并提出一种简单可行的评价CMAC网络整体泛化性能的指标,通过计算仿真验证了收敛定量的正确性和改进算法的优越性,并研究得出了CMAC网络各个参数对其泛化性能影响的相关结论。     

基于交叉分组技术的集成算法研究

集成学习主要通过扰动训练数据集来产生较强泛化能力.研究者们提出了各种各样的方法来实现这一目标,但如何扰动训练数据集以达到最佳的泛化能力并没有被深入研究.本文中,提出了对训练数据集进行扰动的交叉分组(cross-grouping)方法,通过改变交叉因子以实现对训练数据集不同程度的扰动,从而实现当集成规模较小时,得到更强的泛化能力.实验表明,当选择合适的交叉因子时,GG-Bagging泛化能力要强于Bagging和Boosting,略优于Decorate和Random Forests.     

超闭球CMAC的性能分析及多CMAC结构

如何选择合适网络参数是传统CMAC(Cerebellar Model Articulation Controller)应用 中的一个难题.采用泛化均方差(GMSE)和学习均方差(LMSE)来分别评价超闭球CMAC的泛 化能力与记忆精度,并引入权调整率的概念,来研究CMAC结构参数与学习性能的关系.研究 结果表明,在样本分布和量化级数不变时,泛化均方差和学习均方差是权调整率的非增函数.因 此超闭球CMAC在满足存储空间和计算速度的要求下尽量使得权调整率较大.还提出了并行 CMAC结构以进一步提高单个超闭球CMAC的非线性逼近能力.仿真结果证明了该方法的有 效性.     

神经网络集成的设计与应用

传统的神经网络一般采用个体网络,其应用效果很大程度上取决于使用者的经验,且网络的泛化能力不强.一种改进的神经网络集成方法,为传统神经网络存在的问题提供了一个简易的解决方案.由理论分析和实验结果可以得出结论,神经网络集成方法比传统的个体网络方法的效果更好.     

B—P网络泛化性能的改善

在神经网络的训练过程中存在“过度吻合”的现象,即训练样本的误差已达到非常小的一个值,但是非训练样本的误差非常大,造成神经网络的泛化性能不好。本文说明了泛化性能与隐层节点数的关系,并提出了通过改变性能函数来改善B－P网络的泛化性能的方法。     

一种自适应模糊Actor-Critic 学习

提出一种基于模糊RBF网络的自适应模糊Actor—Critic学习．采用一个模糊RBF神经网络同时逼近Actor的动作函数和Critic的值函数，解决状态空间泛化中易出现的“维数灾”问题．模糊RBF网络能够根据环境状态和被控对象特性的变化进行网络结构和参数的自适应学习，使得网络结构更加紧凑，整个模糊Actor—Critic学习具有泛化性能好、控制结构简单和学习效率高的特点．MountainCar的仿真结果验证了所提方法的有效性．     

人工神经网络泛化问题研究综述*

从理论、方法（思想）和技术三个层次回顾了以往工作,讨论了模型复杂度、样本复杂度及两者之间关系的相关研究;在实际中,通过控制模型复杂度、调整样本等具体技术可以在一定程度上提高神经网络的泛化能力,但这些技术仍然存在一些问题没有解决。最后提出了对今后研究的展望。     

基于集成学习的入侵检测方法

入侵检测是近年来网络安全研究的热点。利用多分类器技术,研究了基于集成学习的入侵检测方法。应用Bootstrap技术生成分类器个体,为了提高分类器的差异性,应用聚类技术对分类器进行聚类,在相应的聚类结果中选取不同的分类器个体,并选择不同的融合方法对分类结果进行融合。针对入侵检测数据的实验表明了该集成技术的有效性。     

一种简单的共享式多层梯度补给方法

深度学习通过多层特征提取方式,可以将原始复杂数据自动表征为高级抽象特征,该模型具有很强的建模能力,普遍应用于图像识别语音识别、自然语言处理等高复杂问题中.但深度学习由于网络层数深、参数规模庞大,训练时常常会产生梯度消失、陷入局部最优解、过度拟合等现象.借鉴集成学习的思想,提出一个新颖的深度共享集成网络,该网络通过在深度学习各隐藏层引出多个独立输出层的联合训练的方式,在网络的各层注入梯度,从而对低层隐藏层进行梯度补给,从而降低深度学习中的梯度消失现象,并通过集成多输出层的方式使得整个网络拥有更强的泛化性能.     

统计学习理论的原理与应用

经验风险与实际风险间的不一致是一个长期困扰机器学习（各种分类或拟合问题）的难题。统计学习理论提供了对这一问题的部分解决方法。本文从理论及现实两方面介绍经验风险与实际风险间的不一致现象，定义了算法的泛化能力，简单介绍了统计学习理论各组成部分的主要结论，并总结了这一理论的应用方向和存在的问题。     

增量式的多变量决策树构造算法研究

针对增量数据集,结合粗糙集理论和多变量决策树的优点,给出了增量式的多变量决策树构造算法.该算法针对新增样本与已有规则集产生矛盾,即条件属性相匹配,而决策属性不匹配的情况,计算条件属性相对于决策属性的核,如果核不为空,则计算核相对于决策属性的相对泛化,根据不同的结果形成不同的子集,最终形成不同的决策树分支.该算法很好地避免了在处理增量数据集时,不断重构决策树.实例证明该算法的正确性,对处理小增量数据集具有良好的性能.     

增量式的多变量决策树构造算法研究

针对增量数据集,结合粗糙集理论和多变量决策树的优点,给出了增量式的多变量决策树构造算法。该算法针对新增样本与已有规则集产生矛盾,即条件属性相匹配,而决策属性不匹配的情况,计算条件属性相对于决策属性的核,如果核不为空,则计算核相对于决策属性的相对泛化,根据不同的结果形成不同的子集,最终形成不同的决策树分支。该算法很好地避免了在处理增量数据集时,不断重构决策树。实例证明该算法的正确性,对处理小增量数据集具有良好的性能。     

Rademacher复杂度在统计学习理论中的研究

假设空间复杂性是统计学习理论中用于分析学习模型泛化能力的关键因素.与数据无关的复杂度不同,Rademacher复杂度是与数据分布相关的,因而通常能得到比传统复杂度更紧致的泛化界表达.近年来,Rademacher复杂度在统计学习理论泛化能力分析的应用发展中起到了重要的作用.鉴于其重要性,本文梳理了各种形式的Rademacher复杂度及其与传统复杂度之间的关联性,并探讨了基于Rademacher复杂度进行学习模型泛化能力分析的基本技巧.考虑样本数据的独立同分布和非独立同分布两种产生环境,总结并分析了Rademacher复杂度在泛化能力分析方面的研究现状.展望了当前Rademacher复杂度在非监督框架与非序列环境等方面研究的不足,及其进一步应用与发展.     

面向隐私保护的联邦域泛化行人重识别方法

行人重识别旨在从不同的摄像头中识别目标行人的图像.由于不同场景之间存在域偏差,在一个场景中训练好的重识别模型常常无法直接应用在另一个场景,并且从摄像头收集的数据通常包含敏感的个人信息,而现有的大部分重识别方法通常需要训练数据的集中化,这可能会带来隐私泄露问题.因此,文中提出面向隐私保护的联邦域泛化行人重识别方法(Federated Domain Generalization Person Re-identification with Privacy Preserving, PFReID),在保护行人隐私的前提下,从独立的多个非共享数据域中学习泛化模型.使用频域空间插值的方法平滑各个客户端在数据集上的域偏差,增加样本的多样性,提高各客户端模型的泛化性能.在客户端构建双分支对齐学习网络,保证客户端局部模型和全局模型学习表示的一致性,用于客户端局部模型的更新.在多个公开行人数据集上的实验验证PFReID的性能较优.     

基于特定领域解码的域泛化医学图像分割方法

多源域领域泛化是模型利用多个不同领域中的语义信息，并且能够很好地泛化到未知领域上。在医学图像中，不同领域之间的跨度比较大，模型泛化性能在未知域上会有较大程度的下降。为了解决这一问题，本文提出了一种编码特征再针对特定领域进行解码的网络结构。该模型使用一个通用编码器来学习所有领域上的领域不变特征，并通过特定领域解码器还原原有图像以加强其对图像特征的复原能力。此外，该模型还通过生成特征迁移图像与源域图像进行对抗学习来加强编码器学习领域不变特征的能力。 同时，本文在模型中还引入了特殊构造的分割融合预处理步骤来扩充数据集以增强模型的泛化能力，并进一步提高了本文提出网络结构的性能。在两个医学图像的分割任务中，大量实验数据表明，本文提出的模型相比现有先进模型表现出了优异的性能，此外本文还进行了一系列消融实验，证明了模型的有效性。