基于样本个体差异性的深度神经网络训练方法

深度神经网络目前在许多任务中的表现已经达到甚至超越了人类的水平,但是其泛化能力和人类相比还是相去甚远.如何提高网络的泛化性,一直是重要的研究方向之一.围绕这个方向开展的大量卓有成效的研究,从扩展增强训练数据、通过正则化抑制模型复杂度、优化训练策略等角度,提出了很多行之有效的方法.这些方法对于训练数据集来说都是某种全局性质的策略,每一个样本数据都会被平等的对待.但是,每一个样本数据由于其携带的信息量、噪声等的不同,在训练过程中,对模型的拟合性能和泛化性能的影响也应该是有差异性的.针对是否一些样本在反复的迭代训练中更倾向于使得模型过度拟合,如何找到这些样本,是否可以通过对不同的样本采用差异化的抗过拟合策略使得模型获得更好的泛化性能等问题,提出了一种依据样本数据的差异性来训练深度神经网络的方法,首先使用预训练模型对每一个训练样本进行评估,判断每个样本对该模型的拟合效果;然后依据评估结果将训练集分为易使得模型过拟合的样本和普通的样本两个子集;最后,再使用两个子集的数据对模型进行交替训练,过程中对易使得模型过拟合的子集采用更强有力的抗过拟合策略.通过在不同的数据集上对多种深度模型进行的一系列实验,验证了该方法在典型的分类任务和细粒度分类任务中的效果.     

Rademacher复杂度在统计学习理论中的研究

假设空间复杂性是统计学习理论中用于分析学习模型泛化能力的关键因素.与数据无关的复杂度不同,Rademacher复杂度是与数据分布相关的,因而通常能得到比传统复杂度更紧致的泛化界表达.近年来,Rademacher复杂度在统计学习理论泛化能力分析的应用发展中起到了重要的作用.鉴于其重要性,本文梳理了各种形式的Rademacher复杂度及其与传统复杂度之间的关联性,并探讨了基于Rademacher复杂度进行学习模型泛化能力分析的基本技巧.考虑样本数据的独立同分布和非独立同分布两种产生环境,总结并分析了Rademacher复杂度在泛化能力分析方面的研究现状.展望了当前Rademacher复杂度在非监督框架与非序列环境等方面研究的不足,及其进一步应用与发展.     

虚拟样本生成技术研究

虚拟样本生成技术主要研究如何利用待研究领域的先验知识并结合已有的训练样本构造辅助样本,扩充训练样本集,提高学习器的泛化能力。作为一种在机器学习中引入先验知识的方法,虚拟样本生成技术已经成为提高小样本学习问题泛化能力的主要手段之一,受到了国内外学者广泛研究。首先介绍了虚拟样本的概念,给出了衡量虚拟样本生成技术性能的两个指标,讨论了虚拟样本生成技术对学习器泛化能力的影响。然后根据虚拟样本生成技术的本质将其划分为3类,并针对每一类讨论了几种典型的虚拟样本生成技术,进而指出了现有虚拟样本生成技术存在的一些不足。最后进行总结并对虚拟样本生成技术的进一步发展提出了自己的看法。     

多输出神经元模型的MFNN带正则化因子RLS算法

在神经网络的学习中,将递推最小二乘算法（RLS）与正则化因子相结合,一方面,可以提高网络的泛化能力,另一方面,对学习样本的噪声具有鲁棒性。但是,当网络规模较大时,该算法每迭代一步计算复杂度和存储量要求很大。本文将带正则化因子的RLS算法应用于多输出神经元模型的多层前向神经网络,通过仿真实验,结果表明,本方法可以大大简化网络结构,减小每迭代一步计算的复杂度和存储量。     

自适应对抗学习求解旅行商问题

深度学习为组合优化问题提供了新的解决思路,目前该研究方向多关注于对模型和训练方法的改良,更多的论文引入自然语言处理方向的新模型来加以改进求解效果,而缺乏从实例的数据生成方向来关注模型的泛化能力和鲁棒性。为解决该问题,借鉴对抗学习的思想,针对经典组合优化问题——旅行商问题,从数据生成方向切入研究,设计生成器网络,使用监督学习的方式来产生对抗样本,并将对抗样本加入到随机样本中混合训练,以改善模型对该类问题的泛化性能。同时,依据强化学习训练过程中判别器模型的更新方式提出一种自适应机制,来训练对抗模型,最终得到能够在随机分布样本上和对抗样本上都取得较好结果的模型。仿真验证了所提出方法的有效性。     

随机样本遗传MLP模型算法

提出的SSGAMLP（Small Set Genetic Algorithm Multilayer Perceptron）模型,是针对MLP模型易陷入局部最优,且模型泛化性不好,而遗传算法可以跳出局部最优,但是种群个体数较多,却带来运算复杂度的提高,目的是为了克服以上不足,将遗传算法与MLP模型相结合,将MLP模型节点的向下连接权值看成是低层向高层的映射,因此每个节点（包括权值和阈值）可以看成是一个特征表达,即遗传算法的基因表达,同时个体MLP模型训练使用的随机样本子集以及算法的交叉变异,相当于引入随机因子,存在获得未知特征表达的可能性。实验基于MNIST数据集,印证了SSGAMLP模型在性能上的优势。模型降低了个体运算复杂度,提高了泛化性,在一定程度上克服了过拟合性。     

神经网络的泛化理论和泛化方法

泛化能力是多层前向网最重要的性能,泛化问题已成为目前神经网络领域的研究热 点.文中综述了神经网络泛化理论和泛化方法的研究成果.对泛化理论,重点讲述神经网络的结 构复杂性和样本复杂性对泛化能力的影响;对泛化方法,则在介绍每种泛化方法的同时,尽量指 出该方法与相应泛化理论的内在联系.最后对泛化理论和泛化方法的研究前景作了展望.     

基于支持向量机的位置相关计算

支持向量机是一种基于统计学习理论的机器学习方法,该理论主要研究在有限样本下的学习问题.为了得到最佳的推广能力,支持向量机方法在模型复杂度和学习能力之间寻求最佳折中,妥善解决了机器学习中常见的过学习问题.将该方法应用在信号指纹定位技术的第二阶段,即在线阶段,以数据采集阶段采集到的数据为基础,建立了接收信号强度为输入,对应位置坐标为输出的模型.最后用测试样本检验该模型,定位结果验证了支持向量机在小样本情况下的学习能力.     

基于聚类分析的综合神经网络集成算法

研究神经网络集成是一种有效实用的分类方法,权值是影响神经网络集成性能的重要因素。为了克服神经网络集成固定权值的缺陷,提出一种基于聚类分析的综合神经网络集成算法。算法首先将样本分类,每类样本中加入其他样本类一定数量的中心样本,不同的神经网络学习不同类的样本。根据输入数据与样本类别之间的相关程度自适应调整集成权值。算法不仅用于自适应调整集成权值,而且是一种产生个体神经网络的训练方法。四个数据集上的仿真试验证实了算法的有效性。     

主动学习研究综述

近年来,主动学习成为机器学习领域的研究热点.这一技术通过主动选择要学习的样例从而有效地降低学习算法的样本复杂度.介绍当前主动学习的研究进展,包括主动学习的样本复杂度,样例选择算法和实际应用,最后指出主动学习领域中还保留的开放问题.     

基于Vapnik-Chervonenkis泛化界的极限学习机模型复杂性控制

模型复杂性是决定学习机器泛化性能的关键因素,对其进行合理的控制是模型选择的重要原则.极限学习机(extreme learning machine,ELM)作为一种新的机器学习算法,表现出了优越的学习性能.但对于如何在ELM的模型选择过程中合理地度量和控制其模型复杂性这一基本问题,目前尚欠缺系统的研究.本文讨论了基于Vapnik-Chervonenkis(VC)泛化界的ELM模型复杂性控制方法(记作VM),并与其他4种经典模型选择方法进行了系统的比较研究.在人工和实际数据集上的实验表明,与其他4种经典方法相比,VM具有更优的模型选择性能:能选出同时具有最低模型复杂性和最低(或近似最低)实际预测风险的ELM模型.此外,本文也为VC维理论的实际应用价值研究提供了一个新的例证.     

基于信息粒化的SVM时序回归预测

为了提高SVM的学习效率和泛化能力,首先利用一种信息粒化算法对原始数据进行预处理,该算法能将样本空间划分为多个粒(子空间),降低样本规模,节省时间复杂度.然后将模糊粒化后的信息利用SVM进行回归分析,同时利用交叉验证选出最优的分类器调节参数,可降低分类器的复杂性和提高分类器的泛化能力,避免出现过学习和欠学习.最后通过预测上证指数的实验验证了该算法具有优越的特性,能够较为准确的进行时序回归预测.     

An exploration of the uncertainty relation satisfied by BP network learning ability and generalization ability

An overfit phenomenon exists in the BP network. The so-called overfit means that as long as the network is allowed to be sufficiently complicated, the BP network can minimize the error of the training sample set; however, in the case of a limited number of samples, the generalization ability of the network will decrease. This indicates that there is a relation between the learning ability and the generalization ability. Therefore, studying the relationship between the learning ability is the…     

基于非支配排序的遗传规划的建模方法

分析了利用遗传规划进行复杂非线性系统建模中存在的过学习问题,提出了一个基于插值函数保护法和多目标非支配排序优化方法的遗传规划建模方法。文章利用NSGA所提出的非支配排序的思想结合传统的遗传规划来实现对于模型的精确度、复杂度和曲率的平衡。同时改进了传统遗传规划所使用的函数保护策略进一步降低了过学习现象,得到具有较高泛化能力和简洁性的最优模型。实验结果证明了该方法的有效性。     

Model complexity control for regression using VC generalizationbounds

It is well known that for a given sample size there exists a model of optimal complexity corresponding to the smallest prediction (generalization) error. Hence, any method for learning from finite samples needs to have some provisions for complexity control. Existing implementations of complexity control include penalization (or regularization), weight decay (in neural networks), and various greedy procedures (aka constructive, growing, or pruning methods). There are numerous proposals for determining optimal model complexity (aka model selection) based on various (asymptotic) analytic estimates of the prediction risk and on resampling approaches. Nonasymptotic bounds on the prediction risk based on Vapnik-Chervonenkis (VC)-theory have been proposed by Vapnik. This paper describes application of VC-bounds to regression problems with the usual squared loss. An empirical study is performed for settings where the VC-bounds can be rigorously applied, i.e., linear models and penalized linear models where the VC-dimension can be accurately estimated, and the empirical risk can be reliably minimized. Empirical comparisons between model selection using VC-bounds and classical methods are performed for various noise levels, sample size, target functions and types of approximating functions. Our results demonstrate the advantages of VC-based complexity control with finite samples.     

用于大数据分类的快速隐层优化分布式极限学习机

针对大数据分类问题应用设计了一种快速隐层优化方法来解决分布式超限学习机（Extreme Learning Machine,ELM）在训练过程中存在的突出问题--需要独立重复运行多次才能优化隐层结点个数或模型泛化性能。在不增加算法时间复杂度的前提下,新算法能同时训练多个ELM隐层网络,全面兼顾模型泛化能力和隐层结点个数的优化,并通过分布式计算避免大量重复计算。同时,在算法求解过程中通过这种方式能更精确、更直观地学习隐含层结点个数变化带来的影响。比较多种类型标准测试函数的实验结果,相对于分布式ELM,新算法在求解精度、泛化能力、稳定性上大大提高。     

基于贝叶斯方法的神经网络非线性模型辨识

研究了基于贝叶斯推理的多层前向神经网络训练算法,以提高网络的泛化性能。在网络目标函数中引入表示网络结构复杂性的惩罚项,以便能够在训练优化过程中降低网络结构的复杂性,达到避免网络过拟合的目的。训练过程中使用显式的概率分布假设对模型进行分析和推断,根据融入先验分布的假设和依据,获取网络参数和正则化参数的后验条件概率,并基于后验分布的贝叶斯推理得出最优化参数。利用上述算法训练前向网络,对一个微型锅炉对象进行了模型辨识,通过测试,证明所辨识出的对象模型能够较好地表现出对象的动态行为,且具有较好的泛化性能。