BP网络过拟合现象满足的不确定关系新的改进式

类比信息传递过程中的一般测不准关系式 ,引进表征问题复杂性的函数复相关系数R和代表网络结构特性的隐节点数h ,揭示了BP网络过拟合现象出现时的网络学习能力与推广能力之间满足的不确定关系式 ;通过模拟了 12种不同类型复杂程度函数的过拟合数值试验 ,确定出关系式中的过拟合参数 p的取值范围已缩小为 1×10 -5～ 5× 10 -4;给出应用BP网络对给定样本集的训练过程中 ,判断出现过拟合现象的方法     

用于微阵列数据分类的子空间融合演化超网络

针对传统模式识别方法在学习具有小样本特性的DNA微阵列数据时存在的过拟合问题,本文提出了一种子空间融合演化超网络模型.该模型通过子空间划分、超边全覆盖和子空间融合三种方法降低模型对初始化的依赖,减少了对数据空间的拟合误差,提高了演化超网络的泛化能力.对四个DNA微阵列数据集的实验结果表明,子空间融合演化超网络的识别率和在小样本训练集下的泛化能力均优于参与对比的其他传统模式识别方法.     

正则化在逻辑回归与神经网络中的应用研究

在机器学习算法的应用中,当使用小规模、多特征数的训练样本时,模型容易出现过拟合现象。正则化方法可以在一定程度上抑制模型过拟合,提高模型的泛化能力。以手写数字识别为例,分别研究了正则化方法在逻辑回归和BP神经网络中的应用,并比较了两种算法的实际结果。从MNIST手写体数据库中随机选取了5000个样本,经过PCA(Principal Component Analysis)降维后,从中选取不同规模样本并分别将其随机划分为60%的训练集,20%的交叉验证集和20%的测试集。分别构建两种算法对样本进行训练和测试,通过学习曲线选取合适的正则化参数,并比较了在合适正则化参数与未加入正则化参数下,模型与对测试集的预测精度。实验结果表明BP神经网络对手写数字的识别效果优于逻辑回归;同时当使用样本集较小时,正则化方法可以有效地抑制模型过拟合的发生,提高模型预测精度;随着样本集规模的增大,抑制效果减弱。     

BP网络的过拟合现象满足的测不准关系式

揭示了在ＢＰ网络建模过程中,出现“过拟合”现象时网络学习能力与推广能力之间满足的一般测不准关系式;通过数值模拟试验确定出测不准关系式中的“过拟合”参数的取值范围及其与函数 复杂性的关系;指出函数类的复杂性可用复相关系数来表示;给出应用ＢＰ网络对实际问题的建模过程中,为了避免出现“过拟合”现象,提高网络推广能力的“过拟合”判别式。     

一种基于人工神经网络的反馈式神经元数优化方法

针对纳米级Cu薄膜电阻率,基于BP神经网络模型,本文提出了一种反馈式神经网络优化方法,利用蒙特卡洛分析方法对隐含层神经元数进行了优化,并基于随机样本集进行网络训练,建立了反馈式BP神经网络的电阻率预测模型。通过100组学习样本训练后的神经网络模型,与50组测试样本进行测试,结果表明,所提方法能够实现电学参数值与金属Cu电阻率较好的非线性映射,预测结果与Marom模型相比较,最大误差不超过4%,并且训练范围外的预测结果与测试样本吻合较好,验证了该方法的精度和泛化能力,为超薄金属互连电阻率模型估算提供了重要参考。     

一种提高神经网络集成系统泛化能力的方法

为了充分利用神经网络的原始训练数据,提高神经网络集成系统的泛化能力,提出了一种有效的神经网络集成方法.通过在训练样本上加入一定量的噪声,增大训练样本集,使得不同的个体网络在不同的训练样本上训练,在提高个体网络精度的同时,增加了集成中个体网络的差异度.实验结果表明,该方法能有效的提高神经网络集成系统的泛化能力与计算精度.     

基于群卷积神经网络的恶意域名检验方法

针对恶意域名检测中存在的随机性大、现实样本少的缺陷,导致深度学习模型训练易出现过拟合的问题,提出了一种基于群卷积神经网络的恶意域名检测方法。首先将域名转换为嵌入词向量表示,然后通过随机维度组合生成随机数据集并构建卷积神经网络组,鉴于Inception结构优势将其加入到网络中,最后针对数据集易出现的类间样本失衡问题,引入了类间平衡系数以抑制模型训练过拟合,提高模型泛化能力。实验结果表明,在采集的域名检测数据集上,所构建的模型能够有效实现恶意域名检测;经过参数优化,相比于浅层模型组合分类器与典型深度神经网络模型LSTM-CNN,群卷积神经网络对所构建的域名检测集检测准确率分别提升了4%、1%,达到98.9%。     

利用生成噪声提高语音增强方法的泛化能力

如何提高对未知噪声类型的泛化能力是有监督语音增强方法中亟待解决的重要问题,通过对大量不同类型噪声进行建模,深度神经网络成为了解决该问题的有效手段.为了进一步提高基于深度神经网络的语音增强方法的泛化能力,本文基于生成式对抗网络（Generative Adversarial Networks,GAN）设计了能够由真实噪声数据生成新的噪声类型的NoiseGAN;通过在训练集中增加生成噪声类型,提高训练集噪声类型的多样性,从而达到提高语音增强模型泛化能力的目的.不同结构的网络下的语音增强实验结果表明,本文提出的NoiseGAN能够生成新的噪声类型,具备提高训练集噪声类型多样性的能力,有效提高了语音增强模型在未知噪声类型下的泛化能力.     

红外目标检测网络改进半监督迁移学习方法

针对红外数据集规模小,标记样本少的特点,提出了一种红外目标检测网络的半监督迁移学习方法,主要用于提高目标检测网络在小样本红外数据集上的训练效率和泛化能力,提高深度学习模型在训练样本较少的红外目标检测等场景当中的适应性。文中首先阐述了在标注样本较少时无标注样本对提高模型泛化能力、抑制过拟合方面的作用。然后提出了红外目标检测网络的半监督迁移学习流程:在大量的RGB图像数据集中训练预训练模型,后使用少量的有标注红外图像和无标注红外图像对网络进行半监督学习调优。另外,文中提出了一种特征相似度加权的伪监督损失函数,使用同一批次样本的预测结果相互作为标注,以充分利用无标注图像内相似目标的特征分布信息;为降低半监督训练的计算量,在伪监督损失函数的计算中,各目标仅将其特征向量邻域范围内的预测目标作为伪标注。实验结果表明,文中方法所训练的目标检测网络的测试准确率高于监督迁移学习所获得的网络,其在Faster R-CNN上实现了1.1%的提升,而在YOLO-v3上实现了4.8%的显著提升,验证了所提出方法的有效性。     

基于BP神经网络的Ad Hoc网络通信能力评估

针对Ad Hoc网络特点,建立了效能评估指标体系,简要分析了指标选取的理由。然后阐述了利用BP神经网络评估网络通信能力的基本设想。构建了BP神经网络模型,分析了样本的录用和训练过程,当训练精度达到要求后,再运用BP神经网络对几种典型分簇算法构建网络的通信能力进行了评估。     

Uncertain Relation Suited to Overfitting of BP Neural Network

Researches have been done on the overfitting of BP neural network[1~7]. The uncertain relation between learning and generation suited to overfitting of BP neural network modeling is given in Ref.[8]. By numerical test, the range of overfitting parameter in uncertain relation is determined as 10?6~10?3. Further, it is pointed out that parameter selection relates to the complexity of certain problems (approximate functions), which, can be described by multicorrelative coefficients. But for mul…     

基于BP网络的地物影像光谱识别及效果检验

提出了一种基于改进后的BP人工神经网络的地物影像的多波段光谱识别新方法。该方法遵循网络的隐节点数与训练样本数相匹配的网络结构设计的最简原则构建BP网络;采用了随机增加每类样本数,添加样本集中的噪声干扰。从而使噪声起到平滑作用。既防止过度训练,提高了网络的泛化能力。又加快了收敛速度。对11类地物多波段光谱影像实例。通过相继二次构建BP网络模型进行训练,用两次训练好的网络对全部11类地物区分效果明显,达到能完全区分不同地物分类识别的目的。     

基于QPSO-ANN的发酵过程建模与优化

针对BP神经网络训练时间长、易陷入局部极小点问题,将量子微粒群算法QPSO与BP算法结合起来分两次训练神经网络,建立青霉素浓度预估模型。用青霉素发酵数据集对模型进行训练与检验。基于该模型,用QPSO算法对温度与pH控制轨线进行优化。实验表明,该发酵过程模型训练误差小、学习速度快、泛化能力强、预测精度高、可以实现多步预估。采用优化后的温度、pH控制轨线,青霉素浓度有所提高。     

基于BP神经网络的小角度井斜方位角误差补偿研究

井斜角与方位角是井眼轨迹计算中的主要测量参数,然而与常规井斜时方位角误差相比,小角度井斜下测斜仪的方位角测量误差更大。为了提高测斜仪在小角度井斜下的方位角测量精度,基于BP神经网络算法对5°~10°小角度井斜下方位角的测量进行了补偿。文中以标准井斜角和实测方位角构成的二维向量作为输入,以标准方位角构成的一维向量作为输出,建立了双入单出网络模型。采用随机选取的方式将学习样本分为训练集与测试集,使网络具有较好的泛化能力。仿真测试结果表明,该BP神经网络误差校正模型运行稳定,补偿精度达到10^-6,可将小角度井斜下方位角的测量精度从±5.3°提高至±1.7°以内。     

Evolutionary Extreme Learning Machine and Its Application to Image Analysis

Extreme learning machine (ELM) and evolutionary ELM (E-ELM) were proposed as a new class of learning algorithm for single-hidden layer feedforward neural network (SLFN). In order to achieve good generalization performance, E-ELM calculates the error on a subset of testing data for parameter optimization. Since E-ELMemploys extra data for validation to avoid the overfitting problem, more samples are needed for model training. In this paper, the cross-validation strategy is proposed to be embedded into the training phase so as to solve the overtraining problem. Based on this new learning structure, two extensions of E-ELM are introduced. Experimental results demonstrate that the proposed algorithms are efficient for image analysis.     

启发式改进BPNN在模式分类领域内的对比研究

采用附加动量BP算法、自适应最速下降BP算法、自适应动量BP算法、弹性BP算法4种启发式改进方法分别对标准BP算法进行改进,并构建了相应的BP神经网络分类模型,将构建的4种分类模型应用于二维向量模式的分类,并进行了泛化能力测试,将4种BP网络分类模型的分类结果进行对比。仿真结果表明,对于中小规模的网络而言,弹性BP算法改进的BP网络的分类结果最为精确,收敛速度最快,分类性能最优;附加动量BP算法改进的BP网络的分类结果误差最大,收敛速度最慢,分类性能最差;自适应学习速率BP算法改进的BP网络的分类结果的误差值、收敛速度及分类性能介于上述两种算法之间。