BP网络过拟合现象满足的不确定关系新的改进式

类比信息传递过程中的一般测不准关系式 ,引进表征问题复杂性的函数复相关系数R和代表网络结构特性的隐节点数h ,揭示了BP网络过拟合现象出现时的网络学习能力与推广能力之间满足的不确定关系式 ;通过模拟了 12种不同类型复杂程度函数的过拟合数值试验 ,确定出关系式中的过拟合参数 p的取值范围已缩小为 1×10 -5～ 5× 10 -4;给出应用BP网络对给定样本集的训练过程中 ,判断出现过拟合现象的方法     

BP网络学习能力与泛化能力之间的定量关系式

分析BP网络过拟合时网络学习能力与泛化能力之间的内在联系,引入描述问题复杂性程度的复相关系数,建立了BP网络过拟合时,反映网络学习能力的训练样本集的训练相对误差与表征泛化能力的网络对检验样本集的测试相对误差之间满足的定量关系式.通过模拟若干不同类型函数的BP网络数值建模试验,确定了关系式中过拟合参数q的取值范围为0.007~0.07,指出BP网络应用于给定样本集的训练过程中,具有较佳泛化能力的停止训练方法.     

BP网络的过拟合现象满足的测不准关系式

揭示了在ＢＰ网络建模过程中,出现“过拟合”现象时网络学习能力与推广能力之间满足的一般测不准关系式;通过数值模拟试验确定出测不准关系式中的“过拟合”参数的取值范围及其与函数 复杂性的关系;指出函数类的复杂性可用复相关系数来表示;给出应用ＢＰ网络对实际问题的建模过程中,为了避免出现“过拟合”现象,提高网络推广能力的“过拟合”判别式。     

基于BP网络的地物影像光谱识别及效果检验

提出了一种基于改进后的BP人工神经网络的地物影像的多波段光谱识别新方法。该方法遵循网络的隐节点数与训练样本数相匹配的网络结构设计的最简原则构建BP网络;采用了随机增加每类样本数,添加样本集中的噪声干扰。从而使噪声起到平滑作用。既防止过度训练,提高了网络的泛化能力。又加快了收敛速度。对11类地物多波段光谱影像实例。通过相继二次构建BP网络模型进行训练,用两次训练好的网络对全部11类地物区分效果明显,达到能完全区分不同地物分类识别的目的。     

受限玻尔兹曼机在装备保障方案评价中的应用

使用受限玻尔兹曼机和反向传播(BP)神经网络相结合的方法,充分利用受限玻尔兹曼机自动提取数据的内在特征的能力,以及BP神经网络的学习能力,对已建立的装备保障评价体系进行评估。利用Matlab对方法的有效性进行验证,通过公共数据集进行仿真。结果表明,用该方法获得的评估值精确度较高,具有良好的识别率。     

用于行为识别的通道可分离卷积神经网络

三维卷积神经网络比二维卷积神经网络具有更优越的时空特征提取能力,但运算量却显著增加。针对如何有效减少模型参数量、解决准确率随着计算复杂度降低而降低的问题,提出基于端到端的通道可分离卷积神经网络。通过分离通道交互作用和时空交互作用来分解三维卷积,其中分别利用3×3×3 Depthwise卷积和1×1×1常规卷积进行分离通道交互作用和时空交互作用。与传统三维卷积神经网络相比,通道可分离卷积神经网络加入模型正则化,通过降低训练精度同时提高测试精度,降低了模型的过度拟合。在UCF-101和HMDB-51数据集上的实验分别达到92.7%和64.5%的准确率。结果表明,通道可分离卷积神经网络可以提高准确率并降低计算复杂度。      

基于BP神经网络的自适应伪最近邻分类

在伪最近邻(PNN)分类算法中,待分类样本点与每一类样本集中各个近邻的距离加权系数都是主观确定的,这就使得算法得不到最优距离加权值。针对这一问题,该文提出一种基于BP神经网络的自适应伪最近邻分类算法。首先通过计算待分类样本点与每一类样本集中各个近邻的距离值,并将其作为BP神经网络的输入。然后根据BP神经网络输入与输出之间的映射来自适应确定相应的距离加权值。最后由BP神经网络的输出值判别样本类别号。实验结果表明,该算法能够自适应地调节距离加权系数,同时还能有效地改善分类准确率。     

基于BP神经网络的小角度井斜方位角误差补偿研究

井斜角与方位角是井眼轨迹计算中的主要测量参数,然而与常规井斜时方位角误差相比,小角度井斜下测斜仪的方位角测量误差更大。为了提高测斜仪在小角度井斜下的方位角测量精度,基于BP神经网络算法对5°~10°小角度井斜下方位角的测量进行了补偿。文中以标准井斜角和实测方位角构成的二维向量作为输入,以标准方位角构成的一维向量作为输出,建立了双入单出网络模型。采用随机选取的方式将学习样本分为训练集与测试集,使网络具有较好的泛化能力。仿真测试结果表明,该BP神经网络误差校正模型运行稳定,补偿精度达到10^-6,可将小角度井斜下方位角的测量精度从±5.3°提高至±1.7°以内。     

基于Matlab的BP神经网络结构与函数逼近能力的关系分析

人工神经网络是一种非线性动态数学模型,广泛应用于非线性系统建模、系统辨识、函数逼近等方面。介绍BP网络的结构和学习过程,并介绍利用Matlab人工神经网络工具箱设计BP网络的步骤,在此基础上设计了BP网络以验证其函数逼近能力,仿真结果说明了BP网络具有很强的函数逼近能力。并分析BP网络结构和函数逼近能力的关系,得出网络的结构直接影响网络对函数的逼近能力和效果。     

基于BP神经网络的RSSI测距优化算法

基于接收信号强度指示(received signal strength indication, RSSI)测距的研究和应用领域很广泛,一直是物联网研究的热点. 为降低传统基于反向传播(back propagation,BP)神经网络的RSSI测距误差,文中提出一种基于K-means聚类算法对样本数据进行预处理的BP神经网络测距算法,来解决由于RSSI值衰减程度不同引起的不同距离区间RSSI值和真实距离之间映射关系不均匀的问题. 将K-means聚类算法应用于BP神经网络模型中,对样本数据进行距离区间划分,然后将已经分类好的数据分别输入BP神经网络建立网络模型并进行实验仿真. 结果显示:传统基于BP神经网络的RSSI测距算法的均方根误差为1.425 7 m;而经过K-means算法改进后的BP神经网络测距算法的均方根误差为1.288 7 m,降低了测距误差,并优化了目标RSSI值与真实距离的映射关系.     

Research on fault location technology based on BP neural network in DWDM optical network

BP neural network is introduced to the fault location field of DWDM optical network in this paper. The alarm characteristics of the optical network equipments are discussed, and alarm vector and fault vector diagrams are generated by analyzing some typical instances. A 17 × 14 × 18 BP neural network structure is constructed and trained by using MATLAB. By comparing the training performances, the best training algorithm of fault location among the three training algorithms is chosen. Numerical simulation results indicate that the sum squared error （SSE） of fault location is less than 0.01, and the processing time is less than 100 ms. This method not only well deals with the missing alarms or false alarms, but also improves the fault location accuracy and real-time ability.     

LIBS结合GA-BP神经网络与GA-SVM对塑料分类研究北大核心CSCD

塑料制品回收力度小、重复利用率低,造成环境污染和资源浪费,因此对废旧塑料精确分类是提高塑料回收的关键。本文采用激光诱导击穿光谱(LIBS)技术结合遗传算法优化误差反向传播神经网络(GA-BP)和支持向量机(GA-SVM)对常见的10种塑料进行分类识别。利用LIBS技术对塑料样品进行处理,分别采集每种塑料样品100组光谱。对采集到的原始光谱做滤波和归一化处理,提取光谱中14条主要的特征谱线,分别建立GA-BP神经网络和GA-SVM模型。实验结果表明,GA-BP神经网络对塑料的识别性能优于GA-SVM,其中GA-BP神经网络识别精度为99.25%,原因是GA-SVM利用升维算法实现对数据集的分类,在塑料样品种类多的情况,分类效果不及GA-BP神经网络。因此,利用LIBS技术结合不同的识别算法,可以实现对多种塑料样品的分类,也为研究不同算法对塑料样品分类识别提供研究思路。     

启发式改进BPNN在模式分类领域内的对比研究

采用附加动量BP算法、自适应最速下降BP算法、自适应动量BP算法、弹性BP算法4种启发式改进方法分别对标准BP算法进行改进,并构建了相应的BP神经网络分类模型,将构建的4种分类模型应用于二维向量模式的分类,并进行了泛化能力测试,将4种BP网络分类模型的分类结果进行对比。仿真结果表明,对于中小规模的网络而言,弹性BP算法改进的BP网络的分类结果最为精确,收敛速度最快,分类性能最优;附加动量BP算法改进的BP网络的分类结果误差最大,收敛速度最慢,分类性能最差;自适应学习速率BP算法改进的BP网络的分类结果的误差值、收敛速度及分类性能介于上述两种算法之间。     

基于双BP神经网络的室内可见光定位算法

为提高室内可见光定位的精度,提出了一种基于双反向传播(BP)神经网络的单发光二极管(LED)灯室内定位算法.首先在定位区域内使用BP神经网络确定待测目标粗略的位置范围,然后以该位置范围为限制条件,再次使用BP神经网络实现更精确的定位.室内定位系统采用单个LED灯作为发射器,3个水平光电探测器作为接收器接收光功率,避免了...     

模拟电路故障诊断中的特征信息提取

在运用BP神经网络进行模拟电路故障诊断过程中,代表故障特征的网络输入至关重要。分析了常见特征信息提取和故障诊断方法,提出一种基于多测试点、多特征信息原始样本集的新方法。运用这种方法构造原始故障特征集,然后作为BP神经网络的输入对网络进行训练,仿真结果表明,通过该方法构造的样本集训练出来的网络对模拟电路故障诊断的正确率优于传统方法,证明了该方法在模拟电路故障诊断中的可行性,为模拟电路的故障诊断提供了一种新方法。     

Cloud security situation prediction method based on grey wolfoptimization and BP neural network

Aiming at the accuracy and error correction of cloud security situation prediction, a cloud security situation prediction method based on grey wolf optimization (GWO) and back propagation (BP) neural network is proposed.Firstly, the adaptive disturbance convergence factor is used to improve the GWO algorithm, so as to improve theconvergence speed and accuracy of the algorithm. The Chebyshev chaotic mapping is introduced into the positionupdate formula of GWO algorithm, which is used to select the features of the cloud security situation prediction dataand optimize the parameters of the BP neural network prediction model to minimize the prediction output error.Then, the initial weights and thresholds of BP neural network are modified by the improved GWO algorithm toincrease the learning efficiency and accuracy of BP neural network. Finally, the real data sets of Tencent cloudplatform are predicted. The simulation results show that the proposed method has lower mean square error (MSE)and mean absolute error (MAE) compared with BP neural network, BP neural network based on genetic algorithm(GA-BP), BP neural network based on particle swarm optimization (PSO-BP) and BP neural network based onGWO algorithm (GWO-BP). The proposed method has better stability, robustness and prediction accuracy.     

具有渐进局部学习特性的多色Voronoi分类器设计

本文提出了一种多色Voronoi分类器MCVC。MCVC在学习样本上有好的边界推广性随着样本数量的增加MCVC的分类面可以逼近任意的分类函数。MCVC具有好的局部特性,对新加样本的训练只影响其周围的局部性态,不会对全局产生大的影响,可以克服神经网络方法对样本的过学习问题。实验表明MCVC对于线性和非线性分类问题都具有最优分类面。     

Meta-transfer-adjustment learning for few-shot learning

Deep neural network models with strong feature extraction capacity are prone to overfitting and fail to adapt quickly to new tasks with few samples. Gradient-based meta-learning approaches can minimize overfitting and adapt to new tasks fast, but they frequently use shallow neural networks with limited feature extraction capacity. We present a simple and effective approach called Meta-Transfer-Adjustment learning (MTA) in this paper, which enables deep neural networks with powerful feature extraction capabilities to be applied to few-shot scenarios while avoiding overfitting and gaining the capacity for quickly adapting to new tasks via training on numerous tasks. Our presented approach is classified into two major parts, the Feature Adjustment (FA) module, and the Task Adjustment (TA) module. The feature adjustment module (FA) helps the model to make better use of the deep network to improve feature extraction, while the task adjustment module (TA) is utilized for further improve the model’s fast response and generalization capabilities. The proposed model delivers good classification results on the benchmark small sample datasets MiniImageNet and Fewshot-CIFAR100, as proved experimentally.     

初始权值优化技术在机器人学习中的应用

针对移动机器人建立了基于BP神经网络的智能避障控制模型,提出了初始权值优化技术,使得样本组与初始权值相匹配,显著地提高了网络的收敛速度.为了提高系统的实时性,文中采用C和汇编语言混合编制控制程序.计算机仿真和实测结果表明该系统具有学习能力强、人机交互效果好等优点.     

基于群卷积神经网络的恶意域名检验方法

针对恶意域名检测中存在的随机性大、现实样本少的缺陷,导致深度学习模型训练易出现过拟合的问题,提出了一种基于群卷积神经网络的恶意域名检测方法。首先将域名转换为嵌入词向量表示,然后通过随机维度组合生成随机数据集并构建卷积神经网络组,鉴于Inception结构优势将其加入到网络中,最后针对数据集易出现的类间样本失衡问题,引入了类间平衡系数以抑制模型训练过拟合,提高模型泛化能力。实验结果表明,在采集的域名检测数据集上,所构建的模型能够有效实现恶意域名检测;经过参数优化,相比于浅层模型组合分类器与典型深度神经网络模型LSTM-CNN,群卷积神经网络对所构建的域名检测集检测准确率分别提升了4%、1%,达到98.9%。