基于改进遗传算法的RBF神经网络结构优化研究

针对RBF神经网络隐含层节点数过多导致网络结构复杂的问题,提出了一种基于改进遗传算法(IGA)的RBF神经网络优化算法。利用IGA优化基于正交最小二乘法的RBF神经网络结构,通过对隐含层输出矩阵的列向量进行全局寻优,从而设计出结构更优的基于IGA的RBF神经网络(IGA-RBF)。将IGA-RBF神经网络的学习算法应用于电子元器件贮存环境温湿度预测模型,与基于正交最小二乘法的RBF神经网络进行比较的结果表明:IGA-RBF神经网络设计出来的网络训练步数减少了44步,隐含层节点数减少了34个,且预测模型得到的温湿度误差较小,拟合精度大于0.95,具有更高的预测精度。     

基于粗糙集遗传神经网络的柴油机故障诊断

提出一种基于粗糙集和遗传算法的BP神经网络故障诊断方法,解决基本BP网络收敛速度慢、精度低、易陷入局部极小值问题.运用粗糙集理论对训练样本进行属性约简,简化BP网络输入维数.设计2次遗传算法训练BP网络,第一次优化神经网络隐含层节点个数,第二次在神经网络结构确定的情况下,优化网络连接权值.以柴油机进、排气阀故障为例,应用提出的方法进行仿真,仿真结果证明了该方法能够优化神经网络结构,提高故障诊断速度和准确率.     

基于小生境-遗传算法优化的新型BP模型

为解决传统BP神经网络模型易陷入局部极小点、网络结构不稳定、收敛速度慢等问题,提出了一个小生境遗传算法优化的BP神经网络模型。该网络模型借助BP神经网络的非线性映射和学习联想能力和小生境遗传算法的搜索能力,利用小生境遗传算法的选择、交叉、变异及小生境淘汰等操作,来对BP神经网络的初始权值和阈值进行优化,同时使用BP算法来训练该模型,从而有效地解决了网络初值不合理的问题,提高了网络收敛速度、稳定性。实验证明：与传统方法相比,该模型具有很强的可行性和有效性。     

基于组合算法的RBF神经网络列车轮对缺陷识别

提出了一种基于动态聚类和遗传算法相结合的组合RBF网络训练方法;采用动态聚类法对样本数据进行聚类,使RBF神经网络的隐含层节点中心数在训练过程中自动确定,使用经验公式作为标准,选取最优聚类数,采用遗传算法对隐层中心和宽度以及隐层到输出层的权值进行优化,在全局范围内寻找网络的最优模型;最后对轮对缺陷进行纹理特征提取,并组成训练样本和测试样本,输入到网络进行训练与测试;实验结果表明,与传统方法比较,该组合方法具有较高的识别率。     

集成重复训练极限学习机的数据分类

极限学习机是一种随机化算法,它随机生成单隐含层神经网络输入层连接权和隐含层偏置,用分析的方法确定输出层连接权。给定网络结构,用极限学习机重复训练网络,会得到不同的学习模型。本文提出了一种集成模型对数据进行分类的方法。首先用极限学习机算法重复训练若干个单隐含层前馈神经网络,然后用多数投票法集成训练好的神经网络,最后用集成模型对数据进行分类,并在10个数据集上和极限学习机及集成极限学习机进行了实验比较。实验结果表明,本文提出的方法优于极限学习机和集成极限学习机。     

深度神经网络轧制力建模及其并行优化研究北大核心CSCD

冷连轧过程控制的轧制力模型是整个轧制过程计算机控制的基础。为提高5机架2030冷连轧系统轧制力模型的精度和适用性,提出了多输入多输出深度神经网络轧制力模型的数据预处理、建模和并行优化方法。对含有不同隐含层数和节点数的神经网络,采用不同训练算法(SCG算法和L-M算法)与不同优化方法(多线程CPU、单GPU和多线程CPU+GPU),研究了神经网络结构、训练算法和优化方法对神经网络轧制力模型的性能、训练时长、线性相关系数的影响。研究结果表明:含有2个隐含层、采用L-M算法和多线程CPU优化方法可获得综合性能最优的神经网络轧制力模型;神经网络轧制力模型的计算误差远小于在线使用的Siemens轧制力模型的计算误差。     

基于LM算法的神经网络语音识别

由于语音识别中朵用标准BP算法存在的训练速度慢、容易陷入局部极小等问题，提出一种基于稳定、快速的Levenberg-Marquardt算法的神经网络语音识别方法，主要包括语音信号预处理、特征提取、网络结构优化设计、网络学习训练和语音识别等过程。其中网络隐含层节点数的选取采用黄金分割优选法。试验仿真表明，LM算法明显提高了网络训练速度，减少了训练时间，其效果优越于标准BP算法。     

基于全神经网络增强算法的WSNs故障预警与检测

针对现有WSNs故障检测算法存在的故障分类检测率低、耗时长、节点能耗控制差等问题,提出一种全神经网络增强故障预警与检测算法。全神经网络的神经元节点与临近层的节点连接,形成具有强大故障数据训练功能的深度网络结构,选择平滑性更好的sigmoid函数作为模型的激活函数,并基于感知机合理调节相邻两个隐含层之间的阈值权重,降低模型的训练损失;采用Adam优化算法抑制模型的梯度膨胀和梯度消失等异常情况,并消除训练中产生的数据冗余,以降低故障数据训练中产生的虚预警。实验结果显示:提出算法的总体故障检测率和不同类型故障的分类检测率都优于传统算法,此外全神经网络增强算法在节点故障检测耗时和能耗控制方面,也具有显著优势。     

基于免疫RBF神经网络的逆运动学求解

求解机械臂逆运动学问题可以采用神经网络来建立逆运动学模型,通过遗传算法或BP算法训练神经网络的权值从而得到问题的解,在求解精度和收敛速度上有待进一步改进。采用人工免疫原理对RBF网络训练数据集的泛化能力在线调整隐层结构,生成RBF网络隐层。当网络结构确定时,采用递推最小二乘法确定网络连接权值。由此对神经网络的网络结构和连接权进行自适应调整和学习。通过仿真可以看出,用免疫原理训练的神经网络收敛速度快,泛化能力强,可大幅提高机械臂逆运动学求解精度。     

粗糙集约简的WNN隐层节点优化方法

在确保网络性能的前提下,如何确定最佳隐层节点,获得最简网络结构是小波神经网络(WNN)应用推广的关键.对此,引入粗糙集理论,提出了基于信息熵的卡方离散化算法和启发式的属性约简递归算法,利用粗糙集约简过程对WNN隐层节点进行精简,并将其应用于飞行器气动力建模.仿真结果表明,采用改进的粗糙集方法设计WNN,不仅能够简化网络结构,而且与未经结构优化的WNN相比,其模型精度和训练速度都得到了实质性改善.     

基于遗传算法优化投影寻踪技术的神经网络集成模型及其应用

首先利用遗传算法优化的投影寻踪技术对神经网络学习矩阵降维,再利用Bagging技术和不同的神经网络学习算法生成集成个体,并再次用遗传算法进化的投影寻踪技术对神经网络个体集成.建立基于遗传算法优化的投影寻踪技术神经网络集成模型,通过上证指数开盘价、收盘价进行实例分析,计算结果表明该方法具有较好的学习能力和泛化能力,在股市预测中预测精度高、稳定性好.     

基于自适应感受野机制的颈部淋巴结自动识别算法

针对目前应用于医学影像目标检测的深度学习网络模型仅拥有固定的感受野,无法针对形态尺度差异明显的颈部淋巴结进行有效检测的问题,提出了一种新的基于自适应感受野机制的识别算法,将深度学习首次应用于完全三维医学图像的颈部淋巴结自动识别中。首先,采用半随机采样方法对医学序列图像进行裁剪,生成基于网格的局部图像块及对应真值标签;然后,通过局部图像块及标签构建并训练基于自适应感受野机制的DeepNode网络;最后,利用预训练的DeepNode网络模型进行预测,通过输入整体序列图像,可以端到端且快速地获得整体序列对应的颈部淋巴结识别结果。在颈部淋巴结数据集中,采用DeepNode网络识别颈部淋巴结的召回率可达98.13%,精确率可达97.38%,每次扫描的假阳性数量仅为29,同时耗时相对较短。实验结果分析表明,与当前表现优良的二维与三维卷积神经网络相结合的算法、三维通用目标检测算法、基于弱监督定位的识别算法等相比,所提算法可以实现颈部淋巴结的自动识别,并取得最优的识别效果。该算法端到端,简单高效,易于扩展到其他医学图像的三维目标检测任务中,可应用于临床的诊断和治疗。     

基于多遗传算法的BP神经网络人脸识别

人脸识别应用十分广泛,在实际问题中较高的识别率十分重要,其中BP神经网络模型广泛用于人脸识别.然而在现实应用中,BP神经网络结构和权值阈值的选取往往依靠经验值,这使得BP神经网络存在容易陷入局部最优和收敛速度慢等问题。针对该问题,提出了一种基于多遗传算法优化BP神经网络结构和权值阈值的人脸识别方法。利用主成分分析算法对人脸图像进行降维,快速独立成分分析算法对人脸图像进行特征提取,以组合算法的方式使得处理后的人脸图像特征更加明显。通过第一层遗传算法优化BP神经网络的结构,第二层遗传算法优化BP神经网络的权值阈值,以此解决BP神经网络陷入局部最优和收敛速度慢等问题。基于ORL人脸库进行仿真验证,实验结果表明该算法具有较高的识别率。     

C-Canny算法和改进单层神经网络相结合的面部特征点定位

深度学习在面部特征点识别领域已取得了较为显著的成果,然而在处理遮挡、光照、角度不当等复杂条件下的面部图像时,预测数目较多的面部特征点仍是一个具有挑战性的问题。为解决面部多特征点在复杂条件下的定位问题,设计了一种C-Canny算法和改进单层神经网络相结合的网络结构,将传统Canny算法应用到面部区域定位阶段,使得神经网络可以快速进行面部区域重定位,从而提升识别的准确率。实验结果表明,在300-w和300-vw数据集上与一些传统方法、神经网络相比,该神经网络结构将损失函数的值平均降低了12.2%。     

Neural network algorithms for analyzing multidimensional time series for predicting events and their application to study of Sun-Earth relations

In the paper, an original neural network algorithm for analysis of time series is presented. This algorithm allows predicting the occurrence of a certain event and finding a time interval to which a phenomenon (a precursor or a cause of the event) belongs. The characteristics of the algorithm functioning are investigated applied to the study of the solar-terrestrial relationship. Yu. V. Orlov. Candidate in Physics and Mathematics. Researcher at the Institute of Nuclear Physics, Moscow State University. Scientific interests: neural networks, genetic algorithms, algorithms of pattern recognition and image analysis. Yu. S. Shugai. Researcher at the Institute of Nuclear Physics, Moscow State University. Scientific interests: neural networks, genetic algorithms, algorithms of pattern recognition and image analysis, algorithms of classification and prediction. I. G. Persiantsev. Professor, Doctor in Mathematics and Physics. Head of the Laboratory, Leading Researcher at the Institute of Nuclear Physics, Moscow State University Scientific interests: neural networks, genetic algorithms, algorithms of pattern recognition and image analysis, algorithms of classification and prediction, inverse problems. Laureate of the USSR State Prize. S. A. Dolenko. Candidate in Physics and Mathematics. Senior Researcher at the Institute of Nuclear Physics, Moscow State University. Scientific interests: neural networks, genetic algorithms, algorithms of pattern recognition and image analysis, algorithms of classification and prediction, inverse problems.     

Predicting Aflatoxin Contamination in Peanuts: A Genetic Algorithm/Neural Network Approach

Aflatoxin contamination in peanut crops is a problem of significant health and financial importance. Predicting aflatoxin levels prior to crop harvest is useful for minimizing the impact of a contaminated crop and is the goal of our research. Backpropagation neural networks have been used to model problems of this type, however development of networks poses the complex problem of setting values for architectural features and backpropagation parameters. Genetic algorithms have been used in other studies to determine parameters for backpropagation neural networks. This paper describes the development of a genetic algorithm/backpropagation neural network hybrid (GA/BPN) in which a genetic algorithm is used to find architectures and backpropagation parameter values simultaneously for a backpropagation neural network that predicts aflatoxin contamination levels in peanuts based on environmental data. Learning rate, momentum, and number of hidden nodes are the parameters that are set by the genetic algorithm. A three-layer feed-forward network with logistic activation functions is used. Inputs to the network are soil temperature, drought duration, crop age, and accumulated heat units. The project showed that the GA/BPN approach automatically finds highly fit parameter sets for backpropagation neural networks for the aflatoxin problem.     

遗传算法与BP神经网络相结合的说话人识别系统

基于BP神经网络的说话人识别系统是目前说话人识别中的一种主要模型,但BP神经网络通常难以确定隐含层单元的数目,且收敛速度慢。针对此缺点,提出了一种基于遗传算法（GA）的说话人识别BP神经网络优化方案,该方案利用混合编码的GA对神经网络的连接权和结构进行了优化,可以有效地剔除整个网络冗余节点和冗余连接权,方案利用了BP神经网络的并行性和GA的全局搜索能力,显著地改善了网络的处理能力。实验表明：基于混合编码GA的BP神经网络具有快速学习网络权重的能力,识别率高,是说话人识别的一种有效可行的新方案。     

Combining seasonal time series ARIMA method and neural networks with genetic algorithms for predicting the production value of the mechanical industry in Taiwan

Supplying industrial firms with an accurate method of forecasting the production value of the mechanical industry to facilitate decision makers in precise planning is highly desirable. Numerous methods, including the autoregressive integrated-moving average (ARIMA) model and artificial neural networks can make accurate forecasts based on historical data. The seasonal ARIMA (SARIMA) model and artificial neural networks can also handle data involving trends and seasonality. Although neural networks can make predictions, deciding the most appropriate input data, network structure and learning parameters are difficult. Therefore, this article presents a hybrid forecasting method that combines the SARIMA model and neural networks with genetic algorithms. Analytical results generated by the SARIMA model are inputted as the input data of a neural network. Subsequently, the number of neurons in the hidden layer and the number of learning parameters of the neural network architecture are globally optimized using genetic algorithms. This model is subsequently adopted to forecast seasonal time series data of the production value of the mechanical industry in Taiwan. The results presented here provide a valuable reference for decision makers in industry.     

图网络层级信息挖掘分类算法综述

深度学习作为人工智能的一个研究分支发展迅速,而研究数据主要是语音、图像和视频等,这些具有规则结构的数据通常在欧氏空间中表示。然而许多学习任务需要处理的数据是从非欧氏空间中生成,这些数据特征和其关系结构可以用图来定义。图卷积神经网络通过将卷积定理应用于图,完成节点之间的信息传播与聚合,成为建模图数据一种有效的方法。尽管图卷积神经网络取得了巨大成功,但针对图任务中的节点分类问题,由于深层图结构优化的特有难点——过平滑现象,现有的多数模型都只有两三层的浅层模型架构。在理论上,图卷积神经网络的深层结构可以获得更多节点表征信息,因此针对其层级信息进行研究,将层级结构算法迁移到图数据分析的核心在于图层级卷积算子构建和图层级间信息融合。本文对图网络层级信息挖掘算法进行综述,介绍图神经网络的发展背景、存在问题以及图卷积神经网络层级结构算法的发展,根据不同图卷积层级信息处理将现有算法分为正则化方法和架构调整方法。正则化方法通过重新构建图卷积算子更好地聚合邻域信息,而架构调整方法则融合层级信息丰富节点表征。图卷积神经网络层级特性实验表明,图结构中存在层级特性节点,现有图层级信息挖掘算法仍未对层级特性节点的图信息进行完全探索。最后,总结了图卷积神经网络层级信息挖掘模型的主要应用领域,并从计算效率、大规模数据、动态图和应用场景等方面提出进一步研究的方向。