结合本征分解和抽样学习的快速SVM分类器

为了提高经典支持向量机(SVM)分类器的运算效率,提出一种改进的快速SVM分类器。针对低维空间向高维空间变换时核矩阵运算效率低的问题,采用本征分解方法对核矩阵进行降维处理,得到核矩阵的近似表示;同时,对训练子集进行划分,随机抽样训练样本进行学习,进一步提高SVM分类器的运算效率。图像分类实验结果表明,改进的SVM分类器不仅分类正确率高于经典SVM、随机森林和神经网络分类器,而且训练耗时最少,平均分类耗时也低于经典SVM分类器。     

RBFNN软测量的嵌入式系统仿真与实现

在基于WinCE操作系统的嵌入式平台上。实现基于RBF神经网络的工业过程软仪表。应用无监督K均值聚类确定聚类中心。用可避免矩阵求逆运算的递推最小二乘法训练网络权值的两阶段学习算法训练网络。进一步构造双重RBF网络结构，用一个RBF神经网络训练样本，用另一个独立的RBF神经网络训练误差提高精度。以嵌入式工业计算机作为硬件平台，在基于WinCE的嵌入式系统上用EVC编程实现。在某炼油厂轻柴油凝固点的工业现场，用该软仪表实测数据进行仿真测试，取得了较好的效果。     

补偿模糊神经网络自适应逆控制的仿真研究

该文应用的补偿模糊神经网络（CFNN）是结合补偿模糊逻辑和神经网络的混合系统。由于引入补偿神经元使网络容错性更高，系统更稳定；同时模糊运算采用动态的、全局优化运算，并在神经网络学习算法中动态优化补偿模糊运算，使网络更适应，训练速度更快。将补偿模糊神经网络与白适应逆控制原理结合应用到某位置伺服系统噪声消除控制中，并同用BP网络，传统PID控制和常规模糊神经网络控制效果比较来证明此方法的优越性。仿真结果表明补偿模糊神经网络自适应逆控制在缩短训练时间，提高控制精度等方面都有显著改善。     

应用BP神经网络对自然图像分类

针对图像的低层视觉特征和高层语义特征之间的鸿沟,利用一个多输出的BP神经网络,分析低层视觉特征,提取图像的主要颜色、灰度共生矩阵和7个不变矩向量作为网络的输入,用语义期望值作为网络的输出,并用加入动量因子和自适应学习率的BP算法来训练该网络。训练完成后,该网络能够对自然图像进行多种语义分类,从而建立起了从低层视觉特征到语义特征之间的映射。改进的BP算法提高了训练的速度和可靠性,实验证明,该方法取得了较好的检索查全率和准确率。     

基于信赖域Newton 算法的ELM网络

针对极端学习机(ELM)网络伪逆输出权值计算方法的运算复杂度制约其训练速度问题,提出一种基于信赖域Newton算法的新型ELM网络(TRON-ELM),并采用信赖域Newton算法求解ELM网络的输出权值.该算法首先构造一个ELM网络代价函数的Newton方程,并将其作为一个无约束优化问题,采用共轭梯度法求解,避免了求代价函数Hessian矩阵逆的运算,提高了训练速度,信赖域条件的存在保证了算法的整体收敛性.仿真实验结果验证了所提出方法的有效性.     

基于多视图集成的网络表示学习算法

现有的网络表示学习算法主要为基于浅层神经网络的网络表示学习和基于神经矩阵分解的网络表示学习。基于浅层神经网络的网络表示学习又被证实是分解网络结构的特征矩阵。另外,现有的大多数网络表示学习仅仅从网络的结构学习特征,即单视图的表示学习;然而,网络本身蕴含有多种视图。因此,文中提出了一种基于多视图集成的网络表示学习算法(MVENR)。该算法摈弃了神经网络的训练过程,将矩阵的信息融合和分解思想融入到网络表示学习中。另外,将网络的结构视图、连边权重视图和节点属性视图进行了有效的融合,弥补了现有网络表示学习中忽略了网络连边权重的不足,解决了基于单一视图训练时网络特征稀疏的问题。实验结果表明,所提MVENR算法的性能优于网络表示学习中部分常用的联合学习算法和基于结构的网络表示学习算法,是一种简单且高效的网络表示学习算法。     

一种基于数据并行的过程神经网络训练算法

针对过程神经网络时空聚合运算机制复杂、学习周期长的问题,提出了一种基于数据并行的过程神经网络训练算法。该方法基于梯度下降的批处理训练方式,应用MPI并行模式进行算法设计,在局域网内实现多台计算机的机群并行计算。文中给出了基于数据并行的过程神经网络训练算法和实现机制,对不同规模的训练函数样本集和进程数进行了对比实验,并对加速比、并行效率等算法性质进行了分析。实验结果表明,根据网络和样本规模适当选取并行粒度,算法可较大提高过程神经网络的训练效率。     

一种新的粗糙神经网络的构造算法研究

将粗糙集理论同神经网络结合起来,提出了一种新的粗糙神经网络的构造算法。该算法针对含有连续属性的不一致决策表,采用整体离散化方法,对连续属性离散化,并用离散后的结果作为输入向量;然后利用粗糙集理论对不一致性决策表进行属性约简,减少神经网络的输入向量;最后使用经典数据对该神经网络进行训练。结果表明本神经网络提高了网络的收敛速度和泛化能力,改善了网络的预测性能。     

一种基于数据并行的过程神经网络训练算法

针对过程神经网络时空聚合运算机制复杂、学习周期长的问题,提出了一种基于数据并行的过程神经网络训练算法。该方法基于梯度下降的批处理训练方式,应用MPI并行模式进行算法设计,在局域网内实现多台计算机的机群并行计算。文中给出了基于数据并行的过程神经网络训练算法和实现机制,对不同规模的训练函数样本集和进程数进行了对比实验,并对加速比、并行效率等算法性质进行了分析。实验结果表明,根据网络和样本规模适当选取并行粒度,算法可较大提高过程神经网络的训练效率。     

一种基于神经网络复杂度的修剪算法

针对神经网络结构设计问题,提出一种基于神经网络复杂度的修剪算法.其实质是在训练过程中,利用网络连接权矩阵的协方差矩阵计算网络的信息熵,获得网络的复杂度;在保证网络信息处理能力的前提下,删除对网络复杂度影响最小的隐节点.该算法不要求训练网络到代价函数的极小点,适合在线修剪网络结构,并且避免了结构调整前的网络权值预处理.通过对典型函数逼近的实验结果表明,该算法在保证网络逼近精度的同时,可有效地简化网络结构.     

进化神经网络在倒立摆控制中的应用

倒立摆作为典型的非线性系统，伴随着多变量、快速运动和绝对不稳定的特征，难于建立精确的数学模型，这就使得对倒立摆的控制变得异常困难和复杂。智能控制理论则是解决此问题的一个有效途径，该文针对倒立摆控制的传统神经网络算法（即BP算法）的缺点，将遗传算法与神经网络结合起来，提出了倒立摆的进化神经网络控制方法。控制器在结构上采用神经网络，利用遗传算法优化神经网络的连接权值。实验研究表明，该控制器不仅具有良好的动态和稳态控制性能，而且对于干扰也具有很强的抑制能力。同时还具备结构简单，易于实现的优点。     

基于神经网络的解耦控制方法

本文介绍了BP算法的基本原理及其实现步骤,并将BP算法应用于神经网络解耦器和PID神经网络的训练中,即本文中各个神经网络的训练算法均采用BP算法,提出了一种神经网络在线解耦控制算法,即将神经网络解耦和神经网络PID控制两者结合,对系统进行解耦控制。将解耦与控制结合,既避免了单独采用自适应PID控制时控制效果不佳的问题,又避免了单独采用解耦时原有控制器不能适应变化后的对象问题。最后对一组双输入双输出耦合系统进行了仿真研究。     

基于小生境技术的火灾图像识别算法

火灾图像识别是火灾探测研究的重要组成部分。随着人工智能技术应用的不断深入,遗传算法和神经网络也被应用到火灾图像识别中。针对目前的遗传神经网络火灾图像识别算法、网络结构不易确定的问题,本文提出了一种基于小生境技术的火灾图像识别算法,即依据火灾图像识别的特点,建立了多层前向神经网络模型,模型的输入、输出层节点数确定,隐含层数、隐含层节点数待定;然后对网络结构和权值、阈值编码,分别采用小生境技术和传统遗传算法训练神经网络模型。实验结果显示,本算法可有效减少进化的代数,加快训练的过程,最后采用训练好的神经网络模型对火灾图像进行识别,取得了较好的效果。     

多层前向人工神经网络图像分类算法

传统人工神经网络的输入均为向量形式,而图像由矩阵形式表示,因此,在用人工神经网络进行图像处理时,图像将以向量形式输入至神经网络,这破坏了图像的结构信息,从而影响了图像处理的效果。为了提高网络对图像的处理能力,文中借鉴了深度学习的思想与方法,引进了具有矩阵输入的多层前向神经网络。同时,采用传统的反向传播训练算法(BP)训练该网络,给出了训练过程与训练算法,并在USPS手写数字数据集上进行了数值实验。实验结果表明,相对于单隐层矩阵输入前向神经网络(2D-BP),所提多层网络具有较好的分类效果。此外,对于彩色图片分类问题,利用所提出的2D-BP网络,给出了一个有效的可行方法。     

A new synthesis approach for feedback neural networks based on theperceptron training algorithm

In this paper, a new synthesis approach is developed for associative memories based on the perceptron training algorithm. The design (synthesis) problem of feedback neural networks for associative memories is formulated as a set of linear inequalities such that the use of perceptron training is evident. The perceptron training in the synthesis algorithms is guaranteed to converge for the design of neural networks without any constraints on the connection matrix. For neural networks with constraints on the diagonal elements of the connection matrix, results concerning the properties of such networks and concerning the existence of such a network design are established. For neural networks with sparsity and/or symmetry constraints on the connection matrix, design algorithms are presented. Applications of the present synthesis approach to the design of associative memories realized by means of other feedback neural network models are studied. To demonstrate the applicability of the present results and to compare the present synthesis approach with existing design methods, specific examples are considered.     

Aerodynamic Effects Compensation on Multi-Rotor UAVs Based on a Neural Network Control Allocation Approach

This paper shows that the aerodynamic effects can be compensated in a quadrotor system by means of a control allocation approach using neural networks. Thus, the system performance can be improved by replacing the classic allocation matrix, without using the aerodynamic inflow equations directly. The network training is performed offline, which requires low computational power. The target system is a Parrot MAMBO drone whose flight control is composed of PD-PID controllers followed by the proposed neural network control allocation algorithm. Such a quadrotor is particularly susceptible to the aerodynamics effects of interest to this work, because of its small size. We compared the mechanical torques commanded by the flight controller, i.e., the control input, to those actually generated by the actuators and established at the aircraft. It was observed that the proposed neural network was able to closely match them, while the classic allocation matrix could not achieve that. The allocation error was also determined in both cases. Furthermore, the closed-loop performance also improved with the use of the proposed neural network control allocation, as well as the quality of the thrust and torque signals, in which we perceived a much less noisy behavior.      

基于分支定界和神经网络的实时调度策略

为解决一些对精度和实时性要求较高的调度问题,设计一个基于分枝定界算法和人工神经网络的实时调度算法.策略先使朋分枝定界算法来找到m个作业的最佳排序.在生成足够多的排序以后,将排序作为训练样本来训练一个m维人工神经网络,从而得到一个m维的人工种经网络主矩阵.在实际的乍产环境中,先对实际到达的n(n>m)个作业进行分组,再利用离线生成的人工神经网络主矩阵对每个分组进行初始排序.最后将每个分组看作一个整体,根据Palmer算法得到n个作业的最终排序.仿真表明该策略具有较好的实时性,同时也能达到较高的精确性.     

构造型神经网络在故障诊断中的应用研究

提出一种新的故障诊断方法,以便更加有效地解决具有先验知识的故障分类问题。以先验样本点为中心,利用内积判断样本数据的相似度,从而进行聚类分析,在特征空间里作超平面与球面相交,得到一个球面覆盖领域,从而将神经网络训练问题转化为点集的覆盖问题。该算法以构造型神经网络为基础,其特点是直接对故障样本数据进行处理,由于覆盖中心确定,该算法构造出的是隐层元最少的网络结构,有效地克服了传统神经网络训练时间长、学习复杂的问题。计算机仿真实验结果证实了该算法的有效性。     

RCGNN：一种基于实数编码的遗传神经网络预测方法

将遗传算法与神经网络相结合,提出一种实数编码、自适应选择、算术交叉、高斯变异、爬山操作的改进遗传BP神经网络RCGNN,利用遗传算法对神经网络权值和阈值进行优化。以时间序列预测的实例进行编程计算表明,用遗传算法进行网络训练,其收敛速度快,最终总误差最小,预测准确率高。对算法中参数进行的相应研究表明,增加爬山操作次数能很好地提高网络训练的速度,同时使误差下降快;爬山操作越多,收敛速度越快,最终误差越小,但计算运行时间也会增加。     

动作识别中基于深度神经网络和GA合并算法的分类决策方法

针对人体动作识别中传统方法在分类决策方面存在问题和缺陷,提出了一种新颖的基于深度神经网络(DNN)和遗传算法(GA)合并算法的非线性分类决策方法。首先,提出的合并算法在整个训练集合上对特征提取器进行组合,进而组合成不同的两个独立网络;再利用DNN对两个独立网络进行初始化,进一步利用GA对两个网络进行合并。然后将网络的偏差和权重表示为每层网络间的一个矩阵;最后,利用DNN对网络的偏差和权重进行训练,并在合并过程中将矩阵中的每一行当作一个染色体。实验采用了标准MNIST数据集对提出算法的性能进行评估。评估结果显示实验过程中的交叉和突变操作增加了神经元节点,提高了识别性能,并且弱化了不相关和相关神经元节点。因此,提出算法的错误率更低,网络性能更优异。