基于函数正交基展开的过程神经网络学习算法

过程神经网络的输入和连接权均可为时变函数，过程神经元增加了一个对于时间的聚合算子，使网络同时具有时空二维信息处理能力．该文在考虑过程神经网络对时间聚合运算的复杂性的基础上，提出了一种基于函数正交基展开的学习算法．在网络输入函数空间中选择一组适当的函数正交基，将输入函数和网络权函数都表示为该组正交基的展开形式，利用基函数的正交性．简化过程神经元对时间的聚合运算．应用表明，算法简化了过程神经网络的计算复杂度，提高了网络学习效率和对实际问题求解的适应性．以旋转机械故障诊断问题和油藏开发过程采收率的模拟为例验证了算法的有效性．     

一种基于Gaussian函数的双向选择径向基函数神经网络算法

径向基函数神经网络是一类重要的神经网络算法。本文对现有的径向基函数神经网络算法进行了总结分析,将现有算法分为前向选择和后向选择两类。在分析各自优缺点的基础上从提高神经网络泛化能力的角度提出了一种新的基于Gaussian函数的双向选择径向基函数神经网络算法——BSRBF,从数理角度研究了神经元选择的基本技术方法,并对算法的基本思想和具体步骤进行了阐述。最后,用一个实验对比验证了双向选择算法的有效性。     

基于神经网络的自动布局算法

本文提出了一种基于神经网络理论的高速印制版自动布局算法 ,它通过建立布局目标的能量函数 ,利用神经元权值自适应特性 ,从整体上自动优化布局方案 ,以满足约束条件为目标。理论分析结果表明 ,这个算法布局质量优于许多常用的算法 ,具有快捷、灵活的特点 ,适于 PCB元件布局     

泛函网络神经元构造理论与方法

泛函网络是近年提出的一种对神经网络的有效推广.与神经网络不同,它处理的是一般的泛函模型,它在各个神经元之间的连接没有权值,并且神经元函数不固定的,往往是一给定的基函数的组合,泛函网络学习的目的就是求出神经元函数的精确表达式或近似表达式. 迄今关于泛函网络神经元基函数的存在性和选取方法缺乏理论依据.文中基于Banach空间中偏序理论,分析了泛函网络神经元基函数的存在性,给出了泛函网络神经元基函数选取方法,对于完善泛函网络的基础理论具有参考价值.     

多核并行脉冲神经网络模拟器的设计

脉冲神经网络属于第三代人工神经网络,它是更具有生物可解释性的神经网络模型。随着人们对脉冲神经网络不断深入地研究,不仅神经元空间结构更为复杂,而且神经网络结构规模也随之增大。以串行计算的方式,难以在个人计算机上实现脉冲神经网络的模拟仿真。为此,设计了一个多核并行的脉冲神经网络模拟器,对神经元进行编码与映射,自定义路由表解决了多核间的网络通信,以时间驱动为策略,实现核与核间的动态同步,在模拟器上进行脉冲神经网络的并行计算。以Izhikevich脉冲神经元为模型,在模拟环境下进行仿真实验,结果表明多核并行计算相比传统的串行计算在效率方面约有两倍的提升,可为类似的脉冲神经网络的模拟并行化设计提供参考。     

基于RBF神经网络的网格数据聚类方法

把径向基函数（RBF）神经网络和网格结合起来，提出了一种能够并行处理数据和便于增量计算的智能聚类方法。介绍了网格聚类原理、RBF神经网络神经元的数量和基函数的选择，并针对数据聚集区域的位置辨识、提高分辨率和计算速度等问题，深入讨论了聚类策略与聚类算法。仿真表明了该方法的有效性。     

基于熵误差函数Pi-Sigma神经网络在线梯度学习算法

Pi-Sigma神经网络因具有较强的非线性处理能力和较高的学习效率而受到广泛的关注。目前，该网络已经应用于函数逼近、信号处理、模式识别等领域。因此，提出了一种基于熵误差函数的Pi-Sigma神经网络在线学习算法，通过函数逼近及多维数据集分类实验验证了该算法的有效性。结果表明，所提算法在函数逼近、训练精度、测试精度和效率方面均有较好的表现。     

卷积神经网络中激活函数的性质分析与改进

为了提高卷积神经网络模型的效率,针对激活函数进行了研究.通过研究多种激活函数的发展进程,列举各类激活函数的性质,以及在分析模型前向传播和反向传播中激活函数所起到的作用的基础上,提出了改进的激活函数ReLU-XeX,有效的缓解了梯度消失、"神经元坏死"等问题.在MNIST、CIFAR-10、CIFAR-100、MSTAR...     

广义神经网络的研究及其在交通流预测中的应用

提出一种基于线性独立函数的智能神经元模型,理论分析表明这种智能神经元比普通神经元具有更高的知识存储能力,可使整个神经网络的信息处理能力得到大大增强.将这种智能神经元组成的广义神经网络应用于交通流预测,对大连市实测交通流数据进行了预测分析.实验结果表明,该广义神经网络的预测效果远远优于常规BP网络,具有较高的实用价值.     

二进神经网络学习算法研究

把二进神经网络对布尔函数映射的学习归结为神经元对学习样本集合的表达。通过对神经元表达能力的分析研究,引入加权距离汉明球的概念,既提高了学习效率也简化了布尔函数实现结构。同时把汉明球及立方体集合覆盖思想等统一在加权汉明距离球覆盖的框架下,另外,还得到旨在提高输出层神经元表达能力的新结果,最后举例说明了此学习策略的可行性与特点,经学习得到的二进神经网络的权系数及阈值皆为整数,易于硬件实现。     

脉冲响应神经网络的构建

为解决传统人工神经网络在处理输入与输出时具有时滞效应和时间累积效应等的不足,将系统理论中 单位脉冲响应函数融入到神经网络模型,构建了一种新的神经元模型——脉冲响应神经元．并基于此神经元,建立 了单隐层的前馈型脉冲响应神经网络,同时推导出了训练脉冲响应神经网络的BP 学习算法,为脉冲响应神经网络 从理论走向应用奠定基础．通过在降雨径流模拟中的实际应用,脉冲响应神经网络获得了良好的应用效果,说明脉 冲响应神经网络在处理高度非线性复杂映射系统时具有更大的适应性和优越性．     

基于傅立叶级数实现的新型神经网络

提出了一种基于傅立叶级数方式实现的新型神经网络，其神经元模型激活函数为正弦函数型。由傅立叶级数分析可知仅用两层神经网络就能以任意精度近似任何逐段光滑的函数。并且网络中各参数的意义是明确的，这对于揭示神经网络的本质、分析网络误差及确定所需神经元的个数等工作都有重要的意义。     

基于混合方法的BP神经网络结构优化

BP神经网络中,隐层神经元的数目直接影响着整个网络的性能和效率,因而快速确定BP网络的结构是一个重要的环节。本文通过Matlab仿真在函数逼近的对比实验表明,通过这种混合方法可以快速的确定BP神经网络的隐层神经元的数目。     

小波混沌神经网络模拟退火参数研究

小波混沌神经网络已经成功地解决了函数优化和组合优化问题。研究了分段指数退火函数的Morlet小波混沌神经元模型,给出了分段小波混沌神经元的倒分岔图和Lyapunov指数图。在小波混沌神经网络的基础上,加入了分段指数退火函数,提出了一种新的改进的小波混沌神经网络,并把它应用到函数优化和组合优化问题中。仿真结果表明,改善了小波混沌神经网络的寻优能力,改进的小波混沌神经网络优于原来的小波混沌神经网络。     

单体模糊神经网络的函数逼近能力

研究了单体模糊神经网络的函数逼近能力,由于在ＭＦＮＮｓ中神经元的基本运算由原来的积－和运算改为求极小－极大运算,网络的函数逼近性质发生了很大的改变。给出了单调传递函数的ＭＦＮＮｓ按序单调特性,连续映射定理以及非函数一致逼近定理,从而说明ＭＦＮＮｓ虽然能够保持连续映射,但不如原神经网络具有函数逼近能力。     

基于遗传规划实现泛函网络神经元函数类型优化

泛函网络是最近提出的一种对神经网络的有效推广。与神经网络不同,它处理的是一般的泛函模型,其神经元函数不固定,而是可学习的,且在各个处理单元之间没有权值。同神经网络一样,至今还没有系统设计方法能够对给定问题设计出近似最优的结构。鉴于此,将整个泛函网络的设计分解为单个神经元的逐个设计;然后,在此框架下提出了基于遗传规划的单个神经元的设计方法,该方法可实现对神经元函数类型的优化。仿真实验表明,本方法是有效可行的,能用较小的网络规模获得更满意的泛化特性。     

BBL布局的均场退火方法

均场退火方法既可以看作是一种新的神经网络计算模型,又可视为是对模拟退火的重大改进,提出了一个基于均场退火方法的任意单元布局算法,用一个三维二值换位矩阵将问题映射了为神经网络,建立包含重叠约束和优化目标的能量函数,再用均场退火方程迭代求解,每个单元只能放置在布局平面一个位置上的约束,用神经元归一化的方法解决。     

用神经网络求解时间驱动的宏单元布局问题

文中提出了一个宏单元布局的均场退火网络求解方法,算法用一个三维二值换位矩阵将问题映射为神经网络,建立包含时延约束,重叠约束和优化目标的能量函数,再用均场退火方程迭代求解。每个单元只能放置在布局平面一个位置上的约束用神经元归一化的方法解决。     

BP算法的改进及用模拟电路实现的神经网络分类器

基于用模拟电路实现神经网络分类器的目的，对多层静态前馈神经网络的ＢＰ算法做了改进，采用线性限幅函数代替Ｓｉｇｍｏｉｄ函数作为神经元的激活函数，给出了改进的ＢＰ算法。对该算法性能的实验研究表明：这种改进算法不但方便了用线性模拟集成运算放大电路实现神经网络，而且具有学习速度快，映射能力强等优点。根据本文算法设计的神经网络分类器，无论是计算机仿真，还是模拟电路实现，都得到了比较高的识别率。     

神经网络前向传播在GPU上的实现

基于CUDA架构在GPU上实现了神经网络前向传播算法,该算法利用神经网络各层内神经元计算的并行性,每层使用一个Kernel函数来并行计算该层神经元的值,每个Kernel函数都根据神经网络的特性和CUDA架构的特点进行优化。实验表明,该算法比普通的CPU上的算法快了约7倍。研究结果对于提高神经网络的运算速度以及CUDA的适用场合都有参考价值。