基于改进sigmoid激活函数的深度神经网络训练算法研究

针对深度神经网络训练过程中残差随着其传播深度越来越小而使底层网络无法得到有效训练的问题,通过分析传统sigmoid激活函数应用于深度神经网络的局限性,提出双参数sigmoid激活函数。一个参数保证激活函数的输入集中坐标原点两侧,避免了激活函数进入饱和区,一个参数抑制残差衰减的速度,双参数结合有效的增强了深度神经网络的训练。结合DBN对MNIST数据集进行数字分类实验,实验表明双参数 sigmoid激活函数能够直接应用于无预训练深度神经网络,而且提高了sigmoid激活函数在有预训练深度神经网络中的训练效果。     

物流中心选址算法改进及其Hopfield神经网络设计

在分析物流中心选址传统算法的基础上,引入一种新的选址模型,该模型能减少决策变量和约束条件的个数.利用该模型设计了一种Hopfield神经网络,将约束合并进网络结构从而将罚函数从能量函数中消除,使得网络的运行时间显著降低.为物流中心选址优化提供了一种新的方法.     

基于残差的改进卷积神经网络图像分类算法

现有深度残差网络作为一种卷积神经网络的变种,由于其良好的表现,被应用于各个领域,深度残差网络虽然通过增加神经网络深度获得了较高的准确率,但是在相同深度情况下,仍然有其他方式提升其准确率.本文针对深度残差网络使用了三种优化方法：（1）通过卷积网络进行映射实现维度填充;（2）构建基于SELU激活函数的残差模块（3）学习率随迭代次数进行衰减.在数据集Fashion-MNIST上测试改进后的网络,实验结果表明：所提出的网络模型在准确率上优于传统的深度残差网络.     

基于Hopfield神经网络算法的WSN路径优化

针对无线传感器网络（WSN）能量有限的特点,提出一种新的基于Hopfield神经网络的路由优化算法,同时给出能量函数各参数之间的关系。通过Matlab软件对不同规模的网络进行仿真,仿真结果表明,该算法是可行的。     

离散Hopfield神经网络的稳定性分析

主要研究非对称离散Hopfield神经网络并行演化方式的动力学行为，同时给出了网络的一些新的稳定性条件，所获结果不仅推广了一些已有的结论，而且为该网络的应用提供了一定的理论基础。     

小波Hopfield神经网络及其在优化中的应用

通过把Hopfield神经网络的sigmoid激励函数替换为Morlet小波函数,提出了一种新型的Hopfield神经网络——小波Hopfield神经网络(WHNN)。由于Morlet小波函数具有良好的局部逼近能力和较高的非线性度,因此WHNN在非线性函数寻优上表现出令人满意的较高精确度的效果。一个典型的函数优化例子表明小波Hopfield神经网络比Hopfield神经网络有较高的精确度。     

基于改进的卷积神经网络的道路井盖缺陷检测研究

道路井盖缺陷检测对于道路维护与安全至关重要,论文提出了一种改进的卷积神经网络算法,可实现井盖缺陷的快速、准确检测。算法对卷积神经网络的激活函数模型进行了改进,针对Relu激活函数在输入小于零时输出设为零,导致部分缺陷信息丢失问题,设计了MReLu和BReLu两种改进激活函数。在此基础上,为了增强神经网络模型的特征表达能力,提出了双层激活函数模型。最后,在公共数据集MNIST,CIFAR-10上进行了比较实验,网络主要参数有批处理大小(batch size)为32,最大迭代次数为1000次,学习率为0.0001,每经过5000次迭代衰减50%。实验结果表明,基于改进后的激活函数和应用双层激活函数所构造的卷积神经网络,大大减少了训练参数,不仅收敛速度更快,而且可以更加有效地提高分类的准确率。     

Hopfield网络求解TSP的算法改进

本文在对Hopfield神经网络求解旅行商(TSP)问题的算法进行研究的基础上结合实例针对典型改进算法的优缺点作了进一步探讨。     

新型LeNet-FC卷积神经网络模型算法的研究

针对已有的卷积神经网络（Convolutional Neural Network，CNN）在人脸识别训练中出现过拟合、收敛速度慢以及识别准确率不高的问题，提出了新型的LeNet-FC卷积神经网络模型。通过增加网络层、缩小卷积核等结构改进以及采用优化的对数-修正线性单元（Logarithmic Rectified Linear Unit，L_ReLU）激活函数，该模型在人脸识别训练的准确率达到了99.85%。同时基于LeNet-FC卷积神经网络模型设计了一个人脸识别系统。该系统在ORL人脸库的仿真测试实验中识别准确率达到了96%。     

激活函数可调的RBF神经网络模型

RBF神经网络是一种新颖的前馈神经网络,相比传统的BP神经网络具有更强的函数逼近、分类能力,以及更快的学习速度.在实际应用和科学研究中,不同径向基函数的选择对RBF神经网络的性能有很大的影响,一般是根据经验或者实验效果来选择适当的径向基函数.本文提出一种激活函数可调的RBF神经网络模型,将具有不同表达能力的径向基函数通过线性组合的形式形成新的神经元激活函数,进而提高神经网络的逼近精度和泛化能力,对于有监督学习,给出了相应的各参数的训练算法和应用举例.     

具有混沌激励函数的BP网络算法

该文讨论了BP网络学习过程中的假饱和现象,并给出了一种改进的算法,有效地解决了假饱和的问题。仿真结果表明,该方法不但可以提高网络学习的快速性,而且具有一定的避免权值落入局部极小点的能力,从而提高了网络的收敛精度,同时,该算法还能提高网络的泛化能力。     

延迟离散Hopfield神经网络的异步动态行为

利用网络的状态转移方程和能量函数来研究带有延迟项的离散Hopficld神经网络动力学行为,给出了非对称的延迟离散Hopfield神经网络异步收敛的几个充分条件。所获结果不仅推广了一些已有的结论,而且为网络的应用提供了一定的理论基础。     

一种新的RBF神经元网络分类算法

为了改善对人工神经网络行为的认识和研究中的"黑匣子"式的难以处理的状态,基于RBF神经元模型的几何解释,提出了一种新的RBF神经网络分类算法,算法把RBF神经元看作是高维空间里的超球面,从而将神经网络训练问题转化为点集"包含"问题.同传统的RBF网络相比,算法能够自动地优化RBF网络中核函数的个数、中心和宽度,同时,省去了传统RBF神经网络输出层线性连接权的计算,简化了网络的学习过程,大大缩短了训练时间,并且通过实验证明了算法的有效性.     

Convergence of discrete delayed Hopfield neural networks

The discrete delayed Hopfield neural networks is an extension of the discrete Hopfield neural networks. In this paper, the convergence of discrete delayed Hopfield neural networks is mainly studied, and some results on the convergence are obtained by using Lyapunov function. Several new sufficient conditions for the delayed networks converging towards a limit cycle with period at most 2 are proved in parallel updating mode. Also, some conditions for the delayed networks converging towards a limit cycle with 2-period are investigated in parallel updating mode. All results established in this paper extend the previous results on the convergence of both the discrete Hopfield neural networks, and the discrete delayed Hopfield neural networks in parallel updating mode.     

基于连续函数的自反馈Hopfield神经网络图像复原算法

在分析图像复原的Hopfield神经网络恢复算法的基础上,提出了一种基于连续函数的全并行自反馈改进算法,利用该算法对匀速直线运动模糊图像进行复原,并与Paik方法得到的复原图像进行比较,发现该方法得到的复原图像信噪比提高显著,且恢复过程加快。     

采用变参数激励函数的人工神经网络

隐层神经元采用相同的激励函数会限制网络的非线性表达能力,因此,提出变参数激励函数,在学习中同时调整网络权值和激励函数的参数,增强网络的表达能力。并使用遗传算法与MBP结合的学习算法训练网络,此方法具有全局收敛能力和很高的精度。     

非单调的多层神经网络

介绍了应用非单调函数作为隐层节点的激励函数的前馈多层神经网络的性能。并对以前神经网络中的两个难点：局部极小和收敛速度慢的问题进行分析。表明了采用非单调激励函数的神经网络能够较好地解决局部极小的问题。最后的实验结果也表明了该网络的性能要好于采用Ｓ型函数的神经网络的性能。     

基于凸函数理论的Hopfield网络稳定性分析

讨论连接权值不对称或激活函数非单调的离散时间Hopfield网络稳定性分析。引入新的能量函数,利用凸函数的性质证明随状态的更新网络能量函数单调下降从而得出网络收敛的充分条件。对于激活函数为非单调的连续函数而网络连接权值对称,则当网络连接权值矩阵的最大特征值和神经元激活函数的导数下确界之积大于-1时,网络全并行收敛。对于网络激活函数为单调连续函数,网络连接权值为非对称矩阵时,神经元激活函数导数的最大值和连接权值矩阵的2-范数之积小于1时,网络全并行收敛。