基于ArcReLU函数的神经网络激活函数优化研究

近年来深度学习发展迅猛。由于深度学习的概念源于神经网络,而激活函数更是神经网络模型在学习理解非线性函数时不可或缺的部分,因此本文对常用的激活函数进行了研究比较。针对常用的激活函数在反向传播神经网络中具有收敛速度较慢、存在局部极小或梯度消失的问题,将Sigmoid系和ReLU系激活函数进行了对比,分别讨论了其性能,详细分析了几类常用激活函数的优点及不足,并通过研究Arctan函数在神经网络中应用的可能性,结合ReLU函数,提出了一种新型的激活函数ArcReLU。实验证明,该函数既能显著加快反向传播神经网络的训练速度,又能有效降低训练误差并避免梯度消失的问题。     

激活函数在卷积神经网络中的对比研究

近年,深度学习的快速发展致使越来越多的人从事相关的研究工作.但是,许多研究者在搭建深度神经网络模型时只是根据标准算法或改进算法直接搭建,而对算法本身及影响模型性能的因素不甚了解,致使在许多应用中或多或少存在盲目套用现象.通过研究深度神经网络,选择其中的重要影响因素激活函数进行深入研究.首先,分析了激活函数如何影响深度神经网络;接着对激活函数的发展现状及不同激活函数的原理性能进行了分析总结;最后,基于Caffe框架用CNN对Mnist数据集进行分类识别实验,对5种常用激活函数进行综合分析比较,为设计深度神经网络模型时选用激活函数提供参考.     

遗传前馈神经网络在函数逼近中的应用

人工神经网络具有高计算能力、泛化能力和非线性映射等特点,被成功应用于众多领域,但缺乏用于确定其网络拓扑结构、激活函数和训练方法的规则。该文提出利用遗传算法优化前馈神经网络的方法,将网络结构、激活函数和训练方法等编码作为个体,发现最优或次优解,针对特定问题设计较理想的前馈神经网络。介绍遗传算法的具体步骤,对非线性函数逼近进行实验,结果表明优化后前馈神经网络的性能优于由经验确定的前馈神经网络,验证了本文方法的有效性。     

基于改进sigmoid激活函数的深度神经网络训练算法研究

针对深度神经网络训练过程中残差随着其传播深度越来越小而使底层网络无法得到有效训练的问题,通过分析传统sigmoid激活函数应用于深度神经网络的局限性,提出双参数sigmoid激活函数。一个参数保证激活函数的输入集中坐标原点两侧,避免了激活函数进入饱和区,一个参数抑制残差衰减的速度,双参数结合有效的增强了深度神经网络的训练。结合DBN对MNIST数据集进行数字分类实验,实验表明双参数 sigmoid激活函数能够直接应用于无预训练深度神经网络,而且提高了sigmoid激活函数在有预训练深度神经网络中的训练效果。     

基于外积FLNN的非线性系统辨识

函数型连接神经网络通过对输入模式预先进行非线性扩展,增强了输入信号的模式表达,从而大大简化网络结构,降低计算复杂度。本文提出一种外积扩展型连接神经网络,用于辨识幂函数非线性系统,并与MLP和CFLNN网络对比,仿真结果表明,外积型辨识幂函数非线性系统结构简单、计算量低、性能最优。     

基于Tensorflow对卷积神经网络的优化研究

针对卷积神经网络在性耗比上的不足,提出了异构式CPU+GPU的协同计算模型,在模型计算过程中使CPU负责逻辑性强的事物处理和串行计算,使GPU执行高度线程化的并行处理任务。通过实验测试与单GPU训练、单CPU训练进行对比,结果表明异构式CPU+GPU计算模型在性耗比上更加优异。针对在卷积神经网络中Swish激活函数在反向传播求导误差梯度时涉及参数较多所导致的计算量较大,收敛速度慢,以及ReLU激活函数在[x]负区间内导数为零所导致的负梯度被置为零且神经元可能无法被激活的问题,提出了新的激活函数ReLU-Swish。通过测试训练对比并分析结果,将Swish激活函数小于零与ReLU激活函数大于零的部分组成分段函数,并且通过CIFAR-10和MNIST两个数据集进行测试对比实验。实验结果表明,ReLU-Swish激活函数在收敛速度以及模型测试训练的准确率上对比Swish激活函数及ReLU激活函数有较明显的提高。     

基于MFLNN的变参数非线性系统辨识

函数型连接神经网络的网络结构简单，计算复杂度低。该文提出了一种外积扩展型连接神经网络（MFLNN），用于辨识变参数非线性系统，仿真结果表明，MFLNN实现了变参数非线性系统的辨识，效果显著。     

面向陆战场目标识别的轻量级卷积神经网络

在实际陆战场环境中,作战人员无法随身携带GPU等大型计算设备,因此较难计算规模较大的神经网络参数,进而导致目标识别网络无法实时工作。现有的轻量级神经网络虽然解决了实时性的问题,但是不能满足准确率的要求。为此,文中提出了一种基于轻量级卷积神经网络的目标识别算法(E-MobilNet)。为了提升网络学习的效果,以现有深度学习的主要目标检测框架MobileNet-V2为基础,插入一种ELU函数作为激活函数。首先,使用扩张卷积来增加通道数,以获得更多的特征;接着,通过ELU函数激活输出特征,这样可以缓解线性部分的梯度消失,并且使非线性部分对输入变化的噪声更鲁棒;然后,通过残差连接的方式组合高层特征与低层特征的输出;最后,将全局池化的输出结果输入Softmax分类函数。实验数据表明,在同样的测试集和测试环境下,与现在主流的轻量级深度学习目标识别算法相比,E-MobileNet识别的准确率和每秒检测的帧率都有所提升。实验数据充分说明,使用ELU激活函数和全局池化层减少了参数的数量,增强了模型的泛化能力,提升了算法的鲁棒性,在保证神经网络模型轻量级的基础上有效地提高了目标的识别准确率。     

一类用于连续过程逼近的过程神经元网络及其应用

针对实际系统的输入输出是与时间有关的连续过程,提出了一类用于连续过程逼近的过程神经元网络模型.模型利用神经网络所具有的非线性映射能力,实现系统输入输出之间的连续映射关系.考虑过程神经网络计算的复杂性,在输入空间中选择一组函数正交基,将输入函数和网络权函数表示为该组正交基的展开形式,利用基函数的正交性,简化过程神经元计算.文中给出了学习算法,并以油藏开发三次采油过程模.     

基于卡尔曼滤波算法和双径向转移函数的RBF型神经网络

RBF径向基函数神经网络具有训练简洁、学习效率快、不易陷入局部极小等优点,广泛应用于信号处理与模式识别.虽然常用的RBF网络比较容易构建,但因其结构通常固定或者复杂度较高,从而导致学习时间过长或网络资源的浪费.针对上述原因,提出利用扩展卡尔曼滤波器作为RBF的学习算法,并在隐层中使用双径向函数.通过对逼近基准的结果分析,清楚地表明该算法比其他分类网络模型具有更强的泛化性.     

基于plateaued函数的平衡布尔函数构造

布尔函数在对称密码的设计和分析中起着重要的作用。通过对谱不相交函数集中子函数平衡性的问题的研究给出了包含4个plateaued函数的函数集中有3个为平衡函数的充分条件。在此基础上,基于3个平衡的谱不相交plateaued函数,一类特殊的布尔置换以及一个高非线性度平衡函数,提出了一个构造高非线性度平衡布尔函数的方法。通过分析可知,利用该方法可以构造代数次数达到最优、非线性度不小于2^2k-1-2^k-1-2^k/2-2^{⌈(k-1)/2⌉}的2k元平衡函数。     

Set-based extended aggregation functions

Inspired by the Zadeh approach to fuzzy connectives in fuzzy set theory and by some applications, we introduce and study set-based extended functions, and in particular, set-based extended aggregation functions. These functions reflect neither reordering nor repetition of input values, and, linking different arities, they introduce serious constraints for extended functions. A complete characterization of set-based extended (aggregation) functions is given, and some constructions of such functions are also proposed, including several examples.     

The structure of canalizing functions

The structure of a canalizing function is discussed. Using a new matrix product, namely semitensor product, the logical function is expressed in its matrix form. From its matrix expression, a criterion is obtained to test whether a logical function is a canalizing function. Then a formula is obtained to calculate the number of canalizing functions. Moreover, an algorithm is presented to generate canalizing functions. Finally, some results obtained are extended to seminested canalizing functions.     

奇数元二阶相关免疫对称布尔函数的构造

n元m阶相关免疫对称函数的构造等价于方程[i=0n-2Cin-2xi=i=0n-2Cin-2xi+1]在二元域上的求解。通过对该方程及其等价方程解的关系讨论,给出了构造奇数元二阶相关免疫对称函数的算法。     

Ultramodular aggregation functions

Ultramodular aggregation functions are investigated and discussed, including a study of structural properties and the proposal of some construction methods.     

When is a Mittag-Leffler function a Nussbaum function?

In this communique, we present a new family of Nussbaum functions expressed by Mittag-Leffler functions under certain conditions.     

Cardinality-limiting extended pre-aggregation functions

Aggregation functions, which are at the heart of a number of information fusion processes, allow summarization of multiple inputs into a single representative value. Extended aggregation functions are defined such that the input data can be of varying cardinality, with the implication that there is some consistency across the methods of calculation. This article formalizes an approach to extended aggregation such that contributions of repeated inputs or regions of high density are limited in their ability to influence the final value. We establish important definitions and properties, in particular around whether such functions will be monotone or directionally monotone. We then propose a powerful construction method for extended pre-aggregation functions. Illustrative examples are provided throughout.     

On the extended set of weights of the OWA functions

ABSTRACT

The paper offers an extension and generalization of the definitions of the weighted arithmetic mean WAM, the ordered weighted averaging function OWA and the discrete Choquet integral using not only positive but also negative weights. Negative weights are important in various contexts, including statistics and robust aggregation, and they directly affect the monotonicity of the mentioned functions. The paper offers insights into the extended WAM, OWA and Choquet integral-based averaging functions with respect to their directional monotonicity, and establish the systems of linear inequalities which define the cone of monotonicity of these functions.     

提高热电偶动态测温精度方法的研究

根据传热理论导出了热电偶的一般数学模型;并通过实验测得热电偶的时间常数,并给出测温系统校正函数;应用离散信号的样条函数插值原理和快速傅立叶变换算法,较好的解决了数字测温系统响应快速性和测量精度之间的矛盾.     

浅议VB教学中TAB函数与ABS函数的配合使用

VB编程中,利用TAB函数和ABS函数的配合使用输出对称图形时,可以使程序简捷而且浅显易懂。