利用遗传算法简化神经网络结构

讨论了如何采用遗传算法从例子中建立精简的分段线性型神经网络结构。所建立的网络结构中将只出现两类结占（神经元）：一类结点是求和结点，该结点上的作用函数是线性的；另一类结点是选择结点，该结点上作用函数是诸如ＭＡＸ，ＭＩＮ等形式的选择函数。对于求和结点，使用遗伟算法过程来获得其输入权重、输偏正值等，从而得到该结点的输入－输出关系结构；对于结点，其上的作用函数是选择函数，但该选择函数的确定仍上是较困难的。     

神经网络结构动态优化设计的分析与展望

阐述了神经网络结构设计对神经网络性能的影响. 介绍了动态结构神经网络, 尤其是增长型和修剪型神经网络研究的发展过程, 分析了动态设计方法研究在计算能力、学习理论和网络的稳定性等方面取得的成果. 最后对神经网络动态设计的研究进行总结, 给出了神经网络结构动态设计研究的发展趋势.     

基于粗糙集优化神经网络结构的启发式算法

为了解决神经网络设计中确定网络结构尤其是隐层单元数的问题,提出了一种基于粗糙集理论确定神经网络结构的启发式算法.通过粗糙集理论属性约简算法对训练样本数据进行处理,根据处理结果确定网络的输入、输出以及隐层单元数.在对A320飞机自动驾驶仪不能衔接的故障诊断实例中,所设计的网络在训练中能够快速收敛,相对于传统的试探法能更快速准确地确定网络结构,从而提高飞机故障诊断效率,缩短维修时间,证明了该方法的实际可行性.     

神经网络结构搜索前沿综述

深度学习已经在多个领域得到了广泛的使用,并取得了令人瞩目的成绩。然而优秀的网络结构设计在很大程度上仍然依赖于研究者的先验知识和大量的实验验证,整个过程对于人力、算力等资源消耗巨大。因此,能否让计算机自动地找到最适用于当前任务的神经网络结构成为了当前研究的热点。近年来,研究人员对神经网络结构搜索(Neural Architecture Search, NAS)进行了各种改进,相关研究工作复杂且丰富。为了让读者对神经网络结构搜索方法有更清晰的了解,该文从神经网络结构搜索的三个维度：搜索空间、搜索策略和性能评估策略对现有方法进行了分析,并提出了未来可能的研究方向。     

过程辨识和控制中神经网络结构与方法

本文分析了人工神经网络在过程控制和辨识领域的多种结构与方法，重点阐述了在线自适应神经网络控制器（ＯＡＮＮＣ）的结构和算法，并对神经网络在过程控制中应用的前景作了展望。     

基于神经网络结构搜索的卷积神经网络剪枝与压缩方法

随着深度神经网络在人工智能领域的广泛应用,其模型参数也越来越庞大,神经网络剪枝就是用于在资源有限设备上部署深度神经网络。该文通过新的优化策略-加速近端梯度（APG）、轻量级网络设计、非结构化剪枝和神经网络结构搜索（NAS）等手段相结合,实现对目标分类和目标检测等常见卷积神经网络模型的压缩剪枝,实验表明压缩剪枝后模型准确率不变,参数量下降91.1%,计算量下降84.0%。最后将压缩剪枝后模型的推断过程在嵌入式架构中实现,为深度学习在边缘端设备平台上的实现奠定了基础。     

神经网络结构搜索在脑数据分析领域的研究进展

神经网络结构搜索(neural architecture search,NAS)是自动化机器学习的重要组成部分,已被广泛应用于多个领域,包括计算机视觉、语音识别等,能够针对特定数据、场景、任务寻找最优的深层神经网络结构.将NAS引入至脑数据分析领域,能够在图像分割、特征提取、辅助诊断等多个应用领域大幅度提升性能,展现低能耗自动化机器学习的优势.基于NAS进行脑数据分析是当前的研究热点之一,同时也具有一定挑战.目前,在此领域,国内外可供参考的综述性文献较少.对近年来国内外相关文献进行了细致地调研分析,从算法模型、研究任务、实验数据等不同方面对NAS在脑数据分析领域的研究现状进行了综述.同时,也对能够支撑NAS训练的脑数据集进行了系统性总结,并对NAS在脑数据分析中存在的挑战和未来的研究方向进行了分析和展望.     

单次神经网络结构搜索研究综述

深度学习技术的快速发展与神经网络结构的创新关系密切。为提升网络结构设计效率,自动化网络结构设计算法—神经网络结构搜索NAS成为近年的研究热点。早期NAS算法通常要对大量候选网络进行训练和评估,带来了巨大的计算开销。通过迁移学习技术,可以加速候选网络的收敛,从而提升网络结构搜索效率。基于权重迁移技术的单次神经网络结构搜索(One-shot NAS)算法以超图为基础,子图之间进行权重共享,提高了搜索效率,但是也面临着协同适应、排序相关性差等挑战性问题。首先介绍了基于权重共享的One-shot NAS算法的相关研究,然后从采样策略、过程解耦和阶段性3个方面对关键技术进行分析梳理,比较分析了典型算法的搜索效果,并对未来的研究方向进行了展望。     

深度神经网络结构搜索综述

深度神经网络在图像识别、语言识别和机器翻译等人工智能任务中取得了巨大进展,很大程度上归功于优秀的神经网络结构设计。神经网络大都由手工设计,需要专业的机器学习知识以及大量的试错。为此,自动化的神经网络结构搜索成为研究热点。神经网络结构搜索（neural architecture search,NAS）主要由搜索空间、搜索策略与性能评估方法3部分组成。在搜索空间设计上,出于计算量的考虑,通常不会搜索整个网络结构,而是先将网络分成几块,然后搜索块中的结构。根据实际情况的不同,可以共享不同块中的结构,也可以对每个块单独搜索不同的结构。在搜索策略上,主流的优化方法包含强化学习、进化算法、贝叶斯优化和基于梯度的优化等。在性能评估上,为了节省计算时间,通常不会将每一个网络都充分训练到收敛,而是通过权值共享、早停等方法尽可能减小单个网络的训练时间。与手工设计的网络相比,神经网络结构搜索得到的深度神经网络具有更好的性能。在ImageNet分类任务上,与手工设计的MobileNetV2相比,通过神经网络结构搜索得到的MobileNetV3减少了近30%的计算量,并且top-1分类精度提升了3.2%;在Cityscapes语义分割任务上,与手工设计的DeepLabv3+相比,通过神经网络结构搜索得到的Auto-DeepLab-L可以在没有ImageNet预训练的情况下,达到比DeepLabv3+更高的平均交并比（mean intersection over union,mIOU）,同时减小一半以上的计算量。神经网络结构搜索得到的深度神经网络通常比手工设计的神经网络有着更好的表现,是未来神经网络设计的发展趋势。     

一种RBF网络结构优化方法

通过对ＲＢＦ网络结构的分析，结合奇异值分解方法，提出了一种ＲＢＦ网络结构优化的标准，并在此基础上实现ＲＢＦ网络结构的优化。     

一个基于机器学习的神经网络初始化方法

本文针对ＢＰ前馈神经网络存在的训练时间长、容易陷入局部极小等问题，研究了一个基于机器学习的神经网络初始化方法。实验结果表明，用这种方法初始化神经网络，提高了神经网络的学习效率和泛化能力，并且可以有效地抑制陷入局部极小的可能性。     

基于对抗网络与卷积神经网络的目标检测方法

在目标检测方法中,通过使用具有不同遮挡程度的数据集进行训练,能够提升目标检测算法对遮挡的不变性,但现实生活中的数据集往往存在长尾效应。因此提出一种基于对抗网络与卷积神经网络的目标检测方法。通过对抗网络在输入数据上进行计算得到不同遮挡程度的样本,使用Faster RCNN算法进行训练提升遮挡不变性,以此提高算法检测精度。实验结果表明,该方法与Faster RCNN相比,在VOC 2007数据集上平均精度提升了2.2个百分点,在VOC 2007和VOC 2012联合数据集上平均精度提升了1.3个百分点。     

基于组合神经网络模型的函数逼近方法

在通用函数逼近定理基础上,介绍了一种将反向传播神经网络和径向基神经网络模型相接合的组合神经网络模型,并将该模型应用于上海证券指数的预测.仿真实验结果表明,该模型很好地减小了预测值和实际值之间的误差,预测效果也优于普通的反向传播神经网络模型.     

基于神经网络的自适应模糊控制器

本文提出了一种基于神经网络的自适应模糊控制器，控制器为５层前向结构，其输入和输出均为数值量。根据给定的训练数据，通过学习算法，能够实现前件参数和后件参数的辨识，提取控制规则，最后通过仿真实验证明了这种方法的有效性。     

基于BP网络的公开密钥密码体制分析方法

在公开密钥密码体制传统分析方法的基础上,提出了用神经网络分析公开密钥密码体制的方法.利用二层BP网络,在所有单字符明文分组的空间中,进行了大量的实验,构造了RSA密码体制分析机,结果表明,该密码分析机可以达到较高的解码正确率.     

基于神经网络的交互式自动获取知识的N－R方法

本文为解决知识系统构造过程中的瓶颈问题──知识获取，提出了一种基于神经网络ＮＮ（ｎｅｕｒａｌｎｅｔｗｏｒｋ）的自动获取多级推理产生式规则的Ｎ－Ｒ方法，该方法采用了特有的ＮＮ结构模型和相应的学习算法，使得ＮＮ在学习过程中动态确定隐层节点数的同时，也产生了样例集中没有定义的新概念，学习后的ＮＮ能用本文提出的转换算法转换成推理网络，最终方便地得到产生式规则集.     

神经元网络控制系统

人工神经元网络基于其特有的功能而被应用于控制系统中,为智能控制提供了一个有潜力的发展方向,本文讨论了神经元网络控制的三种方法:基于模式识别功能的BP网络控制器,基于联想记忆模型的模糊控制,以及基于神经元网络优化功能的控制优化调节,并分别指出其优、缺点及有待解决的一些问题。     

K型局部连接神经网络

提出了一种新型局部连接网络——K型局部连接网络。首先给出所提网络的结构与算法,然后对所提网络隐含层激活函数——K型函数的性质,以及网络的性能进行了理论上的分析。最后将K型网络应用到函数逼近以及建模上,通过与其他局部连接网络的性能对比验证K型网络所具有的优越性。     

一种基于CMAC的自学习控制器

现有的基于CMAC的自学习控制器能够有效地减小跟踪误差,但是在跟踪连续变化信号如正弦波时,由于累积误差的影响会产生过学习现象,进而导致系统的不稳定.为此,提出一种新的基于CMAC的自学习控制器,它以系统的动态误差作为CMAC的激励信号,从而避免了累积误差的影响.仿真结果表明,该控制器不仅是有效的,而且具有很强的鲁棒性.此外,它可以使用较高的学习速率,实时性强.     

一个自生成的神经树网络模式分类器

本文研究一种神经树网络（ＮＴＮ，ＮｅｕｒａｌＴｒｅｅＮｅｔｗｏｒｋ）模型，提出一种能自动生成其体系结构的有监督的竞争学习算法，指出该模型能解决复杂的多类模式分类问题．模拟数字例子——手写体数码识别的结果也表明该分类器是有效的．