神经网络结构搜索方法综述

如今,深度学习广泛地应用于生活、工作中的各个方面,给我们带来了极大的便利.在此背景下,需要设计针对不同任务的神经网络结构,满足不同的需求.但是,人工设计神经网络结构需要专业的知识,进行大量的实验.因此,神经网络结构搜索算法的研究显得极为重要.神经网络结构搜索(NAS)是自动深度学习(AutoDL)过程中的一个基本步骤,对深度学习的发展与应用有着重要的影响.早期,一些神经网络结构搜索算法虽然搜索到了性能优越的神经网络结构,但是需要大量的计算资源且搜索效率低下.因此,研究人员探索了多种设计神经网络结构的算法,也提出了许多减少计算资源、提高搜索效率的方法.本文首先简要介绍了神经网络结构的搜索空间,其次对神经网络结构搜索算法进行了全面的分类汇总、分析,主要包括随机搜索算法、进化算法、强化学习、基于梯度下降的方法、基于顺序模型的优化算法,再其次探索并总结了提高神经网络结构搜索效率的方法,最后探讨了目前神经网络结构搜索工作中存在的问题以及未来的研究方向.     

基于层次化可塑性回声状态网络的混沌时间序列预测

为了提高回声状态网络对于混沌时间序列特征提取与预测的能力,提出一种层次化可塑性回声状态网络模型.该模型将多个储备池顺序连接,通过逐层特征变换的方式增强对非线性多尺度动态特征的提取能力.同时,引入神经科学中的内在可塑性机制模拟真实生物神经元的放电率分布,以最大化神经元的信息传递为目标对储备池进行预训练.层次化可塑性回声状态网络不仅能够增加模型的容量,降低随机投影所带来的不稳定性,而且也为理解储备池的表示、处理、记忆及储存操作提供一种新的思路.仿真实验结果表明,相比于其他7种改进的回声状态网络模型,所提出的模型在人造数据和真实数据所构成的混沌时间序列预测任务中均能取得最优的预测精度.     

基于神经网络结构搜索的卷积神经网络剪枝与压缩方法

随着深度神经网络在人工智能领域的广泛应用,其模型参数也越来越庞大,神经网络剪枝就是用于在资源有限设备上部署深度神经网络。该文通过新的优化策略-加速近端梯度（APG）、轻量级网络设计、非结构化剪枝和神经网络结构搜索（NAS）等手段相结合,实现对目标分类和目标检测等常见卷积神经网络模型的压缩剪枝,实验表明压缩剪枝后模型准确率不变,参数量下降91.1%,计算量下降84.0%。最后将压缩剪枝后模型的推断过程在嵌入式架构中实现,为深度学习在边缘端设备平台上的实现奠定了基础。     

电力系统自动化中的控制技术应用

阐述电力系统中的自动化控制技术特点,包括专家控制技术、模糊控制技术、神经控制技术在电力生产、电力调度、数据监控中的应用。     

太赫兹辐射对小鼠脑神经发生及认知能力的影响

为探究太赫兹(THz)辐射对成年小鼠海马齿状回亚颗粒区(SGZ)神经发生及对老年小鼠认知能力的影响,用0.14 THz波照射实验小鼠头部,10 min/次,2次/d,连续21 d,对照组小鼠进行相同时间的麻醉。采用5-溴脱氧尿嘧啶核苷(BrdU)染色评价新生细胞存活、BrdU/神经元细胞核(NeuN)染色评价细胞分化、Morris水迷宫(MWM)实验分析认知能力变化。实验结果表明：与对照组相比,0.14 THz 10 min/次,2次/d,连续照射21 d后,可有效促进成年小鼠SGZ神经发生,成年小鼠SGZ新生细胞存活明显改善(P<0.05),新生细胞向神经元的分化无明显改变。老年小鼠逃避潜伏期,运动寻找轨迹无显著变化,THz辐射没有影响老年小鼠的空间认知能力。     

基于变分信息瓶颈的半监督神经机器翻译

变分方法是机器翻译领域的有效方法, 其性能较依赖于数据量规模. 然而在低资源环境下, 平行语料资源匮乏, 不能满足变分方法对数据量的需求, 因此导致基于变分的模型翻译效果并不理想. 针对该问题, 本文提出基于变分信息瓶颈的半监督神经机器翻译方法, 所提方法的具体思路为: 首先在小规模平行语料的基础上, 通过引入跨层注意力机制充分利用神经网络各层特征信息, 训练得到基础翻译模型; 随后, 利用基础翻译模型, 使用回译方法从单语语料生成含噪声的大规模伪平行语料, 对两种平行语料进行合并形成组合语料, 使其在规模上能够满足变分方法对数据量的需求; 最后, 为了减少组合语料中的噪声, 利用变分信息瓶颈方法在源与目标之间添加中间表征, 通过训练使该表征具有放行重要信息、阻止非重要信息流过的能力, 从而达到去除噪声的效果. 多个数据集上的实验结果表明, 本文所提方法能够显著地提高译文质量, 是一种适用于低资源场景的半监督神经机器翻译方法.     

融入语言差异化特征的汉越神经机器翻译译文质量估计

译文质量估计是机器翻译领域中一个重要的子任务,该任务旨在不依靠参考译文的情况下对机器译文进行质量分析.当前,译文质量估计任务在汉英、英德机器翻译上有较好的表现,技术相对成熟.但是将模型应用到汉-越神经机器翻译中面临较多问题.尤其是译文质量估计模型在汉越平行数据中提取到的语言特征不能够充分地体现汉语与越南语之间的语言特点,加之汉语与越南语之间语序与句法结构也存在明显的差异.针对上述问题,本文采用统计对齐的方法对汉越之间结构差异进行建模,提取汉语与越南语之间的语言差异化特征,以提升汉越译文质量估计的效果.实验结果表明,融入语言差异化特征在汉-越和越-汉两个方向上较基线模型分别提升了0.52个百分点和0.35个百分点.     

神经元膜电位噪声取值范围的评估

大脑神经元的活动是在复杂的生理学环境下工作的，而生理学环境中的噪声来源于多个方面．如何定量地正确评估神经系统中的噪声环境是神经信息处理的基本问题．本文通过神经能量的计算给出了噪声对神经元膜电位及对应的能量波形产生显著影响的临界值的估计范围，从而定义了神经元赖以活动的生理学意义上的噪声环境．     

基于BP神经网络的汽包建模及其控制器设计

针对锅炉汽包系统的强耦合性和非线性及传统的PID控制方法存在控制精度低、调节时间长等问题,提出了利用基于数据的建模方法,对汽包系统进行误差反向传播(BP)神经网络建模,并对神经网络模型进行泛化能力测试,然后利用基于BP神经网络的PID控制方法设计汽包液位优化控制器.实验仿真结果表明,基于BP神经网络建立的汽包模型具有较好的泛化能力,神经网络PID优化控制器在控制精度高、收敛速度快和鲁棒性强等方面都优于传统PID控制器.     

基于信息向量机的神经活动分类和译码研究

利用信息向量机(IVM)算法对来自脑皮层的少量运动神经元激发率进行分类,识别出神经状态,用该神经状态指导神经元激发率的译码。将IVM算法与支持向量机算法、相关向量机算法进行实验比较,结果证明,IVM算法的神经活动分类和译码性能最优,运行时间最短。