改进鲸鱼算法及其在浅层神经网络搜索中的权值阈值优化

为设计出简便高效的方法搜索最优神经网络结构,提出一种改进鲸鱼优化算法的浅层神经网络搜索方法.该方法首先通过模拟鲸鱼狩猎的个体偏好行为和鲸鱼群位置移动的非线性权值更新机制对传统鲸鱼优化算法进行改进;然后将改进鲸鱼优化算法作为浅层BP神经网络结构搜索策略,构建基于浅层BP神经网络的最优网络结构的权值阈值搜索优化方法.数值实验结果表明,改进的鲸鱼优化算法不仅在求解不同维复杂函数上具有良好的寻优性能,而且通过改进鲸鱼优化算法搜索得到的最优浅层BP神经网络结构在回归任务中具有更好的预测精度和泛化性能.     

基于熵聚类的泛函网络神经元函数优化

泛函网络是神经网络的一般化推广,同神经网络一样,至今还没有系统设计方法能够对给定问题设计出近似最优的结构。鉴于此,利用熵聚类的思想来设计泛函网络,对网络每一神经元的基函数和泛函参数共存且相互影响的最优搜索来实现泛函网络结构和泛函参数的共同学习。提出一基于熵聚类思想来设计泛函网络的方法,有效地提高了泛函网络的收敛精度,并可获得更为合理的网络结构。     

基于HS-BP神经网络的认知无线电频谱预测技术

在基于反向传播神经网络(BPNN)的频谱预测中,网络的初始权重与阈值是随机产生的,并且BP算法本身存在陷入局部最优的缺陷,从而导致BPNN训练得到的网络结构具有一定的不确定性。针对上述问题,提出一种基于HS-BP神经网络的频谱预测算法,通过和声搜索算法的全局寻优能力得到BPNN的最优初始权重和阈值,从而BPNN训练可得到最优的频谱预测网络结构,并运用该网络结构进行频谱的预测。仿真结果表明,该算法可以提高频谱预测的准确性及频谱的利用率。     

基于改进遗传算法的神经网络优化设计

针对前馈式多层神经网络的结构和权值设计方法的缺陷,提出了一种基于改进遗传算法的前馈神经网络自动优化设计方法,用以完成对网络结构和权值空间的搜索,提高神经网络的收敛速度和搜索全局最优解的能力。通过实验表明,该算法的收敛速度较快,过程稳定,而且泛化能力也较好。故此方法在神经网络设计上能够发挥较好的作用。     

基于卷积神经网络的滚动轴承故障诊断方法

为了简单、准确地进行轴承故障诊断,结合深度学习理论,对基于卷积神经网络的滚动轴承故障诊断方法进行了研究。首先,选用了结构相对简单的LeNet5卷积神经网络;然后,对轴承振动信号原始数据进行截取和归一化处理后直接生成生成二维矩阵作为神经网络输入;接着,优选卷积核大小、批大小、学习率及迭代次数等网络模型参数;最后,应用sigmoid函数进行多标签分类。实验结果表明,该方法能有效识别正常状态及不同损伤程度下的内圈、外圈、滚动体故障状态,识别准确率达到99.50%以上水平。基于卷积神经网络的滚动轴承故障诊断方法不仅在一定程度上可以简化故障诊断的过程,而且可以充分利用卷积神经网络模型的优势实现高效准确地故障诊断。     

卷积神经网络的宫颈细胞图像分类

为实现计算机辅助系统精准、快速地检测宫颈异常细胞,提出一种基于卷积神经网络的宫颈细胞自动分类方法.首先复制预训练网络结构及参数来初始化分类网络,将宫颈细胞图像分批次传入网络;然后采用Softmax函数将网络输出数据归一化为各标签对应的概率值,并使用交叉熵作为损失函数;最后改进网络结构加入对数据的批归一化处理,通过反向传播算法优化参数使损失函数最小化,最终选择训练所得最优网络.使用5折交叉验证法在Herlev数据集上的实验结果表明,对比Herlev常用基准方法,该方法的特异性、调和平均数和准确率分别提高了19.46%, 10.71%和5.09%.     

基于迁移学习的卷积神经网络通道剪枝

卷积神经网络在计算机视觉等多个领域应用广泛,然而其模型参数量众多、计算开销庞大,导致许多边缘设备无法满足其存储与计算资源要求。针对其边缘部署困难,提出使用迁移学习策略改进基于BN层缩放因子通道剪枝方法的稀疏化过程。本文对比不同层级迁移方案对稀疏化效果与通道剪枝选取容限的影响;并基于网络结构搜索观点设计实验,探究其精度保持极限与迭代结构的收敛性。实验结果表明,对比原模型,采用迁移学习的通道剪枝算法,在精度损失不超过0.10的前提下,参数量减少89.1%,模型存储大小压缩89.3%;对比原剪枝方法,将剪枝阈值从0.85提升到0.97,进一步减少参数42.6%。实验证明,引入迁移策略更易实现充分的稀疏化,提高通道剪枝阈值选取容限,实现更高压缩率;并在迭代剪枝的网络结构搜索过程中,提供更高效的搜索起点,利于快速迭代趋近至搜索空间的一个网络结构局部最优解。     

基于卷积神经网络的汽车销量预测模型

传统使用网络搜索数据进行销量预测时多通过人工选取关键词,难以充分考虑所有关键词的搜索量信息.通过使用卷积神经网络提取数据特征,能够解决传统预测方法存在的关键词合成问题.文章首次将深度学习理念引入汽车销量预测领域,首先通过网络爬虫方式获取汽车相关的关键词与网络搜索量,然后根据网络搜索量数据和销量数据的特点设计一种基于卷积神经网络的汽车销量预测模型,并对2019年上半年大众汽车销量做出预测.实验结果显示,与RBF模型、ARIMA模型、ARIMA+RBF混合模型对比,卷积神经网络的预测精度更高,大众品牌的预测精度达到89.51％.由于春节以及新政策出台的影响,2月份为预测误差最大的月份;随着市场的回暖,3月份为预测精度最高的月份.该预测方法为销量预测领域的研究提供了一种新思路.     

自适应前馈神经网络结构优化设计

针对多数前馈神经网络结构设计算法采取贪婪搜索策略而易陷入局部最优结构的问题,提出一种自适应前馈神经网络结构设计算法.该算法在网络训练过程中采取自适应寻优策略合并和分裂隐节点,达到设计最优神经网络结构的目的.在合并操作中,以互信息为准则对输出线性相关的隐节点进行合并;在分裂操作中,引入变异系数,有助于跳出局部最优网络结构.算法将合并和分裂操作之后的权值调整与网络对样本的学习过程结合,减少了网络对样本的学习次数,提高了网络的学习速度,增强了网络的泛化性能.非线性函数逼近结果表明,所提算法能得到更小的检测误差,最终网络结构紧凑.     

基于神经网络结构搜索的轻量化网络构建

轻量化网络可解决深度神经网络参数较多、计算量较高、难以部署在计算能力有限的边缘设备上等问题.针对轻量化网络中常用的分组卷积的分组结构问题,文中提出基于神经网络结构搜索的轻量化网络.将不同分组的卷积单元作为搜索空间,使用神经网络结构搜索,得到网络的分组结构和整体架构.同时为了兼顾准确率与计算量,提出循环退火搜索策略,用于解决神经网络结构搜索的多目标优化问题.在数据集上的实验表明,文中网络识别准确率较高,时间复杂度和空间复杂度较低.     

一种基于混合粒子群优化算法的深度卷积神经网络架构搜索方法

神经架构搜索（neural architecture search,NAS）技术自动寻找神经网络中各层的最佳组合和连接方式,以及各种超参数的最佳分布。该方法从搜索空间生成若干不同的卷积神经网络（CNN）,使用混合粒子群优化（hybrid particle swarm optimization,HPSO）算法,将一定数目的神经网络个体视做一个群体,将每个网络个体在评价指标下的表现值视做适应度,在给定的世代数范围内,每个神经网络个体都学习自身的历史最佳适应度个体,和整个群体的最佳适应度个体,迭代改善自身的网络架构。实验结果表明,算法运行中出现的最优网络架构,在图像分类任务的多个基准数据集上,与手工设计的神经网络和以遗传算法为基础的NAS算法相比,在网络参数数量和准确率的平衡上取得了有竞争力的结果。     

面向深度卷积网络的多目标神经演化算法

传统的深度卷积神经网络设计方法依赖于人工设计以及反复试错,只能采用形式单一的网络结构,导致其参数过分冗余,乘法次数巨大.为了自动化地设计出结构灵活多变,网络规模及计算量较小的深度卷积神经网络,本文提出了一种面向深度卷积网络的多目标神经演化算法.该算法将深度神经网络表达成有向图,使用神经演化和多目标优化算法实现了深度、计算量和识别率下的多目标同时优化,同时还引入了线性规划用于将基因编码翻译为卷积层的配置参数,使得演化算法可以自动调整各个网络层的具体配置.演化得到的模型其最深路径上含有36个卷积层,CIFAR-100上Top5精度为86.1%,Top1精度为60.2%,与识别率相近的网络相比,具有结构新颖,乘法次数低等特点.综上,本文提出的方法能够自动生成一系列各具特色的深度神经网络,可根据在深度、计算量和识别率3个指标上的不同应用需求选择适合的深度神经网络,为深度神经网络部署于资源受限的无线传感器网络上提供了一种快速、经济、自动化的设计方法.     

基于一维卷积神经网络的实时道岔故障诊断

针对道岔故障诊断系统实时性要求高、特征提取严重依赖于先验知识的问题,提出了一种基于一维卷积神经网络（1D-CNN）的道岔实时故障诊断方法。以S700k转辙机的功率曲线为例,建立一维卷积神经网络的结构模型,该模型将特征提取与故障分类融合为一体,优化了网络参数,同时使用正则化Dropout提高模型的泛化能力,采用t-SNE可视化方法,来反映模型提取特征的有效性。仿真实验表明：卷积层和池化层对原始时域信号的自适应特征提取,能较好地捕捉信号空间维度信息,降低模型的计算量,提高模型的抗噪性能,实现了端到端的实时故障诊断,并有效地提高道岔故障实时诊断的准确率。     

AKSNet: A novel convolutional neural network with adaptive kernel width and sparse regularization for machinery fault diagnosis

Convolutional kernels have significant affections on feature learning of convolutional neural network (CNN). However, it is still a challenging problem to determine appropriate kernel width. Moreover, some features learned by convolutional layers are still redundant and noisy. Thus, adaptive selection of kernel width and feature selection of feature maps are key techniques to improve feature learning performance of CNNs. In this paper, a new deep neural network (DNN) model, adaptive kernel sparse network (AKSNet) is proposed to extract multi-scale fault features from one-dimensional (1-D) vibration signals. Firstly, an adaptive kernel selection method is developed, where multiple branches with different kernels are used to extract multi-scale features from vibration signals. Channel-wise attention is developed to fuse features generated by these kernels to obtain different informative scales. Secondly, a spatial attention is used for dynamic receptive field to focus on salient region of feature maps. Thirdly, a sparse regularization layer is embedded in the deep network to further filter noise and highlight impaction of the feature maps. Finally, two cases are adopted to verify effectiveness of AKSNet-based feature learning for bearing fault diagnosis. Experimental results show that AKSNet can effectively extract features from multi-channel vibration signals and then improves fault diagnosis performance of the classifier significantly. AKSNet shows better recognition performance in comparison with that of shallow neural networks and other typical DNNs.     

基于信号特征提取和卷积神经网络的轴承故障诊断研究

轴承是机械设备主要零部件之一,也是机械设备主要故障零部件之一。轴承故障问题为机械设备的重点,机械设备的使用受到故障轴承的直接影响。针对传统的卷积神经网络算法轴承故障诊断效率低下问题,本文提出了一种基于信号特征提取和卷积神经网络的优化方法。首先对原始数据信号进行时域和频域的信号特征提取,获得有效的故障特征值。之后,使用卷积神经网络对提取的特征值进行故障诊断,完成故障分类。本文使用美国凯斯西储大学的滚动轴承振动加速度信号作为数据集,对提出的方法进行验证,得到的故障诊断平均准确率为74.37%,准确率的方差为0.0001;传统的卷积神经网络算法故障诊断平均准确率为65.6%;准确率的方差为0.0019。实验结果表明,相比传统的卷积神经网络,提出的方法对轴承故障诊断的准确率有显著的提高,并且该方法的稳定性更佳,计算时间更少,综合性能更佳。     

图像分类的深度卷积神经网络模型综述

图像分类是计算机视觉中的一项重要任务,传统的图像分类方法具有一定的局限性。随着人工智能技术的发展,深度学习技术越来越成熟,利用深度卷积神经网络对图像进行分类成为研究热点,图像分类的深度卷积神经网络结构越来越多样,其性能远远好于传统的图像分类方法。本文立足于图像分类的深度卷积神经网络模型结构,根据模型发展和模型优化的历程,将深度卷积神经网络分为经典深度卷积神经网络模型、注意力机制深度卷积神经网络模型、轻量级深度卷积神经网络模型和神经网络架构搜索模型等4类,并对各类深度卷积神经网络模型结构的构造方法和特点进行了全面综述,对各类分类模型的性能进行了对比与分析。虽然深度卷积神经网络模型的结构设计越来越精妙,模型优化的方法越来越强大,图像分类准确率在不断刷新的同时,模型的参数量也在逐渐降低,训练和推理速度不断加快。然而深度卷积神经网络模型仍有一定的局限性,本文给出了存在的问题和未来可能的研究方向,即深度卷积神经网络模型主要以有监督学习方式进行图像分类,受到数据集质量和规模的限制,无监督式学习和半监督学习方式的深度卷积神经网络模型将是未来的重点研究方向之一;深度卷积神经网络模型的速度和资源消耗仍不尽人意,应用于移动式设备具有一定的挑战性;模型的优化方法以及衡量模型优劣的度量方法有待深入研究;人工设计深度卷积神经网络结构耗时耗力,神经架构搜索方法将是未来深度卷积神经网络模型设计的发展方向。     

基于改进径向基神经网络的船舶设备故障诊断方法

For the ships equipment fault diagnosis problems with lack of applicability and accuracy during ships sailing, this paper designs a radical basis function neural network method for ships equipment fault diagnosis. An improved artificial bee colony (IABC) algorithm combining opposite learning initialization strategy and auto-adapted search strategy is designed, which builds higher quality initial solution space through opposite learning initialization strategy and adapts its local search length automatically to improve the ability of convergence and local optimization searching. IABC algorithm is used in parameter optimization of radical basis function neural network (RBFNN) for constructing a better performed classifier. The results show that the IABC-RBFNN framework can improve the accuracy and usability of ship fault diagnosis, and satisfy the real-time requirement of ships equipment fault diagnosis.     

一种基于强化学习的限定代价下卷积神经网结构自动化设计方法

目前的神经网络结构自动化设计方法主要对所设计神经网络结构的预测准确率进行优化。然而,实际应用中经常要求所设计的神经网络结构满足特定的代价约束,如内存占用、推断时间和训练 时间等。该文提出了一种新的限定代价下的神经网络结构自动化设计方法,选取内存占用、推断时间和训练时间三类代表性代价在 CIFAR10 数据集上进行了实验,并与现有方法进行了对比分析。该方法获得了满足特定代价约束的高准确率的卷积神经网络结构,可优化的代价种类比现有方法更多。