基于一种轻量级卷积神经网络的植物叶片图像识别研究

对轻量级卷积神经网络MobileNet V2的模型结构进行改进,将深度可分离卷积中的激活函数ReLU替换成Leaky ReLU,从而避免神经元死亡问题,倒置残差卷积中的跨越连接添加Dropout层,增大模型的泛化能力.实验结果表明,预测结果的总体准确率达到91.41％,最高精确率为95.12％,最高召回率为97.39％...     

基于改进的卷积神经网络光学薄膜缺陷识别

为对光学薄膜缺陷图像进行准确识别分类,提出一种基于改进的卷积神经网络光学薄膜缺陷图像识别方法。为突出输入图像中的缺陷信息,采用改进的LBP算法对图像进行预处理。从三个方面对传统的卷积神经网络进行改进:为了解决单通道卷积神经网络对图像特征提取不充分的问题,构建双通道卷积神经网络;改进传统的ReLU激活函数,避免模型出现欠拟合现象;使用支持向量机(SVM)代替Softmax分类器,提高计算效率和准确率。光学薄膜缺陷图像仿真识别实验表明,所提方法分类平均准确率高达93.2%,训练时间为964 s,充分验证了所提方法的鲁棒性和有效性。     

面向轻量级卷积网络的激活函数与压缩模型

因卷积神经网络参数膨胀,导致模型训练时占用大量的计算资源和存储资源,从而限制其在边缘终端上的应用。依据深度可分离卷积模型MobileNet V1的设计思路,结合自门控函数和ReLU函数的特点,构建一种改进的激活函数和压缩神经网络模型MobileNet-rhs。将ReLU函数和swish函数分别作为分段线性函数,设计激活函数ReLU-h-swish,通过优化卷积单元结构,解决模型训练过程中难以激活部分神经元的问题,以减少特征信息丢失。构建一种剔除卷积核的压缩模型,从模型深处自下而上剔除2ⁿ个卷积核,减少逐点卷积的参数量。在CIFAR-10和CIFAR-100数据集上进行实验,结果表明,引入ReLU-h-swish函数构建MobileNet-rhs模型的Top-1分类准确率为80.38%。相比MobileNet-rhs模型,压缩后MobileNet-rhs模型的参数量减少17.9%,其Top-1分类准确率仅降低2.28个百分点。此外,利用Tensorflow将该模型部署在安卓平台上,实现图像分类相册的应用。     

改进MobileNet的图像分类方法研究

针对神经网络结构的特征提取能力不足以及在包含复杂图像特征的数据集上分类准确率不高的问题,本文提出了一种对MobileNet神经网络的改进策略(L-MobileNet)。将原标准卷积形式替换为深度可分离卷积形式,并将深度卷积层得到的特征图执行取反操作,通过深度卷积融合层传递至下一层;采用Leaky ReLU激活函数代替原ReLU激活函数来保留图像中更多的正负特征信息,并加入类残差结构避免梯度弥散现象。与6种方法进行对比,实验结果表明:L-MobileNet在数据集Cifar-10、Cifar-100(coarse)、Cifar-100(fine)和Dogs vs Cats上平均准确率和最高准确率都取得了最佳结果。     

改进残差网络在玉米叶片病害图像的分类研究

针对传统的玉米叶片病害图像识别方法正确率不高、速度慢等问题,提出一种基于改进深度残差网络模型的玉米叶片图像识别算法。提出的改进策略有：将传统的ResNet-50模型第一层卷积层中7×7卷积核替换为3个3×3的卷积核;使用LeakyReLU激活函数替代ReLU激活函数;改变残差块中批标准化层、激活函数与卷积层的排列顺序。进行数据预处理,将训练集与测试集的比例划分为4∶1,采用数据增强的方式对训练集进行扩充,将改进的ResNet-50模型经过迁移学习得到在ImageNet上预训练好的权重参数。实验结果表明,改进的网络在玉米叶片病害图像分类中得到了98.3%的正确率,与其他网络模型相比准确率大幅提升,鲁棒性进一步增强,可为玉米叶片病害的识别提供参考。     

基于空洞卷积神经网络的旋转机械故障诊断方法

由于旋转机械的振动信号具有非平稳、复杂多样、数据量大的特点，传统的方法难以较好地实现旋转机械故障诊断。近年来，基于深度学习的故障诊断算法发展迅速，其中，卷积神经网络(Convolutional Neural Network,CNN)由于可实现自动提取特征、运算效率高等优点受到广泛关注，但在识别准确率等方面仍然存在部分问题。为实现多传感器监测状态下的旋转机械故障诊断，在经典卷积神经网络结构的基础上，引入了多通道数据融合处理、空洞卷积层、批标准化处理、PReLU激活函数、全局平均池化层等改进方法，构造了一种新型的、高效的空洞卷积神经网络（Atrous Convolution-Convolutional Neural Network,AC-CNN），并基于该模型进行了旋转机械故障诊断实验。实验结果表明，提出的故障诊断模型分类准确率可达99%以上，对比其他神经网络方法具有明显优势。     

基于卷积神经网络的滚动轴承故障诊断方法

为了简单、准确地进行轴承故障诊断,结合深度学习理论,对基于卷积神经网络的滚动轴承故障诊断方法进行了研究;首先,选用了结构相对简单的LeNet5卷积神经网络;然后,对轴承振动信号原始数据进行截取和归一化处理后直接生成生成二维矩阵作为神经网络输入;接着,优选卷积核大小、批大小、学习率及迭代次数等网络模型参数;最后,应用sigmoid函数进行多标签分类;实验结果表明,该方法能有效识别正常状态及不同损伤程度下的内圈、外圈、滚动体故障状态,识别准确率达到99.50%以上水平;基于卷积神经网络的滚动轴承故障诊断方法不仅在一定程度上可以简化故障诊断的过程,而且可以充分利用卷积神经网络模型的优势实现高效准确地故障诊断。     

基于ISCNN-LightGBM的轴承故障诊断

在传统卷积神经网络与分类器相结合的故障诊断方法中, CNN用于故障特征提取时, 存在着提取的特征质量不高与运行时间较长的问题. 针对以上问题, 本文提出了一种基于改进单层卷积神经网络及LightGBM的故障诊断模型. 该模型通过将特征距离函数嵌入CNN的损失函数中, 提升了CNN特征提取的能力, 增强了CNN与后续分类器之间的联系, 从而提升了整体模型的故障诊断能力. 于此同时, 经过改进的单层的卷积神经网络进一步缩短了模型运行的时间, 提升了模型的诊断效率. 通过对两个不同的公共数据集进行对比实验, 其结果表明, 本文所提诊断模型对多种轴承故障的诊断准确率与诊断效率显著高于其他诊断模型.     

基于改进深度残差网络的低功耗表情识别

为了提高表情识别率并降低表情识别的功耗,提出一种基于改进深度残差网络的表情识别方法。残差学习在解决深度卷积神经网络退化问题、使网络层次大幅加深的同时,进一步增加了网络的功耗。为此,引入具有生物真实性的激活函数来代替已有的整流线性单元(Rectified Linear Units,ReLU)函数, 并将其作为卷积层激活函数对深度残差网络进行改进。该方法不仅提高了残差网络的精度,而且训练出的网络权重可直接作为与该深度残差网络具有相同结构的深度脉冲神经网络的权重。将该深度脉冲神经网络部署在类脑硬件上时,其能够以较高的识别率和较低的能耗进行表情识别。     

基于改进的卷积神经网络脑电信号情感识别

针对传统机器学习需要人工构建特征及特征质量较低等问题,提出一种新颖的基于一维卷积神经网络（Convolutional Neural Network,CNN）的特征提取方法。采用编码思想,由卷积层和下采样层构成编码器网络提取脑电信号情感特征,随后与特征图一起输入Leaky ReLU激活函数。对于卷积预训练过程,使用交叉熵和正则化项双目标优化损失函数,之后采用随机森林分类器以获得情感分类标签。在国际公开数据集SEED上进行实验,达到94.7%的情感分类准确率,实验结果表明了该方法的有效性和鲁棒性。     

基于一维卷积神经网络的实时道岔故障诊断

针对道岔故障诊断系统实时性要求高、特征提取严重依赖于先验知识的问题,提出了一种基于一维卷积神经网络（1D-CNN）的道岔实时故障诊断方法。以S700k转辙机的功率曲线为例,建立一维卷积神经网络的结构模型,该模型将特征提取与故障分类融合为一体,优化了网络参数,同时使用正则化Dropout提高模型的泛化能力,采用t-SNE可视化方法,来反映模型提取特征的有效性。仿真实验表明：卷积层和池化层对原始时域信号的自适应特征提取,能较好地捕捉信号空间维度信息,降低模型的计算量,提高模型的抗噪性能,实现了端到端的实时故障诊断,并有效地提高道岔故障实时诊断的准确率。     

基于改进图卷积神经网络的配网线路故障诊断

随着电网的不断扩容,系统结构越来越复杂,多故障频发,而多故障是故障诊断的关键和难点。为解决故障处理数据量大,需要快速、准确地诊断电网故障的问题,本文提出了一种基于模糊优化图卷积神经网络的配网故障诊断模型。首先处理采集的配网故障线路的特征数据;其次,搭建基于图卷积神经网络的故障诊断模型,利用模糊理论建立配电网故障的隶属函数;最后利用训练好的模型进行配网故障诊断。仿真结果表明,模糊优化图卷积神经网络对多故障诊断的准确率高于卷积神经网络以及其他方法,本文方法做出的诊断结果更加精确,综合诊断效果最好。     

基于CBAM-CNN的模拟电路故障诊断

针对模拟电路的故障特征难以提取,导致模型计算量复杂、诊断准确率不够高的问题,提出一种基于注意力机制和卷积神经网络(CBAM-CNN)的模拟电路故障诊断方法.首先,利用卷积核提取输入层的图片特征,同时在每个卷积层后面连接一个矫正线性单元(ReLU),并添加批归一化层(BN)解决内部协变量偏移的问题,以提高非线性模型表达能力;然后,在批归一化层后添加注意力机制模块(CBAM),提取重要的特征后连接池化层,降低网络计算复杂度,提高网络的准确率与效率;最后,以Sallen-Key低通滤波器和二级四运放双二阶低通滤波器为研究对象进行故障诊断实验验证.结果表明,所提出方法能够有效提升诊断精度,实现所有故障的高难分类与定位.     

基于Tensorflow对卷积神经网络的优化研究

针对卷积神经网络在性耗比上的不足,提出了异构式CPU+GPU的协同计算模型,在模型计算过程中使CPU负责逻辑性强的事物处理和串行计算,使GPU执行高度线程化的并行处理任务。通过实验测试与单GPU训练、单CPU训练进行对比,结果表明异构式CPU+GPU计算模型在性耗比上更加优异。针对在卷积神经网络中Swish激活函数在反向传播求导误差梯度时涉及参数较多所导致的计算量较大,收敛速度慢,以及ReLU激活函数在[x]负区间内导数为零所导致的负梯度被置为零且神经元可能无法被激活的问题,提出了新的激活函数ReLU-Swish。通过测试训练对比并分析结果,将Swish激活函数小于零与ReLU激活函数大于零的部分组成分段函数,并且通过CIFAR-10和MNIST两个数据集进行测试对比实验。实验结果表明,ReLU-Swish激活函数在收敛速度以及模型测试训练的准确率上对比Swish激活函数及ReLU激活函数有较明显的提高。     

AlexNet改进及优化方法的研究

通过对Normalization、优化器、激活函数三方面对AlexNet卷积神经网络进行了改进及优化。针对LRN（Local Response Normalization）不存在可学习参数,提出了用WN（Weight Normalization）来代替LRN,同时将WN置于所有池化层（Pooling layer）之后,提高了AlexNet模型训练的准确率;通过对比分析Adam、RMSProp、Momentum三种优化器在不同学习率（Learning rate）下对AlexNet模型训练的影响,并得出了相应的学习率的优化区间,提高了AlexNet在Optimizer的学习率区间选择上的准确性;针对AlexNet中ReLU激活函数存在的部分权重无法更新以及梯度爆炸问题,提出了ReLU6与Swish的融合分段函数算法,提升了AlexNet模型训练收敛速度以及准确率的同时也缓解了过拟合现象的发生。     

基于卷积神经网络的飞机液压系统故障诊断

现代飞机系统的复杂度和集成度均大幅提升,使得其故障诊断存在难度高和准确率低等特点。采用一维卷积神经网络方法对军用飞机液压系统的故障诊断问题进行了研究,构建了满足多传感器数据分析要求的卷积神经网络模型。考虑到神经网络的输入来自不同的传感器数据序列,各数据序列之间的空间关系不明显,因此,即使网络输入是二维形式,而实际的卷积操作均在一维上进行。通过解决某飞机液压系统的故障诊断问题,证明将标准化后的多传感器数据序列及对应故障模式作为训练样本对卷积神经网络模型进行训练时,采用满足训练要求的网络对飞机液压系统进行故障诊断时具有较高的准确率。     

融合多尺度和边界优化的图像语义分割网络

针对卷积神经网络在多卷积层叠加造成的图像内小尺度目标丢失和类别边界模糊问题,提出一种基于多尺度特征融合和边界优化的阶梯型图像语义分割网络结构。该网络以提升网络模型的准确率为目标,对Deeplab V3+网络中空间池化金字塔模块进行优化,使用针对视觉任务的新激活函数Funnel ReLU(FReLU)替换原有非线性激活函数获取精度补偿,增添优化分支构建阶梯型网络,通过对各类别边界的精确预测提升整体图像分割准确率,减少预测结果中类内误识别和小尺度目标丢失问题。在Cityscapes数据集上的实验结果表明,改进后的网络各类别平均交并比指标均取得明显提升。     

基于Inception深度残差网络的皮肤黑色素癌图像分类算法

由于皮肤黑色素癌图像存在类内差异大、样本数据集小等特点, 采用深度残差网络可以有效解决训练过程中过拟合问题, 提高识别准确率. 但是深度残差网络模型的训练参数多, 时间复杂度高. 为了提高训练效率, 提高识别准确率, 首先从理论上分析了深度残差网络模型的结构, 通过修改网络结构, 利用Inception结构代替残差网络中的卷积层、池化层, 减少模型的训练参数数量, 降低时间复杂度. 在此基础上, 提出了基于Inception深度残差网络皮肤黑色素癌分类识别算法(Inception Deep Residual Network, IDRN), 用Inception结构代替残差网络中的卷积池化层, 用SeLU激活函数代替传统的ReLU函数. 之后, 在公开的黑色素癌皮肤镜图像ISIC2017数据集上进行实验验证. 理论和实验表明, 与传统的卷积神经网络ResNet50相比, 本文提出的新的分类算法降低了时间复杂度, 提高了识别准确率.