面向轻量级卷积网络的激活函数与压缩模型

因卷积神经网络参数膨胀,导致模型训练时占用大量的计算资源和存储资源,从而限制其在边缘终端上的应用。依据深度可分离卷积模型MobileNet V1的设计思路,结合自门控函数和ReLU函数的特点,构建一种改进的激活函数和压缩神经网络模型MobileNet-rhs。将ReLU函数和swish函数分别作为分段线性函数,设计激活函数ReLU-h-swish,通过优化卷积单元结构,解决模型训练过程中难以激活部分神经元的问题,以减少特征信息丢失。构建一种剔除卷积核的压缩模型,从模型深处自下而上剔除2ⁿ个卷积核,减少逐点卷积的参数量。在CIFAR-10和CIFAR-100数据集上进行实验,结果表明,引入ReLU-h-swish函数构建MobileNet-rhs模型的Top-1分类准确率为80.38%。相比MobileNet-rhs模型,压缩后MobileNet-rhs模型的参数量减少17.9%,其Top-1分类准确率仅降低2.28个百分点。此外,利用Tensorflow将该模型部署在安卓平台上,实现图像分类相册的应用。     

基于角度特征的分类网络

卷积神经网络(Convolutional Neural Networks,CNN)在图像分类任务中的卓越表现,使得其被广泛应用于计算机视觉的各个领域。图像分类模型精度与效率的提升,除了归功于网络结构的改变外,还有很大一部分原因来自于归一化技术以及分类损失函数的改进。在人脸识别任务中,随着精度的不断提升,分类损失函数从Softmax Loss到Triplet Loss,又从L-Softmax Loss到Arcface Loss,度量方式从几何度量发展到角度度量。度量方式的改变实际上是特征形式的变化,即特征形式从一般特征转变为角度特征。在Mnist数据集上,使用角度度量损失函数训练得到的特征点呈角度分布,同时准确率比几何度量高;将角度度量方式用更直接的角度特征来表示,训练得到的同类特征点呈直线分布,准确度也比一般角度度量更高。这不禁令人思考,在CNN分类模型中是否可以使用角度特征来代替一般特征。在CNN分类模型中,其主要架构往往由多个卷积层和一个或多个全连接层组成,通过统一卷积层与全连接层的归一化操作,得到角度卷积层与角度全连接层。在普通分类网络的基础上,用角度卷积层替换卷积层,用角度全连接层替换全连接层,可以得到一个由角度特征组成的角度分类网络。在Cifar-100数据集上,基于ResNet-32构造的角度分类网络相比原分类网络,分类准确率提高了2%,从而论证了角度特征在分类网络中的有效性。     

改进残差网络在玉米叶片病害图像的分类研究

针对传统的玉米叶片病害图像识别方法正确率不高、速度慢等问题,提出一种基于改进深度残差网络模型的玉米叶片图像识别算法。提出的改进策略有：将传统的ResNet-50模型第一层卷积层中7×7卷积核替换为3个3×3的卷积核;使用LeakyReLU激活函数替代ReLU激活函数;改变残差块中批标准化层、激活函数与卷积层的排列顺序。进行数据预处理,将训练集与测试集的比例划分为4∶1,采用数据增强的方式对训练集进行扩充,将改进的ResNet-50模型经过迁移学习得到在ImageNet上预训练好的权重参数。实验结果表明,改进的网络在玉米叶片病害图像分类中得到了98.3%的正确率,与其他网络模型相比准确率大幅提升,鲁棒性进一步增强,可为玉米叶片病害的识别提供参考。     

基于双池化特征加权结构CNN的图像分类

传统的池化方式会造成特征信息丢失,导致卷积神经网络中提取的特征信息不足。为了提高卷积神经网络在图像分类过程中的准确率,优化其学习性能,本文在传统池化方式的基础上提出一种双池化特征加权结构的池化算法,利用最大池化和平均池化2种方式保留更多的有价值的特征信息,并通过遗传算法对模型进行优化。通过训练不同池化方式的卷积神经网络,研究卷积神经网络在不同数据集上的分类准确率和收敛速度。实验在遥感图像数据集NWPU-RESISC45和彩色图像数据集Cifar-10上对采用几种池化方式的卷积神经网络分类结果进行对比验证,结果分析表明：双池化特征加权结构使得卷积神经网络的分类准确率有很大程度的提高,同时模型的收敛速度得到进一步提高。     

融合多尺度和边界优化的图像语义分割网络

针对卷积神经网络在多卷积层叠加造成的图像内小尺度目标丢失和类别边界模糊问题,提出一种基于多尺度特征融合和边界优化的阶梯型图像语义分割网络结构。该网络以提升网络模型的准确率为目标,对Deeplab V3+网络中空间池化金字塔模块进行优化,使用针对视觉任务的新激活函数Funnel ReLU(FReLU)替换原有非线性激活函数获取精度补偿,增添优化分支构建阶梯型网络,通过对各类别边界的精确预测提升整体图像分割准确率,减少预测结果中类内误识别和小尺度目标丢失问题。在Cityscapes数据集上的实验结果表明,改进后的网络各类别平均交并比指标均取得明显提升。     

面向表情识别的重影非对称残差注意力网络模型

针对ResNet50中的Bottleneck经过1×1卷积降维后主干分支丢失部分特征信息而导致在表情识别中准确率不高的问题,本文通过引入Ghost模块和深度可分离卷积分别替换Bottleneck中的1×1卷积和3×3卷积,保留更多原始特征信息,提升主干分支的特征提取能力;利用Mish激活函数替换Bottleneck中的ReLU激活函数,提高了表情识别的准确率;在此基础上,通过在改进的Bottleneck之间添加非对称残差注意力模块(asymmetric residual attention block, ARABlock)来提升模型对重要信息的表示能力,从而提出一种面向表情识别的重影非对称残差注意力网络（ghost asymmetric residual attention network, GARAN）模型。对比实验结果表明,本文方法在FER2013和CK+表情数据集上具有较高的识别准确率。     

卷积网络结构优化的人脸识别算法

针对CNN网络层数较少、识别精确度不高的问题，基于CNN提出新的算法CP-CNN,CP-CNN对原有网络层结构进行改进，将Sigmoid激活改为ReLU激活，再增加一层卷积层，把单元重复四遍后再加全连接层。最终在人工数据集上实验比较得出，改进后的CP-CNN比原CNN、DNN、RNN的准确率高出约15%～30%。     

基于改进卷积神经网络的图像超分辨率算法研究

针对现有卷积神经网络图像超分辨率复原算法中映射函数容易出现过学习、损失函数收敛性不足等问题,通过结合现有视觉识别算法和深度学习理论对其进行改进。首先将原有SRCNN层数从3层提高到13层,并提出一种自门控激活函数形式swish,代替以往网络模型常用的sigmoid、ReLU等激活函数,充分利用swish函数的优势,有效避免了过拟合问题,更好地学习利用低分辨率到高分辨率图像之间的映射关系指导图像重建;然后在传统网络损失函数中引入Newton-Raphson迭代法理论,进一步加快了收敛速度。最后通过实验证明了改进的卷积神经网络模型能够有效改善图像的清晰度,并在主观视觉效果和客观参数评价指标上有进一步提高。     

基于改进的卷积神经网络脑电信号情感识别

针对传统机器学习需要人工构建特征及特征质量较低等问题,提出一种新颖的基于一维卷积神经网络（Convolutional Neural Network,CNN）的特征提取方法。采用编码思想,由卷积层和下采样层构成编码器网络提取脑电信号情感特征,随后与特征图一起输入Leaky ReLU激活函数。对于卷积预训练过程,使用交叉熵和正则化项双目标优化损失函数,之后采用随机森林分类器以获得情感分类标签。在国际公开数据集SEED上进行实验,达到94.7%的情感分类准确率,实验结果表明了该方法的有效性和鲁棒性。     

在反卷积网络中引入数值解可视化卷积神经网络

经典的反卷积可视化模型通过反池化、反激活、反卷积将特征图像还原至原图像空间,可视化网络节点从输入图像学习到的特征,有助于探究卷积神经网络运行良好的机制,但是由于采用近似处理,还原特征不明显。本研究引入数值求解方法来代替原模型中直接用卷积核的反转近似反卷积核的方法。先构造数据集:随机生成大小、形状、位置不一的结构简单、角点特征明显的三角形和矩形,用于组成层次结构逐渐复杂的数据集,并利用该数据集测试模型的可视化效果。实验表明,改进后的可视化模型提取的特征更明显,引入的噪音更少,可以更为精确地将激活网络节点从原图像学习的特征可视化。在更大的数据库上进行实验来验证结果,并利用这种结果进一步探究准确率与网络结构之间存在何种关系。     

基于一种轻量级卷积神经网络的植物叶片图像识别研究

对轻量级卷积神经网络MobileNet V2的模型结构进行改进,将深度可分离卷积中的激活函数ReLU替换成Leaky ReLU,从而避免神经元死亡问题,倒置残差卷积中的跨越连接添加Dropout层,增大模型的泛化能力.实验结果表明,预测结果的总体准确率达到91.41％,最高精确率为95.12％,最高召回率为97.39％...     

基于改进动态ReLU和注意力机制模型的中药材粉末显微图像识别研究

中药材粉末显微特征图像数据量少、样本类别分布不均衡、类间差异小,传统的图像识别方法分类效果不佳.针对以上问题提出一种基于动态ReLU和注意力机制模型的深度卷积神经网络改进方法.首先,采用对小样本数据分类效果明显的Xception作为基础网络;其次,将网络中的静态ReLU激活函数替换为改进的动态ReLU函数,让每个样本具有自己独特的ReLU参数;最后,在网络中嵌入改进的SE模块,使网络能够更好地自动学习到每个特征通道的重要程度.以上方法可以使网络更加注重于图像中的细节信息,能很好地解决样本类别分布不均衡、类间差异小的问题.实验结果表明,对56种中药材粉末导管图像进行分类识别,其准确率提升了约1.5％,达到93.8％,证明了所提研究方法相比于其他图像分类方法具有一定的优越性.     

基于小样本学习的LCD产品缺陷自动检测方法

针对高分辨率液晶显示器产品(liquid crystal display, LCD)质量在线检测需求,基于深度学习提出一种LCD缺陷自动检测方法。通过设计自适应浅层特征提取层,并引入稀疏卷积结构,多维度、多尺度的提取深层特征,采用迁移学习和深度卷积生成对抗生网络扩充数据强化训练,构建基于小样本学习的LCD表面缺陷检测模型。其特征在于,采用设计的自动分割与定位预处理软件将高分辨率图像划分成适于卷积神经网络学习的图像子块,并根据模型对图像子块的判定类别和定位坐标,同时获取多类型缺陷检测结果。实验结果表明,本文模型可以有效提高检出率,并减少漏检率。     

YOLOv4口罩检测算法的轻量化改进

针对当前YOLOv4目标检测算法网络模型庞大、特征提取不充分且易受光线环境影响的缺点,提出了一种优化了特征提取网络和一般卷积块的轻量化YOLOv4-Lite网络模型。使用改进的MobileNetv3替换原有的主干特征提取网络,减小了网络模型的参数量,提高了检测精度。提出了使用深度可分离卷积块代替原网络中的普通卷积块,使得模型的参数量进一步降低。结合了标签平滑、学习率余弦退火衰减算法,新增了SiLU激活函数代替MobileNetv3浅层网络的ReLU激活函数,优化了模型的收敛效果。优化了Mosaic数据增强方法,提升了模型的鲁棒性。在人脸口罩佩戴任务中与原算法相比,牺牲了1.68%的mAP,但在检测效率（FPS）上提升约180%。     

基于改进的卷积神经网络光学薄膜缺陷识别

为对光学薄膜缺陷图像进行准确识别分类,提出一种基于改进的卷积神经网络光学薄膜缺陷图像识别方法。为突出输入图像中的缺陷信息,采用改进的LBP算法对图像进行预处理。从三个方面对传统的卷积神经网络进行改进:为了解决单通道卷积神经网络对图像特征提取不充分的问题,构建双通道卷积神经网络;改进传统的ReLU激活函数,避免模型出现欠拟合现象;使用支持向量机(SVM)代替Softmax分类器,提高计算效率和准确率。光学薄膜缺陷图像仿真识别实验表明,所提方法分类平均准确率高达93.2%,训练时间为964 s,充分验证了所提方法的鲁棒性和有效性。