一种有效神经网络训练优化方法

指数移动平均(EMA)算法,通常可用于过滤由小批量梯度下降引起的噪声,提高模型鲁棒性。然而,传统EMA算法在持续训练后期,无法有效优化网络参数,深层神经网络经常出现过拟合。因此,本文提出一种以变系数Tanh为衰减函数的动态衰减EMA算法,结合SGD优化器的T-ADEMA+SGD算法,进行神经网络训练。针对MNIST、CIFAR＿10、CIFAR＿100数据集,采用优化器SGD训练ResNet50模型,并针对胸部X射线图像训练Vision Transformer(ViT)模型,同时采用深度卷积生成对抗网络(DCGAN)进行数据增强和基于t分布,随机邻域嵌入(t-SNE)模型用于可视化分析。实验表明,对于CIFAR＿100测试集,T-ADEMA+SGD算法的准确率、精度、召回率和F₁值分别为74.15%、74.39%、74.15%、74.04%;而对于Kaggle COVID-19三分类图像,相应的评价指标分别为87.94%、91.19%、84.43%、86.87%,与典型算法相比,本文模型可以更好地根据训练时间,动态调整最优参数、降低噪声,具有更好的泛化性能,适用于...     

多尺度特征融合与极限学习机结合的交通标志识别

针对卷积神经网络只能使用相同尺寸图像和卷积核的网络进行特征提取,导致提取的特征不全面,在交通标志识别中因车载摄像头与交通标志的位置不断变化影响交通标志的识别精度等问题,提出了一种基于多尺度特征融合与极限学习机结合的交通标志识别方法。首先,将预训练适应3种不同尺寸图像的网络模型作为实验的初始模型;然后,融合3个网络模型构建多尺度卷积神经网络,将3个预训练网络的参数级联到融合模型的全连接层,对融合模型的全连接层进行训练,采用随机梯度下降算法更新网络参数;最后,将融合后的模型作为特征提取器提取特征,把提取到的多尺度特征送入极限学习机,实现交通标志识别。实验采用德国交通标志数据库(GTSRB)对算法性能进行测试,实验结果显示,多尺度特征融合与极限学习机结合的网络识别精度为99.23%,识别速度为46ms。相对于预训练的网络,网络的分类精度分别提高了2.35%,3.22%,3.74%。多尺度特征融合能够有效提取交通标志图像的特征信息,极限学习机可以提高分类精度和分类时间,该方法能满足交通标志识别的准确性和实时性的要求。     

结合级联框架与注意力机制的人脸表情识别

针对人脸表情变化细微易受到非表情区域影响、传统神经网络提取难以提取有效特征等问题，提出了一种结合级联框架与注意力机制的人脸表情识别方法。首先，通过级联框架模型排除人脸图像的多余干扰；其次在深度有效网络中引入注意力机制从通道和空间维度上进行注意权重推断，以增强表情特征的表达能力，抑制冗余信息的影响；最后采用Focal loss损失函数进一步减弱数据集分布不均衡带来的影响。实验结果表明，该方法在公开数据集FER2013、JAFFE上分别取得了72.42%和95.71%的识别准确率，与其他算法相比具有一定先进性与优越性。     

基于改进卷积神经网络算法的违规作业行为检测

为了提升电力生产环境下违规作业行为的检测效率,文中对卷积神经网络的相关理论进行了研究,将二维平面下的卷积、池化运算扩展到了三维空间(C3D),使得网络在特征提取时可以有效获取视频帧信息。借鉴Inception网络的思路,使用更小颗粒的卷积结构替代C3D网络中的大颗粒卷积运算,有效提升了网络的感知能力和非线性拟合能力。此外,还对传统的随机梯度下降(SGD)训练方式进行了改进,引入了一种基于分数阶动量的梯度下降法,该方法使用训练动量进行自适应训练调节,有效解决了SGD训练误差不稳定、容易陷入局部最优等缺点。以某供电公司安监部门采集的视频数据集为样本进行的性能测试结果表明,其识别精度可达92.25%,相较于普通C3D网络,识别精度提升了4.89%,训练时间下降了61.41%。     

结合SoftPool的VGG19与CapsNet相级联的表情识别模型研究

表情识别作为计算机视觉领域的研究热点,在情感识别、人机交互、智能安防等领域有着重要的应用.文章针对VGG19在训练人脸表情数据集时由于全连接层参数量过大而易过拟合的问题,利用胶囊网络CapsNet对VGG19的全连接层进行替换,以实现VGG19与CapsNet相级联,从而改善训练时过拟合的问题,同时使得级联后的模型在RAF-DB数据集上的精度提高了5.28％.针对VGG19特征提取网络的MaxPool易丢失人脸特征图信息的问题,利用SoftPool对MaxPool进行替换,从而在最大程度上保留了人脸的细粒度特征.实验结果表明,改进后的模型在RAF-DB数据集上取得了 84.21％的精度,在FER2013数据集上取得了 73.16％的精度,表情识别效果更优.     

声韵母约束扩展识别网络的发音偏误检测

发音偏误检测是计算机辅助发音训练（Computer Aided Pronunciation Training ,CAPT）的重要组成部分。为了在机器辅助语料标注任务或者缺少标注语料的偏误检测任务上提高性能,本文提出解码时使用声韵母约束的扩展识别网络方法。该方法将传统的语音识别中解码的自由文法循环（free grammar loop）部分换成结合声韵母交替以及字数限制规则的扩展识别网络,可以对全音素进行偏误检测, 并且不会出现插入删除错误。相比于传统的扩展识别网络,这种约束的扩展识别网络不需要大量的语料标注和分析。相对于传统的发音良好度评价方法（Goodness of Pronunciation, GOP）, 基于这种拓展识别网络的方法不仅可以对二语学习者的发音进行正误的检测,还能给出具体的错误反馈。实验结果表明,本文提出的基于声韵母约束拓展识别网络的方法在挑错任务上优于传统的发音质量评估（GOP）的方法,其错误接受率为29.2%,错误拒绝率为22.9%,诊断准确率为76.6%。比GOP方法的诊断准确率相对提升15.5%,并且模型相较于无标注经验汉语母语者能检测出更多偏误。      

基于轻量化YOLO模型的植物叶片识别

为了提升植物叶片的检测能力,减少繁琐的人工成本,本文构建了包含10类常见植物叶片的数据集。应用基于pytorch框架的YOLOv5网络模型对叶片数据集进行训练,并通过训练模型对叶片测试图像进行检测,在识别速度和精度上取得了较好的效果。实验结果表明,本文检测方法对叶片识别的平均精度为93%,识别速度较快,有效解决了传统植物识别方法中分类器耗时长、准确率低等问题。     

基于改进AlexNet卷积神经网络的人脸表情识别

为了解决传统卷积神经网络用于人脸表情识别准确率不高的问题,提出了一种基于改进深度AlexNet卷积神经网络的表情识别方法。该方法基于AlexNet网络的基本结构,采用单图形处理单元（Graphics Processing Unit,GPU）进行训练,减少了两层卷积层和一层全连接层,在每层卷积层后加上批标准化（Batch Normalization,BN）代替原来的局部归一化,并在全连接层后加上Dropout正则化进一步防止过拟合。与AlexNet模型相比,改进的网络结构更简单、复杂度低、参数量少,可以节省大量模型训练时间进行快速预测,且更不易过拟合,同时加快了模型收敛速度,提高了网络泛化能力。在Fer2013数据集以及CK+数据集上进行实验,结果表明,所提方法分别得到了68.85%和97.46%的识别率,较其他人脸表情识别方法的识别率有一定提高。     

基于颜色均衡分类网络的细胞识别算法

为解决血细胞涂片染色多样性造成卷积神经网络在细胞形态识别时准确率较低的问题,提出了一种新的细胞形态分类算法。通过最优传输算法预训练颜色均衡网络与图像分类网络,保存网络权重,将二者网络结构级联,使用冻结层方法搭载网络参数并进行精细调节。实验结果表明,传统迁移方法的平均识别准确率为92.05%,而该文提出的颜色均衡分类网络U-RNET的平均识别准确率达到95.5%且图像处理速度更快。     

基于信息熵的DBN网络结构优化

对目前深度信念网络(Deep Belief Network,DBN)难以同时提取合适的网络深度和隐藏层神经元数的问题,在利用传统重构误差计算并判断网络深度的基础上,从信息表达的角度出发,分析了信息熵、输入层和隐藏层三者之间的内在联系,然后根据信息熵与隐藏层之间的关系,提出了一种基于信息熵确定隐藏层神经元数的优化方法,使DBN网络模型的的结构趋于更优。在手写数字识别上的实验结果表明,该方法能自组织地计算网络深度和隐藏层的神经元数量。与依据重构误差法确定网络深度的测试数据相比,平均误差减小了1.47%,有效地优化了DBN网络结构,降低了网络的训练时间,提高了网络精度和识别准确率。     

一种基于集成卷积神经网络的SAR图像目标识别算法

针对合成孔径雷达(Synthetic Aperture Radar, SAR)图像目标识别问题，提出了一种基于集成卷积神经网络(Convolutional Neural Network, CNN)的SAR图像目标识别方法。首先对原始数据集进行数据增强的预处理操作，以扩充训练样本；接着通过重采样的方法从训练样本中获取不同的训练子集，并在训练各基分类器时引入Dropout和Padding操作，有效增强了网络泛化能力；然后采用Adadelta算法与Nesterov动量法结合的思想来优化网络，提高了网络的收敛速度和识别精度；最后采用相对多数投票法对基分类器的分类结果进行集成。在MSTAR数据集上进行的实验结果表明，集成后的模型识别准确率达到99.30%,识别性能优于单个卷积神经网络，具有较强的泛化能力和较好的稳健性。     

基于深度学习的人脸识别方法研究

作为非接触式生物识别方法之一,人脸识别在诸多情况下被广泛使用。然而,传统的人脸识别方法由于识别准确度低以及在多个场合的应用受到限制,已不能满足目前的需求。文中提出了采用深度学习的方法来实现脸部标志检测和无限制人脸识别。为解决人脸标志检测问题,使用一种深层卷积神经网络的逐层训练方法,以帮助卷积神经网络进行收敛,并提出了一种避免过拟合的样本变换方法;为了解决人脸识别问题,文中提出了一种SIAMESE卷积神经网络,其在不同部位和尺度上进行训练。实验测试显示,ORL和人脸识别算法的精度分别达到了91%和81%。     

改进非负矩阵分解的神经网络人脸识别

为了提高人脸识别正确率,提出基于改进非负矩阵分解的神经网络人脸识别算法。首先利用改进的非负矩阵分解对人脸图像进行特征提取,提高非负矩阵分解速度。接着将提取出的特征信息作为神经网络学习入口进行特征训练,由于神经网络在学习过程中,容易出现局部最小值且收敛速度慢等问题,为此采用改进的遗传算法对神经网络进行优化处理,获得最终的人脸识别结果。实验结果表明:利用改进的非负矩阵分解方法能够降低神经网络的分类训练负荷量和运算量,提高人脸识别识别率。通过和各种方法比较可知,本方法的人脸识别率都较高。本方法人脸特征分解速度快,提高了神经网络训练前期精度和收敛速度,使得人脸识别正确率高。当特征向量个数达到40以上时,人脸识别正确率保持95%以上。     

基于KELM选择性集成的复杂网络环境入侵检测

为解决复杂网络环境网络入侵事件特征复杂多变、新型入侵检测度低、检测时间长、难以实现实时检测的问题,本文提出一种基于核极限学习机（Kernel Extreme Learning Machine,KELM）选择性集成的网络入侵检测方法（SEoKELM-NID）.该方法采用Bagging策略独立快速训练出多个KELM子学习器;然后基于边缘距离最小化（Margin Distance Minimization,MDM）准则对KELM子学习器的集成增益进行度量,通过选择增益度高的部分KELM子学习器进行选择性集成,获得泛化能力强、效率高的选择性集成学习器;同时,引入一种基于批量样本增量学习的KELM子分类器在线更新策略,实现入侵检测模型的在线更新,使SEoKELM-NID能有效适应复杂网络环境的变化.在KDD99数据集和一个以太网和无线网络混合的复杂网络仿真实验平台上进行了仿真实验验证,结果表明,SEoKELM-NID相比基于单个学习器以及传统集成学习的网络入侵检测方法具有更好的识别准确性以及更快的识别速度,特别对于未知的网络入侵连接事件响应速度快、漏报率低.     

基于Faster-RCNN的极验点选式验证码识别

针对传统方法难以识别极验点选式验证码的问题,文中提出一种基于Faster-RCNN目标检测模型和卷积神经网络的识别方法。通过简化的RPN提高Faster-RCNN对于背景图片文本定位的精度,再设计卷积神经网络对文本进行分类识别,并训练Tesseract-OCR识别库对信息提示文本进行识别,实现背景图片文本识别结果与信息提示文本识别结果一一对应,达到识别此类验证码的目的。实验结果表明,该方法识别此类验证码的准确率达到72.4%。     

一种基于残差网络的改进网络流量分类算法

基于卷积神经网络的网络流量分类算法中,为了提高分类准确度,其结构设计日趋复杂,容易出现梯度下滑甚至梯度消失,导致预测准确度不升反降.文章提出了一种基于残差网络的改进流量分类算法,引入残差网络层代替传统卷积神经网络中的卷积层和池化层,不仅缓解了传统卷积网络因层次太深导致难以训练的问题,同时与传统卷积运算相比,所提出的残差...     

基于改进VGG网络的单体热电池X光图像无损检测方法研究

为解决单体热电池生产中出现的安装错误、人工检测耗时耗力的问题,提出一个结合迁移学习和卷积 神 经网络(convolutional neural network,CNN) 的单体热电池缺陷检测模型。首先,对数据集图像进行裁剪、加噪等预处理,以VGG16(visual geometry group 16) 网络作为 模型的骨干架构,在瓶颈层后增添选择性核(selective kernel,SK) 卷积;然后,增添全局平均池化(global average pooling,GAP) 层, 增加Dropout层及添加 L2 正则化等微调操作,得到单体热电池缺陷检测模型Q-VGGNet;最后,在大型公开数据集ImageNet上进 行预训练学习,将获得的权重参数迁移到单体热电池图像识别模型Q-VGGNet上。测试实验表明:6种 网络模型对数据集缺陷图像的总体识别准确率分别达到了98.39%、94.44%、97.27%、96.34%、93.71%、 95.61%,Q-VGGNet网 络模型 对合格图像和 漏装负极、极耳断裂、漏装集流片3种缺陷图像 识别准确率 分别达到了99.6%,95.9%,99.6%和98.4%。检测结果表明:该方法能够更准确、快速地检测热电池缺陷, 拥有良好的缺陷诊断能力,较传统方法提高近3%,为人工检测单体热电池缺陷提供了良好的解决途径。     

一种基于网络的实时限速牌识别算法

针对现有关于车载限速牌识别算法所存在的检测速度慢、准确率低、无法应用于嵌入式系统等问题,提出了一种基于网络的实时限速牌识别算法。该算法基于SSD_MobileNet_v1网络框架进行改进,对原来的网络进行架构裁剪以去除冗余结构;同时引入了特征金字塔网络结构,并使用focal loss作为网络训练的分类损失。实验表明,提出的识别算法准确率可达88.11%,虽然略低于目前主流目标检测算法的检测精度,但是网络的每秒帧率(Frame per Second,FPS)可以达到35.13,拥有较快的检测速度,而权重文件只有24 MB 。因此,与其他算法相比,该算法不仅适合小型的嵌入式人工智能（Artifical Intelligence,AI）设备,而且更贴近真实车载场景下的识别。     

基于卷积特征和贝叶斯决策的双波段场景分类

针对可见光和近红外双波段场景分类存在图像标注样本少和特征融合质量低的问题,提出了一种基于卷积神经网络(CNN)特征提取和朴素贝叶斯决策融合的双波段场景分类方法。首先,将基于预训练的CNN模型作为双波段图像的特征提取器,避免标注样本少导致的过拟合问题;然后,通过主成分分析降维和特征归一化方法,提高支持向量机的计算速度和每个波段的分类性能;最后,以双波段后验概率为朴素贝叶斯先验概率,构建了决策融合模型,实现场景融合分类。在公开数据集上的实验结果表明,相比单一波段分类和双波段特征级联融合分类方法,本方法的识别率有明显提升,可达到94.3%;比基于传统特征的最优方法高6.4个百分点,与基于CNN的方法识别率相近,且执行简单高效。