基于ResNet和注意力机制的花卉识别

花卉识别在生活中有重要的应用价值,传统的花卉识别方法存在识别准确率低、泛化能力较弱等问题。针对这些问题,本文提出一种加入注意力机制的ResNet34网络模型,在ResNet34第一层卷积层和各残差块后加入通道注意力机制、空间注意力机制,并使用迁移学习训练网络模型。实验表明,在花卉数据集上ResNet34比AlexNet、VGG-16、GoogLeNet识别准确率更高,加入注意力机制并使用迁移学习的ResNet34模型的识别准确率比原模型提高了6.1个百分点,比仅使用迁移学习的原模型提高了1.1个百分点。与传统深度学习模型相比,本文提出的模型显著地提高了识别准确率。     

基于改进ResNet网络的交通标志识别研究

针对传统ResNet网络存在丢失图像有用信息以及参数冗余等问题,论文提出一种改进ResNet的A-ResNet模型.引入有shortcut连接的残差注意力模块,增强对目标对象的关注度;引入Dropout层,防止过拟合现象,提升识别精度;调整网络架构,加快训练收敛速度及提高识别精度.实验结果表明,A-ResNet模型相比传统ResNet网络实现约2％的top-1精度的提高.     

融合注意力机制改进ResNet的人脸表情识别

鉴于现有人脸表情识别方法在表情识别过程中存在的诸多痛点,比如对有效特征提取不够、泛化能力不强、识别准确性不高等,提出了一种改进残差网络的人脸表情识别方法。首先,引入卷积注意力机制,对网络中间的特征图进行重构,强调重要特征,抑制一般特征;其次,使用激活函数PReLU替换ResNet中原有的ReLU,在提高模型拟合复杂数据能力的同时,避免出现在负值区域的梯度永远为0,进而导致模型训练时无法执行反向传播的问题;然后,在网络输出层的avgpool与fc之间加入Dropout抑制过拟合,以进一步增加网络模型的鲁棒性与泛化性;最后,在公开数据集CK+上的仿真实验结果表明,该方法的准确识别率达到96.12%。与现有多种经典算法,以及baseline算法即ResNet101相比,改进的网络模型具有更好的识别效果,证明了该方法的有效性与优异性。     

自适应感受野网络的行人重识别

行人重识别通常删除特征提取网络中的最后一个空间下采样操作,以增加最后输出特征图的分辨率,保留更多的细粒度特征.然而,这种操作会大幅减小神经网络的感受野,而更大的感受野可以为行人重识别提供更多的上下文信息.同时,在实际的视觉皮层中,相同区域的神经元的感受野是不同的,但当前行人重识别网络的设计大多忽视了这一点.为了解决上述问题,提出一种新颖的自适应感受野网络.网络的设计受启发于生物的视觉系统,通过在多分支网络上设置不同大小的感受野,结合注意力机制让网络自行选择合适的感受野特征,从而实现网络感受野的自适应,并且采用分组卷积使得自适应感受野模块更加轻量级.同时在各个分支利用空洞卷积增大感受野,补偿删除最后下采样操作所减少的网络感受野.在公开的大规模数据集上进行实验,实验结果表明,所提出的算法相比于基线方法有显著的提升,当使用ResNet-50作为特征提取网络时,在DukeMTMC-reID、Market-1501数据集上的Rank-1和mAP分别达到89.2%和76.0%、95.2%和87.2%.与现有方法相比,所提出算法在精度上有明显的提升.     

深度学习技术及在花卉识别中的应用

深度学习(Deep Learning,DL)是机器学习领域的重要研究分支,当前已广泛应用在智能农业领域中的花卉识别、杂草检测和病虫害检测等方面。笔者介绍了深度学习的发展历程,阐述了主流的基于卷积神经网络的目标识别算法,将当前较为典型的两种图像识别算法FasterR-CNN和YOLO应用于识别花卉图片,通过比较分析两种方法在花卉图片识别过程中的优劣性,并提出了下一步的研究方向。     

基于改进的深度神经网络的人体动作识别模型

针对现有人体动作识别方法需输入固定长度的视频段、未充分利用时空信息等问题,提出一种基于时空金字塔和注意力机制相结合的深度神经网络模型,将包含时空金字塔的3D-CNN和添加时空注意力机制的LSTM模型相结合,实现了对视频段的多尺度处理和对动作的复杂时空信息的充分利用。以RGB图像和光流场作为空域和时域的输入,以融合金字塔池化层的运动和外观特征后的融合特征作为融合域的输入,最后采用决策融合策略获得最终动作识别结果。在UCF101和HMDB51数据集上进行实验,分别取得了94.2%和70.5%的识别准确率。实验结果表明,改进的网络模型在基于视频的人体动作识别任务上获得了较高的识别准确率。     

基于ResNet50和通道注意力机制的行人多属性协同识别方法

针对目前行人多属性识别算法识别精度不高的问题,利用行人属性之间的内在关联关系,基于“特征提取+回归”的思想,提出了一种基于深度卷积神经网络的行人多属性协同识别方法。该方法首先对多个行人属性标签进行组合编码,得到一个标签组合向量;然后采用基于通道注意力机制的ResNet50作为主干网络提取行人图像的深度特征;最后,设计了一个包含3个全连接层的神经网络结构来建立标签组合向量与行人深度特征之间的映射模型,在一个统一的网络框架下就可以同时对行人的多种属性进行准确识别。在行人属性公共数据集PETA和RAP上的实验结果表明,采用提出的识别方法在公共数据集PETA上获得的识别准确率为84.08%,而在公共数据集RAP上可以获得高达88.12%的识别准确率。     

面向表情识别的重影非对称残差注意力网络模型

针对ResNet50中的Bottleneck经过1×1卷积降维后主干分支丢失部分特征信息而导致在表情识别中准确率不高的问题,本文通过引入Ghost模块和深度可分离卷积分别替换Bottleneck中的1×1卷积和3×3卷积,保留更多原始特征信息,提升主干分支的特征提取能力;利用Mish激活函数替换Bottleneck中的ReLU激活函数,提高了表情识别的准确率;在此基础上,通过在改进的Bottleneck之间添加非对称残差注意力模块(asymmetric residual attention block, ARABlock)来提升模型对重要信息的表示能力,从而提出一种面向表情识别的重影非对称残差注意力网络（ghost asymmetric residual attention network, GARAN）模型。对比实验结果表明,本文方法在FER2013和CK+表情数据集上具有较高的识别准确率。     

基于改进残差网络的交通标志识别算法

针对模型在下采样过程中不断损失图像的高层次信息,从而导致特征提取不足的问题,本文对ResNet网络结构进行改进,提出基于多尺度特征与注意力机制的交通标志识别方法。首先,通过特征融合的方式将模型各个层次的多尺度特征进行融合,丰富特征语义信息,增强网络的特征提取能力。然后,通过注意力机制强化不同通道特征,提升特征整体的表达能力。结合这2种方法可提升模型的交通标志识别准确率。在GTSRB和BelgiumTS交通标志数据集上的实验结果表明,所提出方法的准确率分别达到99.31%和98.96%,优于前沿的交通标志识别算法。     

基于改进的ResNet网络的人脸表情识别

近几年来,人工智能的热度一直居高不下,其中作为人机交互的一种重要方法—人脸表情识别已经成为计算机视觉研究的热点.从传统的机器学习算法到现在的深度学习,识别效率也在不断地提高,为了进一步提高人脸表情识别率,在传统的卷积神经网络的基础上,提出了一种基于改进的ResNet卷积神经网络的表情识别方法.该方法基于ResNet网络...     

基于ResNet50和迁移学习的岩性识别与分类研究

岩性识别与分类对于地质分析具有重要的研究意义,是油藏描述和固体金属矿产资源勘探中的核心环节.传统的岩性识别方法受限于研究者的地质经验和实验设备的质量,受主观因素影响较大.为此提出了一种基于ResNet50网络模型和迁移学习的岩性识别与分类方法,首先使用预训练的ResNet50残差网络进行特征提取,然后利用改进的分类模型进行训练,最后在测试集上进行岩性识别分类.实验的数据集是使用工业相机在录井现场拍摄的岩屑和岩心图像,其中包含深灰色泥岩、深灰色粉砂质泥岩、浅灰色细砂岩等7类共315岩石图片.实验结果表明,所提模型对岩石样本数据的适用性较强,岩性识别准确率达到93.93％,能够很好地区分岩石类型且有较好的泛化能力和鲁棒性,可以满足实际应用需求.     

时空卷积注意力网络用于动作识别

在视频动作识别任务中,无论是在视频的空间维度还是时序维度,如何充分学习和利用特征之间相关性,对最终识别性能的影响非常大。卷积操作通过计算邻域内特征点之间的相关性获得局部特征,而自注意力机制通过所有特征点之间的信息交互学习到全局信息。单个卷积层不具备在全局视角上学习特征相关性的能力,即使是重复堆叠多层也只是获得了若干个更大的感受野。自注意力层虽然具有全局视角,但其关注的核心仅是不同特征点所表达的内容联系,忽略了局部的位置特性。为了解决以上问题,提出了一种时空卷积注意力网络用于动作识别。时空卷积注意力网络由空间卷积注意力网络和时序卷积注意力网络共同组成。空间卷积注意力网络使用自注意力方法捕捉空间维度的表观特征联系,用一维卷积提取动态信息。时序卷积注意力网络通过自注意力方法来获取时序维度上帧级特征间的关联信息,用2D卷积学习空间特征。时空卷积注意力网络集成两种网络的共同测试结果来提升模型识别性能。在HMDB51数据集上进行实验,以ResNet50为基线,引入时空卷积注意力模块后,神经网络的识别准确率在空间流和时序流上分别提升了6.25和5.13个百分点。与当前先进方法进行比较,时空卷积注意力...     

改进YOLOv7的交通标志检测算法

自动驾驶技术的快速发展,导致对交通标志检测技术的要求日益提高.为解决YOLOv7算法在识别小目标时误检、漏检等问题,本文提出一种基于注意力机制的交通标志检测模型YOLOv7-PC.首先通过K-means++聚类算法对交通标志数据集进行聚类,获得适用于检测交通标志的锚框;其次在YOLOv7主干特征提取网络中引入坐标注意力机制,将交通标志的横向和纵向信息嵌入到通道中,使生成的特征信息具有交通标志的坐标信息,加强有效特征的提取;最后在加强特征提取网络中引入空洞空间金字塔池化,捕获交通标志多尺度上下文信息,在保证交通标志小目标分辨率的同时,进一步扩大卷积的感受野.在中国交通标志检测数据集(CCTSDB)上的实验表明,本文算法增强了识别小目标的能力,相较于YOLOv7模型,本文算法的m AP、召回率平均分别提高了5.22%、9.01%,是一种有效的交通标志检测算法.     

基于时域卷积网络的中文句子级唇语识别算法

针对现有中文句子级唇语识别技术存在的视觉歧义、特征提取不充分导致识别准确率偏低的问题,提出了一种基于时域卷积网络,采用三维时空卷积的中文句子级唇语识别算法——3DT-CHLipNet(Chinese LipNet based on 3DCNN,TCN)。首先,针对特征提取不充分的问题,所提算法采用了比长短期记忆网络(LSTM)感受野更大的时域卷积网络(temporal convolutional network, TCN)来提取长时依赖信息;其次,针对中文唇语识别中存在的“同型异义”视觉歧义问题,将自注意力机制应用于中文句子级唇语识别,以更好地捕获上下文信息,提升了句子预测准确率;最后,在数据预处理方面引入了时间掩蔽数据增强策略,进一步降低了算法模型的错误率。在最大的开源汉语普通话句子级数据集CMLR上的实验测试表明,与现有中文句子级唇语识别代表性算法相比,所提算法的识别准确率提高了2.17%至23.99%。     

改进残差网络结合迁移学习的SAR目标识别

合成孔径雷达(SAR)图像的目标识别对地面和海面目标获取具有重大意义。实现SAR图像目标自动解释,提高图像目标识别的准确率成为SAR图像研究的热点问题。为准确获取SAR图像中的目标信息,解决深度神经网络训练小样本SAR图像过程中细节特征丢失严重,网络易出现过拟合等问题,该研究提出一种基于RCF(ResNet101-CBAM-FPN)神经网络模型来提取SAR图像特征。将ResNet101作为主干网络模型用于特征提取,在主干网络模型中加入卷积注意力模块引导神经网络有针对性地提取SAR图像关键特征信息。然后结合特征金字塔网络,实现神经网络高层特征与底层特征融合,丰富特征信息。最后融合迁移学习思想,通过数据相对充足的仿真SAR图像对RCF网络模型进行预训练。将预训练获取的模型参数迁移至目标网络,作为目标网络的初始化参数,并使用目标网络对SAR图像进行迭代训练。实验结果表明,该方法能有效提升小样本数据SAR图像的识别精度,在MSTAR数据集上达到99.60%的识别率。     

结合改进卷积神经网络与自编码器的表情识别

为了克服单一神经网络模型提取表情特征困难,以及堆叠深层网络结构会造成训练过程复杂、参数冗余等问题,本文提出了一种引入注意力机制的轻量级CNN通道和卷积自编码器预训练通道的双通道模型.在轻量级CNN通道中以具有残差思想的深度可分离卷积结构进行深层次特征提取并且减少了模型参数量,还引入了通道域注意力机制使得该通道能够学习到...     

基于注意力机制的时间分组深度网络行为识别算法

受人脑视觉感知机制启发,在深度学习框架下提出基于注意力机制的时间分组深度网络行为识别算法.针对局部时序信息在描述持续时间较长的复杂动作上的不足,使用视频分组稀疏抽样策略,以更低的成本进行视频级时间建模.在识别阶段引入通道注意力映射,进一步利用全局特征信息和捕捉分类兴趣点,执行通道特征重新校准,提高网络的表达能力.实验表明,文中算法在UCF101、HMDB51数据集上的识别准确率较高.     

基于改进VGG16网络模型的花卉分类

为进一步提高花卉分类的准确率, 在对现有的VGG16网络模型进行研究的基础上, 提出一种基于视觉注意力机制的网络模型. 将SE视觉注意力模块嵌入到VGG16网络模型中, 实现了对花卉显著性区域特征的提取; 为有效防止梯度爆炸及梯度消失, 加快网络的训练和收敛的速度, 在各卷积层后加入BN层; 采用多损失函数融合的方式对新模型进行训练. 新模型能有效提取花卉的花蕊、花瓣等显著性区域, 放大了花卉的类间距离, 缩小了类内距离, 加快了网络的收敛, 进一步提高了花卉分类的准确率. 实验结果表明, 新模型在Oxford-102数据集上的分类准确率比未引入注意力前有较大提高, 与参考文献相比, 分类准确率也有较大的提高.     

唇语识别的深度学习方法综述

随着深度学习的不断发展,唇语识别领域的研究取得了重大进展,涌现了许多唇语识别的深度学习算法。依据识别对象的连续性,将唇语识别分为孤立唇语识别和连续唇语识别,并对各识别任务的深度学习方法进行了详细和深入的分析总结。从孤立唇语识别的深度学习方法和连续唇语识别的深度方法两个方面介绍了主流唇语识别方法,并对各方法的优缺点和性能进行比较;对不同数据集下代表性方法的特点和性能进行比较,对两类方法的优缺点和适用范围进行阐述;讨论了唇语识别方法存在的问题和挑战,并对唇语识别方法的研究趋势进行了展望。