改进YOLOx的风机叶片缺陷检测研究

针对风机叶片表面缺陷识别率低、背景复杂及目标尺度差异大等问题，提出一种改进YOLOx-s的风机叶片缺陷检测方法。在YOLOx-s颈部输出端引入轻量型通道注意力机制提取图像深层次信息，提升缺陷检测准确率；构建特征提取能力更强的残差结构替换主干网络中的Resunit，通过调整残差结构感受野，增强对小目标缺陷的检测能力；经无人机实景拍摄采集叶片表面缺陷信息，使用Imgaug数据增强技术对数据集进行扩充。实验表明，改进后的网络模型对自建数据集的检测速度为39帧/秒，与YOLOx-s网络模型相比，mAP值从93.18%提高到96.61%。实现了风机叶片表面缺陷的高精度、高速度以及高鲁棒性检测。     

多尺度残差注意力网络及其表情识别算法

面部表情识别已经广泛运用于人机交互、教育、自动驾驶等各种领域,针对现有表情识别方法网络结构复杂、参数多、泛化能力不足、识别率低等问题,且人脸表情在自然环境下易受到光照、姿态和局部遮挡等环境因素的影响,提出了一种多尺度残差注意力网络.以ResNet-18网络为基础,提出了一种新的多尺度残差注意力模块,通过提取不同尺度特征,增加特征多样性.引入CBAM注意力机制获取表情图像重点特征信息,有利于提升遮挡表情的识别.构建特征残差融合块,将浅层特征与深层特征进行残差融合,有利于获取丰富的人脸表情图像整体特征.实验结果表明,本文方法在CK+、JAFFE和Oulu-CASIA 3个公开表情数据集上分别达到了99.49%、98.53%和97.08%的准确率,与一些现有方法相比,本文方法表情识别率更高,证明了该方法可用于人脸表情识别.     

基于深度可分卷积神经网络的实时人脸表情和性别分类

针对目前普通卷积神经网络（CNN）在表情和性别识别任务中出现的训练过程复杂、耗时过长、实时性差等问题,提出一种深度可分卷积神经网络的实时人脸表情和性别识别模型。首先,利用多任务级联卷积网络（MTCNN）对不同尺度输入图像进行人脸检测,并利用核相关滤波（KCF）对检测到的人脸位置进行跟踪进而提高检测速度。然后,设置不同尺度卷积核的瓶颈层,用通道合并的特征融合方式形成核卷积单元,以具有残差块和可分卷积单元的深度可分卷积神经网络提取多样化特征,并减少参数数量,轻量化模型结构;使用实时启用的反向传播可视化来揭示权重动态的变化并评估了学习的特征。最后,将表情识别和性别识别两个网络并联融合,实现表情和性别的实时识别。实验结果表明,所提出的网络模型在FER-2013数据集上取得73.8%的识别率,在CK+数据集上的识别率达到96%,在IMDB数据集中性别分类的准确率达到96%;模型的整体处理帧率达到80 frame/s,与结合支持向量机的全连接卷积神经网络方法所得结果相比,有着1.5倍的提升。因此针对数量、分辨率、大小等差异较大的数据集,该网络模型检测快,训练时间短,特征提取简单,具有较高的识别率和实时性。     

基于无锚框关键点算法的工件表面缺陷检测

针对工件表面图像中划痕缺陷尺寸比例异常、尺度变换大、背景纹理复杂等问题,提出一种基于无锚框关键点的工件表面缺陷检测算法AFKPDD。为提高尺寸比例异常的细长划痕的检测精度,采用基于RepPoints Head的检测模块,更好拟合缺陷形态并提取有效特征。为改善尺度变换和背景复杂问题,使用可变形卷积多尺度网络提取图像特征。为提高模型泛化能力,设计随机遮挡数据增强方法和多任务学习策略。自建铝制工件内壁数据集,AFKPDD算法在该数据集上AP达到88.9%,优于其它主流目标检测算法。在公开钢材表面数据集上验证了模型的泛化能力和在划痕检测上的应用价值。     

结合随机子空间和级联残差网络的缺陷检测

针对基于深度学习的表面缺陷检测方法中的小样本问题,提出一种结合随机子空间和级联残差网络的缺陷检测方法（RSM-MTResNet）。该方法将缺陷数据分解为多个随机子空间,在每个子空间上构建残差网络,通过级联多个残差网络得到融合特征。在NEU表面缺陷数据集上进行实验,运用了混淆矩阵和[F1]值来评估模型性能。结果表明该方法的分类准确率为97.66%,比传统CNN方法的准确率高了14.5%,[F1]值均提高10.0%以上,这证明了该方法不仅能在一定程度解决小样本问题,同时能获得较高的识别性能。     

注意力残差块引导的师生网络色织物缺陷检测算法

针对传统色织物缺陷检测重构模型存在难以保证缺陷区域的重构效果、漏检和误检率偏高等问题,提出一种注意力残差块引导的无监督师生网络色织物缺陷检测算法。从知识蒸馏角度出发,基于Wide_ Resnet50_2网络设计一种具有编码-解码结构的教师-学生模型,学生网络通过恢复经过预训练的教师网络的多尺度特征增强重构能力。提出一种融合双重注意力的残差模块DARM(Dual Attention Residual Module),对特征信息进行双重权重分配的方式可以去除教师网络输出的冗余信息,进一步扩大师生网络之间对于缺陷区域的表征差异,提升模型的缺陷检测与定位能力。实验结果表明,提出的算法在YDFID-1数据集上AUPRO达到了85.8%、像素级AUROC和图像级AUROC分别达到了96.3%和98.3%;在少样本条件设置下,提出的算法在MVTec数据集上AUPRO和AUROC下降不超过4.5%,实验结果验证了该算法处理色织物缺陷检测问题的有效性以及稳定性。     

基于多尺度特征迁移学习的步态识别研究

为了解决行人步态数据集样本量较少、单特征或多特征融合的步态识别算法特征描述不足的问题,提出了一种基于多尺度特征深度迁移学习的行人步态识别方法。该算法步骤包括：改进VGG-16网络,去除网络中最后一个最大池化层（Maxpool Layer）,融合空间金字塔池化网络结构（SPP）获取行人步态能量图（GEI）的多尺度信息,利用Imagenet数据集预训练此网络模型,将提取特征能力迁移至行人步态识别网络模型中,采用行人步态样本集微调网络,修改网络中的全连接层参数,应用于行人步态识别研究。该方法在中科院自动化研究所的CASIA-B步态数据集上的识别精度达到了95.7%,与单一步态特征的步态识别方法以及融合多种步态特征的识别方法相比,步态识别率有了明显提升,表明该方法有更好的识别性能。     

改进多尺度残差网络病害叶片图像识别

针对农作物病害图像识别模型存在参数量较大内存占用较多、识别准确率不高及训练速度慢等问题,提出了融合注意力模块的多尺度卷积网络叶片病害图像识别模型。该网络模型基于残差网络模块,利用多尺度卷积取代了传统的单尺度卷积,使得网络加宽以获取更多的特征信息,避免网络堆叠过深引起的过拟合现象;同时为了加快模型训练速度,采用深度可分离卷积代替传统卷积减少模型参数量;将注意力机制引入到残差网络中,增强了模型的关键特征信息的提取能力,从而提高了模型的识别精度。通过对试验数据集进行对比试验,改进网络模型的识别准确率达到99.48%并且模型参数量仅有19.06 MB,试验结果表明所提出的方法能有效地提高模型的识别性能并降低模型参数量,为实现低成本终端运行奠定基础。     

基于ResNet-BLSTM的端到端语音识别

基于深度学习的端到端语音识别模型中,由于模型的输入采用固定长度的语音帧,造成时域信息和部分高频信息损失进而导致识别率不高、鲁棒性差等问题。针对上述问题,提出了一种基于残差网络与双向长短时记忆网络相结合的模型,该模型采用语谱图作为输入,同时在残差网络中设计并行卷积层,提取不同尺度的特征,然后进行特征融合,最后采用连接时序分类方法进行分类,实现一个端到端的语音识别模型。实验结果表明,该模型在Aishell-1语音集上字错误率相较于传统端到端模型的WER下降2.52%,且鲁棒性较好。     

一种采用级联RPN的多尺度特征#br# 融合电表箱锈斑检测算法

配电柜锈蚀会导致的后果有接触不良,严重的甚至会导致火灾、部分电气控制设备爆炸。为此,本文提出一种基于神经网络的多尺度电表锈斑检测方法。首先,基于大量的锈斑数据,训练识别锈斑的卷积神经网络（CNN）模型;其次,利用训练出的CNN模型,对电表表箱的位置进行检测,同时实现对电表表面锈斑的实时识别。算法融合了通过级联RPN网络获得多尺度的特征映射,充分利用低层特征的位置信息和高层特征的强语义信息来增强检测效果。针对采集的电表锈斑数据集,电表检测达到94.9%的精确度,优于采用YOLOv2达到的91.1%的精确度,锈斑分类精度达到94.5%。锈斑识别的识别率、实时性和稳定性可以较好地满足实际应用的需要。     

多尺度卷积特征融合的SSD手势识别算法

为了提高对中小占比手势识别的准确性与稳定性,提出了一种多尺度卷积特征融合的SSD(single shot multibox detector)手势识别方法。该方法突出表现在两大方面,其一,在原始的SSD算法的多尺度卷积检测方法基础上,引入了不同卷积层的特征融合思想,经过空洞卷积下采样操作与反卷积上采样操作,实现网络结构中的浅层视觉卷积层与深层语义卷积层的融合,代替原有的卷积层用于手势识别,以提高模型对中小目标手势的识别精度;其二,为了解决正负样本不均衡导致分类性能差的问题,提出一种改进的损失函数,以提升模型对目标手势的分类能力。在手势识别公开的数据集上的实验结果表明,与SSD和Faster R-CNN等识别方法相比,能够在保持较高的手势检测精度的同时,又具有较好的鲁棒性与检测速度。     

改进YOLOX网络的轴承缺陷小目标检测方法

针对深度学习模型在工业轴承表面缺陷检测中多目标情形下的小目标漏检率高、模型特征融合不充分的问题,基于YOLOX提出一种多注意力特征加权融合的小目标缺陷检测算法。在骨干网络引入特征提取更加细粒度的Res2Block模块,同时嵌入自注意力机制,增加隐性小目标的区域特征,减少漏检率;设计内嵌坐标注意力并作为加权条件的双路金字塔特征融合网络,提升浅层细节特征和深层高级语义特征的交互融合能力;后处理阶段引入Focal Loss损失函数,增加模型对正样本目标的学习,进一步减少漏检率。实验结果表明,与原YOLOX算法相比,改进算法在自制小型列车轴承表面缺陷数据集上mAP提高了4.04个百分点,对小目标的识别率明显提升。     

基于深度SSD改进模型的传动设备状态在线监测研究

针对现有传动设备在线监测算法存在的检测精度地、效率差等问题,提出一种基于改进SSD网络模型的在线检测算法。先对故障集进行预处理,通过滤波调制、共振解调等环节滤除原始故障集的噪声干扰;以VGG-16为基础设计了SSD网络结构,同时增加了辅助卷积层和预测层;对SSD网络模型进行改进,引入了注意力机制模块和特征增强模块,改善模型各层的数据共享性能同时提高了模型的数据训练效率;基于通道拼合方式对故障数据进行多尺度特征融合,并优化SSD模型的各层金字塔结构,以更好的匹配先验框及选择最佳的损失函数。实验结果显示,提出算法的传动设备故障检测率达到98.8%,同时算法的检测效率也优于现有算法。     

基于多尺度特征融合CNN模型的车辆精细型号识别

车辆精细型号是车辆识别的主要线索之一,也是智能交通系统的重要组成部分。针对车辆精细型号种类繁多、车辆所处环境复杂多变等因素,提出一种基于多尺度特征融合的车辆精细型号识别方法。该方法基于传统的卷积神经网络,通过提取并融合来自网络底层和高层的车辆特征,完成对车辆精细型号的识别。与其他基于卷积神经网络的车辆精细型号识别方法相比,该方法在提高分类准确率的同时还大幅度降低了整体网络的参数规模。实验结果表明,在公开数据集CompCars的监控场景下其识别精度达到了98.43%,且模型参数大小仅为3.93 MB,平均每张图片只需0.83 ms的分类时间。     

改进的VGG网络的二极管玻壳图像缺陷检测

针对于目前二极管玻壳缺陷检测中大多采用人工特征提取,识别准确率不高的问 题,提出一种改进的 VGG 网络的二极管玻壳图像缺陷检测方法。首先对玻壳图像进行预处理, 同时利用原始大样本数据集对卷积神经网络结构 VGG-19 模型进行预训练得到预训练模型,然 后通过迁移学习的方法将预训练模型中的部分卷积、池化等层权重参数迁移到改进网络模型的 固定层中,非固定层用于模型改进,并将网络的全连接层结构重新进行超参数设置和优化,最 后使用预处理后的玻壳图像数据集对改进模型进行训练,得到非固定卷积层和新的全连接层的 参数和权重。在二极管玻壳数据集进行测试,实验结果表明,该方法能有效提高二极管玻壳图 像分类识别准确率,达到了 98.3%。     

基于改进型SSD算法的空瓶表面缺陷检测

注塑空瓶在生产过程中瓶身表面会产生大量缺陷,这些缺陷对产品的外观和使用造成重要的影响。传统的人工检测由于劳动强度高、检测效率低等缺点已不适用,基于机器视觉的传统检测算法对于复杂的场景变化,所提取的特征通常很难用于缺陷分类和识别。因此,提出一种基于SSD算法,对注塑空瓶表面缺陷进行检测。考虑空瓶表面缺陷较小,特征难以提取,为提高检测效果,在SSD网络结构中加入特征融合模块,为预测层提供丰富的语义特征;同时在网络中引入注意力机制,增加网络的特征提取能力,有效地提高网络的检测精度。通过用空瓶表面缺陷数据集对本文的方法进行验证,准确率为98.3%,漏检率为0.74%,误检率为0.96%,mAP为96.5%,相比原始的SSD算法的mAP,本文算法提高了近5.6个百分点。     

自适应上下文特征的多尺度目标检测算法

识别多尺度目标是检测任务中的一项挑战,针对检测中的多尺度问题,提出自适应上下文特征的多尺度目标检测算法。针对不同尺度的目标需要不同大小感受野特征进行识别的问题,构建了一种多感受野特征提取网络,通过多分支并行空洞卷积,从高层语义特征中挖掘标签中的上下文信息;针对不同尺度目标的语义特征出现在不同分辨率特征图中的问题,基于改进的通道注意力机制,提出自适应的特征融合网络,通过学习不同分辨率特征图之间的相关性,在全局语义特征中融合局部位置特征;利用不同尺度的特征图识别不同尺度的物体。在PASCAL VOC数据集上对本文算法进行验证,本文方法的检测精度达到了85.74%,相较于Faster R-CNN检测精度提升约8.7%,相较于基线检测算法YOLOv3+提升约2.06%。     

基于人脸表情识别的在线课堂学生专注度分析

针对人脸表情识别在特征提取时容易丢失大量有用的特征信息, 无法提取更加全面的人脸表情特征的问题, 提出了一种多尺度特征融合网络模型(DS-EfficientNet). 该模型包括深层网络和浅层网络两部分, 浅层网络用来提取面部表情的细节纹理信息, 深层网络提取表情的全局信息. 并在浅层网络中加入注意力机制, 增强对浅层细节信息的提取能力. 最终在通道上进行特征融合, 融合之后网络可以提取更加丰富的人脸表情信息. 为了减少模型参数, 提高模型的泛化性能, 将全连接层替换为全局平均池化层, 加入批归一化. 本文提出的方法在Fer2013和CK+上进行实验, 识别准确率达到了73.47%和98.84%. 实验证明该方法可以提取人脸更加丰富的表情信息, 模型具有更强的泛化能力.     

融合多尺度上下文信息的实例分割

目的 实例分割通过像素级实例掩膜对图像中不同目标进行分类和定位。然而不同目标在图像中往往存在尺度差异,目标多尺度变化容易错检和漏检,导致实例分割精度提高受限。现有方法主要通过特征金字塔网络(feature pyramid network,FPN)提取多尺度信息,但是FPN采用插值和元素相加进行邻层特征融合的方式未能充分挖掘不同尺度特征的语义信息。因此,本文在Mask R-CNN(mask region-based convolutional neural network)的基础上,提出注意力引导的特征金字塔网络,并充分融合多尺度上下文信息进行实例分割。方法 首先,设计邻层特征自适应融合模块优化FPN邻层特征融合,通过内容感知重组对特征上采样,并在融合相邻特征前引入通道注意力机制对通道加权增强语义一致性,缓解邻层不同尺度目标间的语义混叠;其次,利用多尺度通道注意力设计注意力特征融合模块和全局上下文模块,对感兴趣区域(region of interest,RoI)特征和多尺度上下文信息进行融合,增强分类回归和掩膜预测分支的多尺度特征表示,进而提高对不同尺度目标的掩膜预测质量。结果 在MS ...