井下无人驾驶电机车行驶场景中多目标检测研究

目前煤矿井下无人驾驶有轨电机车在行驶过程中,对轨道中的石块及其他小型障碍物的识别存在检测速度慢、检测精度低,且对于重叠目标,易造成漏检、错检等问题。针对上述问题,提出了一种井下电机车多目标检测模型-SE-HDC-Mask R-CNN模型。该模型基于Mask R-CNN进行改进,通过在主干特征提取网络ResNet的残差块中嵌入压缩-激励（SE）模块,学习各个通道的重要程度和相互联系,增强网络对特征的选择和捕获能力;将残差块中卷积核大小为3×3的标准卷积替换成混合空洞卷积（HDC）,在不改变特征图大小、不增加参数计算量的前提下,通过增加卷积核处理数据时各值之间的距离达到增大感受野的目的。实验结果表明：SE-HDC-Mask R-CNN模型可有效提取轨道、电机车、信号灯、行人和石块目标,在井下电机车多场景运行数据集上的平均准确率均值为95.4%,平均掩码分割精度为88.1%,平均边界框交并比为91.7%,相较于Mask R-CNN模型均提升了0.5%,对信号灯、石块（小目标）的检测精度分别提升了0.7%和4.1%;SE-HDC-Mask R-CNN模型的综合性能优于YOLOV2,YOLOV3...     

改进Mask R-CNN的遥感图像多目标检测与分割

针对高分辨率遥感图像在目标检测与分割中特征提取困难、准确率低、虚假率高等问题，提出了一种改进的Mask R-CNN卷积神经网络。该网络以ResNet50为特征提取网络，在此基础上利用自下而上和自上而下两种分层跳连融合方式来进行更好的图像特征提取。针对遥感图像不同目标间尺寸差异过大、目标易丢失的问题，设计了自适应感兴趣区域来进行感兴趣区域提取。在目标分割中，使用局部融合全连接的卷积神经网络替换原全卷积神经网络，并使用上采样操作替换反卷积操作。在NWPU VHR-10数据集上进行验证，结果表明该方法与现有常用方法相比，显著地提高了遥感图像中多目标检测与分割的准确率。     

人体关键点检测的Mask R-CNN网络模型改进研究

由于在现有的人体关键点检测问题中,深度学习解决方案采用的掩膜区域卷积神经网络Mask R-CNN存在参数量大导致计算成本过高、迭代次数多导致训练时间过长等问题,提出了一种基于重组通道网络ShuffleNet改进 Mask R-CNN网络模型。通过引入ShuffleNet的网络结构,使用分组逐点卷积与通道重排的操作与联合边框回归和掩膜分割的计算结果对Mask R-CNN进行轻量化改进。使用该方法改进网络模型在进行单人或多人情况下的人体关键点检测中,在保留精度的前提下,可以加快运行速度,减少检测时间。     

基于多尺度残差神经网络的葡萄叶片病害识别

葡萄叶片不同程度的病害具有一定的相似性,目前对于葡萄叶片病害的识别多为病害种类识别,对不同程度病害识别的研究较少,且传统识别方法对于不同程度病害识别准确率较低。提出一种基于多尺度残差神经网络（Multi-Scale ResNet）的葡萄叶片病害识别方法。对葡萄叶片病害图像进行数据增强与叶片区域标注后,使用Mask R-CNN提取葡萄叶片部位,通过引入多尺度卷积以改变ResNet底层对不同尺度特征的响应,利用加入的SENet提升网络的特征提取能力,并将图像输入Multi-Scale ResNet中进行识别。实验结果表明,该方法的平均识别准确率达到90.83%,相比ResNet18提高了2.87个百分点。     

改进ResNet18网络模型的花卉识别

花卉识别在生活中有重要的应用和研究价值。目前传统的花卉识别方法都是通过人工手动选择多个特征进行分类,存在识别准确率低、泛化能力较弱和分类时间长等问题。由于不同的花朵之间存在相似度,通过对每张图片随机变化,增强数据集,把花卉作为研究对象,提出了一种基于ResNet18网络模型优化的花卉识别方法。将ResNet18网络模型中残差块的基础卷积替换为空洞卷积,提取花卉图片更多的细节特征来实现高精度,接着在每个残差块后分别加入经过改进的通道注意力机制优化网络权重,构造改进的ResNet18网络模型,在Oxford 102 Flowers牛津花卉数据集上的实验进行了仿真。实验结果显示,在Oxford 102 Flowers牛津花卉数据集上ResNet网络模型相较于基础AlexNet、VGG-16网络模型准确率高。改进的ResNet网络模型识别精度可以高达97.78%,比仅使用空洞卷积的模型提高了3.11个百分点,比原模型提高了4.45个百分点。改进的ResNet18网络模型在花卉识别的泛化和拟合能力有显著的提高。     

基于实例分割模型优化的道路抛洒物检测算法

在交通安全领域,道路抛洒物易引发交通事故,构成了交通安全隐患。针对传统抛洒物检测方式识别率低、对于多类抛洒物检测效果不佳等问题,提出了一种基于实例分割模型CenterMask优化的道路抛洒物检测算法。首先,使用空洞卷积优化的残差网络ResNet50作为主干神经网络来提取特征并进行多尺度处理;然后,通过距离交并比（DIoU）函数优化的全卷积单阶段（FCOS）目标检测器实现对抛洒物的检测和分类;最后,使用空间注意力引导掩膜作为掩膜分割分支来实现对于目标形态的分割,并采用迁移学习的方式实现模型的训练。实验结果表明,所提算法对于抛洒物目标的检测率为94.82%,相较常见实例分割算法Mask R-CNN,所提的道路抛洒物检测算法在边界框检测上的平均精度（AP）提高了8.10个百分点。     

基于Inception深度残差网络的皮肤黑色素癌图像分类算法

由于皮肤黑色素癌图像存在类内差异大、样本数据集小等特点, 采用深度残差网络可以有效解决训练过程中过拟合问题, 提高识别准确率. 但是深度残差网络模型的训练参数多, 时间复杂度高. 为了提高训练效率, 提高识别准确率, 首先从理论上分析了深度残差网络模型的结构, 通过修改网络结构, 利用Inception结构代替残差网络中的卷积层、池化层, 减少模型的训练参数数量, 降低时间复杂度. 在此基础上, 提出了基于Inception深度残差网络皮肤黑色素癌分类识别算法(Inception Deep Residual Network, IDRN), 用Inception结构代替残差网络中的卷积池化层, 用SeLU激活函数代替传统的ReLU函数. 之后, 在公开的黑色素癌皮肤镜图像ISIC2017数据集上进行实验验证. 理论和实验表明, 与传统的卷积神经网络ResNet50相比, 本文提出的新的分类算法降低了时间复杂度, 提高了识别准确率.     

基于DRN和FasterR-CNN融合模型的行为识别算法

针对传统单人行为识别算法易受行人形态多样性、背景和光照等影响的问题进行研究。基于扩张残差网络（DRN）的精准分类效果及目标检测网络Faster R-CNN在目标追踪方面的准确性,提出了一种DRN和Faster R-CNN的融合网络模型。该模型在Faster R-CNN中融入DRN的扩张卷积残差块代替原来的一般卷积层,并对融合模型进行了两方面的改进：在每一层前面添加一个batch normalization层;用三层扩张卷积残差块代替部分两层残差块。实验结果表明三种融合网络识别算法在Olympic sports dataset数据库上较其他行为识别算法取得了更高的mAP。其中,包含三层扩张卷积残差块的融合模型识别性能最好,mAP达到78.9%。     

改进残差网络在玉米叶片病害图像的分类研究

针对传统的玉米叶片病害图像识别方法正确率不高、速度慢等问题,提出一种基于改进深度残差网络模型的玉米叶片图像识别算法。提出的改进策略有：将传统的ResNet-50模型第一层卷积层中7×7卷积核替换为3个3×3的卷积核;使用LeakyReLU激活函数替代ReLU激活函数;改变残差块中批标准化层、激活函数与卷积层的排列顺序。进行数据预处理,将训练集与测试集的比例划分为4∶1,采用数据增强的方式对训练集进行扩充,将改进的ResNet-50模型经过迁移学习得到在ImageNet上预训练好的权重参数。实验结果表明,改进的网络在玉米叶片病害图像分类中得到了98.3%的正确率,与其他网络模型相比准确率大幅提升,鲁棒性进一步增强,可为玉米叶片病害的识别提供参考。     

深度残差网络的无人机多目标识别

传统目标识别算法中,经典的区域建议网络(RPN)在提取目标候选区域时计算量 大,时间复杂度较高,因此提出一种级联区域建议网络(CRPN)的搜索模式对其进行改善。此外, 深层次的卷积神经网络训练中易产生退化现象,而引入残差学习的深度残差网络(ResNet),能 够有效抑制该现象。对多种不同深度以及不同参数的网络模型进行研究,将两层残差学习模块 与三层残差学习模块结合使用,设计出一种占用内存更小、时间复杂度更低的新型多捷联式残 差网络模型(Mu-ResNet)。采用 Mu-ResNet 与 CRPN 结合的网络模型在无人机目标数据集以及 PASCAL VOC 数据集上进行多目标识别测试,较使用 ResNet 与 RPN 结合的网络模型,识别准 确率提升了近 2 个百分点。     

面向表情识别的重影非对称残差注意力网络模型

针对ResNet50中的Bottleneck经过1×1卷积降维后主干分支丢失部分特征信息而导致在表情识别中准确率不高的问题,本文通过引入Ghost模块和深度可分离卷积分别替换Bottleneck中的1×1卷积和3×3卷积,保留更多原始特征信息,提升主干分支的特征提取能力;利用Mish激活函数替换Bottleneck中的ReLU激活函数,提高了表情识别的准确率;在此基础上,通过在改进的Bottleneck之间添加非对称残差注意力模块(asymmetric residual attention block, ARABlock)来提升模型对重要信息的表示能力,从而提出一种面向表情识别的重影非对称残差注意力网络（ghost asymmetric residual attention network, GARAN）模型。对比实验结果表明,本文方法在FER2013和CK+表情数据集上具有较高的识别准确率。     

轻量化改进XYZNet的RGB-D特征提取网络

针对用于位姿估计的RGB-D特征提取网络规模过于庞大的问题,提出一种轻量化改进XYZNet的RGB-D特征提取网络。首先设计一种轻量级子网络BaseNet以替换XYZNet中的ResNet18,使得网络规模显著下降的同时获得更强大的性能;然后基于深度可分离卷积设计一种多尺度卷积注意力子模块Rep-MSCA（reparameterized multi-scale convolutional attention）,加强BaseNet提取不同尺度上下文信息的能力,并约束模型的参数量;最后,为了以较小的参数代价提升XYZNet中PointNet的几何特征提取能力,设计一种残差多层感知器模块Rep-ResP（re-parameterized residual multi-layer perceptron）。改进后的网络浮点计算量与参数量分别降低了60.8%和64.8%,推理速度加快了21.2%,在主流数据集LineMOD与YCB-Video上分别取得了0.5%与0.6%的精度提升。改进后的网络更适宜在硬件资源紧张的场景下部署。     

面向设备开关图像识别的改进Faster R-CNN

在大型工业厂房中,由于设备控制开关种类繁多、数量庞大,在日常的运维过程中,操作规程的繁杂性和人为判断的主观性可能导致操作失误,造成严重后果.为辅助操作人员准确判断设备开关状态是否正确,提出了面向设备开关状态识别的改进Faster R-CNN.首先,使用膨胀残差网络作为特征提取网络,在ResNet50中引入多分支膨胀卷积,融合不同感受野的信息;其次,改进特征金字塔网络,在原网络上增加一条自底向上的特征增强分支,融合多尺度的特征信息;然后,使用K-means++算法对开关边界框聚类,设计适合设备开关的候选框尺寸;最后,使用Soft-NMS代替非极大值抑制算法NMS来降低开关重叠对检测效果的影响,增强抑制重叠候选框的能力.在开关状态数据集上,改进Faster R-CNN的均值平均精度(mAP)达到了91.5%,并且已实际应用于抽水蓄能电站日常运维的设备开关状态辅助识别,满足复杂场景下的智能监管需求.     

基于双向特征金字塔和残差网络的危化品运输车辆检测

危化品运输车辆的主要特征是车顶的危险标志和车牌下的危险品标志,这对于大多数目标检测算法来说检测起来比较困难.为了在提高检测精度的同时加快检测速度,本文提出了一种融合残差网络和双向特征金字塔网络的危化品车辆检测算法.首先通过对高速公路监控视频进行截取,制作危化品车辆数据集,然后通过残差网络进行特征提取,在本文中,使用循环...     

多尺度特征融合工件目标语义分割

目的 目标语义特征提取效果直接影响图像语义分割的精度,传统的单尺度特征提取方法对目标的语义分割精度较低,为此,提出一种基于多尺度特征融合的工件目标语义分割方法,利用卷积神经网络提取目标的多尺度局部特征语义信息,并将不同尺度的语义信息进行像素融合,使神经网络充分捕获图像中的上下文信息,获得更好的特征表示,有效实现工件目标的语义分割。方法 使用常用的多类工件图像定义视觉任务,利用残差网络模块获得目标的单尺度语义特征图,再结合本文提出的多尺度特征提取方式获得不同尺度的局部特征语义信息,通过信息融合获得目标分割图。使用上述方法经多次迭代训练后得到与视觉任务相关的工件目标分割模型,并对训练权重与超参数进行保存。结果 将本文方法和传统的单尺度特征提取方法做定性和定量的测试实验,结果表明,获得的分割网络模型对测试集中的目标都具有较精确的分割能力,与单尺度特征提取方法相比,本文方法的平均交并比mIOU（mean intersection over union）指标在验证集上训练精度提高了4.52%,在测试集上分割精度提高了4.84%。当测试样本中包含的目标种类较少且目标边缘清晰时,本文方法能够得到更精准的分割结果。结论 本文提出的语义分割方法,通过多尺度特征融合的方式增强了神经网络模型对目标特征的提取能力,使训练得到的分割网络模型比传统的单尺度特征提取方式在测试集上具有更优秀的性能,从而验证了所提出方法的有效性。     

采用支路辅助学习的人脸表情识别

人脸表情识别属于一种细粒度识别,模型需要同时聚焦于浅层与深层特征。针对独立结构的卷积神经网络对细粒度特征的提取、融合能力不足的问题,提出一种基于支路辅助学习的网络结构。在基础网络的输入层引入一条支路辅助网络,该网络将逐层使用金字塔卷积块提取全局特征;通过特征映射模块不断将支路提取到的决策信息传导至基础网络,辅助基础网络提取细节特征;在模型输出层采用特征拼接的方式将支路网络与主路网络融合。将所提出的网络在公开人脸表情数据集CK+、JAFFE、FER2013和MMEW上进行识别实验,结果表明：支路辅助学习模块能够有效提升基础网络的特征提取能力和泛化能力,提出的方法识别率达到了98.89%、94.80%、71.88%和86.67%,比仅采用基础网络（例如：ResNet50）进行识别提高了3.49、2.2、5.51和1.48个百分点。     

注意力金字塔卷积残差网络的表情识别

人脸表情是人类内心情绪最真实最直观的表达方式之一,不同的表情之间具有细微的类间差异信息。因此,提取表征能力较强的特征成为表情识别的关键问题。为提取较为高级的语义特征,在残差网络（ResNet）的基础上提出一种注意力金字塔卷积残差网络模型（APRNET50）。该模型融合金字塔卷积模块、通道注意力和空间注意力。首先用金字塔卷积提取图像的细节特征信息,然后对所提特征在通道和空间维度上分配权重,按权重大小定位显著区域,最后通过全连接层构建分类器对表情进行分类。以端到端的方式进行训练,使得所提网络模型更适合于精细的面部表情分类。实验结果表明,在FER2013和CK+数据集上识别准确率可以达到73.001%和94.949%,与现有的方法相比识别准确率分别提高了2.091个百分点和0.279个百分点,达到了具有相对竞争力的效果。     

一种新的高效轻量级卷积神经网络模型

针对目前食物识别系统中网络模型参数量多、模型较大的问题,提出一种23层结构、参数量只有204k的网络模型,使用基本构造块(7×7、5×5、3×3)生成特征图,用不同感受野的2个池化层来融合卷积层的特征图,再用1×1的卷积核进行非线性组合,然后连接到空间金字塔池化层,最后在softmax分类器中分类.在公开数据集上的实验...     

基于DCN-SERes-YOLOv3的人脸佩戴口罩检测算法

2020年新冠疫情爆发,佩戴口罩是有效抑制疫情反弹的重要措施之一,研究利用机器视觉技术检测人脸是否佩戴口罩有重要的现实意义。本文针对视频图像中人脸佩戴口罩时存在遮挡、检测目标较小、特征信息不明显、目标靠近群体不易识别等问题,提出一种基于DCN-SERes-YOLOv3的人脸佩戴口罩检测算法。首先,采用ResNet50与YOLOv3相结合的方式,将主干网络替换为ResNet50残差网络,为了平衡模型的精度与速度,对残差块中的卷积层改进并加入平均池化层,降低模型的损失与复杂度,提高检测速度;其次,将ResNet50残差网络中第4个残差块的常规卷积替换为DCN可变形卷积,提高模型适应人脸佩戴口罩时发生几何形变的能力;最后,引入SENet通道注意力机制,增强特征信息的表达能力。实验结果表明,本文算法的平均精度值高达95.36%,比传统YOLOv3算法提高了约4.1个百分点,且检测速度提高了11.7 fps,本文算法提高了检测人脸佩戴口罩任务的精度与速度,有较好的应用前景。