基于距离测度学习的AP聚类图像标注

针对有效利用图像底层视觉特征和图像语义特征进行图像标注,提出一种改进的AP（Affinity Propagation）聚类标注模型。首先采用半监督距离测度学习算法,融合图像语义信息,训练得到新的距离测度。然后使用新的距离测度对每一类图像进行AP聚类,生成各类图像的聚类中心,计算待标注图像到各类图像聚类中心的平均距离,确定待标注图像类别。最后计算待标注图像到类内各个聚类中心的距离,确定待标注图像类内类别,统计该类别下图像的标注词,作为待标注图像的标注词。在Corel5K和NUS-WIDE数据集上进行了实验,经验证,该方法有效提高了标注精度。     

基于双目视觉的选煤厂用胶带输送机表面异物检测

目前所采用的选煤厂用胶带输送机表面异物检测方法在实际应用时,由于选煤厂内外因素影响,导致对于不同类别的异物识别和分类精度低。针对该问题,提出一种基于双目视觉的选煤厂用胶带输送机表面异物检测方法。设计了基于双目视觉的输送带异物检测装置,将摄像机与工业相机组合成双目视觉系统,系统采集图像后,利用中值滤波算法对图像进行去噪,获取稳定的图像信息。采用YOLOv3进行异物识别预测,计算边界框和锚框数值信息,并根据上述数值信息调整计算定位准确度,实现异物检测。实验结果表明：与传统的基于Mask＿R-CN的检测方法相比,提出的方法对胶带输送机表面异物的识别筛选准确率超过96.2%,分类准确率超过97.6%。     

改进Mask R-CNN算法的带钢表面缺陷检测

在带钢的生产过程中可能会因为生产工艺的问题导致带钢表面出现缺陷,传统的带钢表面检测方法存在检测速度慢、检测精度低等问题。在计算机深度学习快速发展的今天,为实现带钢表面缺陷快速有效的检测,提出改进的掩码区域卷积神经网络（Mask R-CNN）算法,使用[k]-means II聚类算法改进区域建议网络（RPN）锚框生成方法;同时调整Mask R-CNN模型的网络结构,去掉掩码分支,提高了模型的缺陷检测速度。实验在NEU-DET数据集的5种缺陷检测中将原算法的均值平均精度（mAP）从0.810?2提升到0.960?2,检测速度达到5.9?frame/s。并且能够实现对缺陷目标的检测和实例分割,以便研究人员观测缺陷的大小和形状,从而改进工艺。相比于目前其他深度学习的缺陷检测算法,更能满足带钢的生产检测要求。     

面向废钢回收业务需求的异物检测方法

针对实际的废钢回收业务场景，设计了一种旨在判识混杂在钢材中异物的类型与位置的方法。首先，在实际的废钢回收场地，通过架设高度合适的摄像头采集图像，并基于采集的原始图像构造了较大规模的数据集；然后，根据实际情况，定义了10个异物类别，并对所有数据集中的数据进行了详细的人工标注；最后，采用Mask R-CNN(Mask Region Convolutional Neural Network)对图像预处理，以有效减少无关背景的干扰，进一步采用Mosaic数据增强方案增强样本的多样性，提高小目标检测率。综合考虑效率与精度，设计了基于YOLOv5的特征抽取与目标检测方法。实验结果表明，所提方法能取得较高的检测精度，较好地解决了复杂的小目标检测难题，基本实现废钢异物检测。     

CT影像肝脏转移瘤分割与检测深度网络的研究

肝脏肿瘤的评估是结直肠癌肝转移临床诊疗的重要步骤。为了完成腹部CT影像中的肝脏肿瘤自动分割和检测任务,提出一种改进的级联深度学习网络。级联网络采用U-Net和Mask R-CNN模型分别完成分割和检测任务。训练U-Net模型作为级联网络的第一层来分割肝脏器官作为感兴趣区域（ROI）;针对ROI区域进行形态学活动轮廓提取;使用U-Net模型和Mask R-CNN模型作为级联网络的第二层分别完成精准分割和检测ROI内肝脏肿瘤的任务。实验结果表明,对于级联U-Net模型的肝脏转移瘤分割平均Dice系数为74%;Mask R-CNN的肿瘤实例分割Dice系数为67%（置信度为95%）,均值平均精度（mAP）为88%。     

基于不同深度学习模型提取建筑轮廓的方法研究

建筑是城市精细化管理的基础单元，利用高分遥感影像快速准确地提取城市建筑轮廓信息对于城市规划及管理有着重要意义。研究基于北京二号高分辨率（0.8 m）遥感数据，建立了北京市建筑轮廓样本库，利用多种语义分割模型U-Net、DANet、UA-Net(U Attention Net)和实例分割模型Mask R-CNN、Mask R-CNN FPN、Mask R-CNN RX FPN来提取城市建筑轮廓并开展精度评价，通过对比不同类型建筑（如楼房、别墅及村庄建筑等）的提取效果，最终选择整体精度最高且提取效果最好的U-Net模型提取了北京市域的所有建筑轮廓。结果表明：U-Net、DANet、UA-Net、Mask R-CNN、Mask R-CNN FPN和Mask R-CNN RX FPN模型的分类精度分别为79.37%、65.59%、71.03%、61.82%、52.53%和59.70%，且U-Net模型训练时间相对较少。U-Net模型对于建筑轮廓的提取有良好的表现；对比不同模型的识别效果发现，语义分割模型对于平房型建筑识别较有优势，实例分割模型则适用于提取城区及周边地区独栋楼房别墅的建筑轮廓，这...     

基于改进Mask R-CNN的建筑钢筋尺寸检测算法

建筑施工现场钢筋图像背景复杂且干扰较多,传统图像检测算法无法有效利用特征信息,难以满足现阶段建筑智能监理行业中钢筋尺寸检测精度的验收要求。提出一种在Mask R-CNN模型基础上加入自下而上路径和注意力机制的改进模型BU-CS Mask R-CNN。在建筑工地现场拍摄图像后,整理自建钢筋数据集,并在此数据集上进行算法验证。实验结果表明,与Mask R-CNN模型相比,BU-CS Mask R-CNN模型的召回率、交并比和像素准确率分别提升了4.9%、6.8%、7.4%,钢筋直径和间距的尺寸检测精度分别提升了14.9%、4.4%,能得到更加准确的钢筋目标检测框和边缘分割掩膜,达到了行业中实际工程验收的精度要求。     

井下无人驾驶电机车行驶场景中多目标检测研究

目前煤矿井下无人驾驶有轨电机车在行驶过程中,对轨道中的石块及其他小型障碍物的识别存在检测速度慢、检测精度低,且对于重叠目标,易造成漏检、错检等问题。针对上述问题,提出了一种井下电机车多目标检测模型-SE-HDC-Mask R-CNN模型。该模型基于Mask R-CNN进行改进,通过在主干特征提取网络ResNet的残差块中嵌入压缩-激励（SE）模块,学习各个通道的重要程度和相互联系,增强网络对特征的选择和捕获能力;将残差块中卷积核大小为3×3的标准卷积替换成混合空洞卷积（HDC）,在不改变特征图大小、不增加参数计算量的前提下,通过增加卷积核处理数据时各值之间的距离达到增大感受野的目的。实验结果表明：SE-HDC-Mask R-CNN模型可有效提取轨道、电机车、信号灯、行人和石块目标,在井下电机车多场景运行数据集上的平均准确率均值为95.4%,平均掩码分割精度为88.1%,平均边界框交并比为91.7%,相较于Mask R-CNN模型均提升了0.5%,对信号灯、石块（小目标）的检测精度分别提升了0.7%和4.1%;SE-HDC-Mask R-CNN模型的综合性能优于YOLOV2,YOLOV3...     

航空发动机损伤图像的二分类到多分类递进式检测网络

航空发动机损伤是影响飞行安全的重要因素。当前基于计算机视觉的发动机孔探图像损伤检测存在两个主要问题：一是孔探图像背景复杂,使得模型对损伤的检测精度较低;二是孔探图像数据来源受限,导致模型可检测类别较少。为解决这两个问题,提出了基于Mask R-CNN的二分类到多分类递进式航空发动机损伤图像检测网络。通过在Mask R-CNN中增加二分类检测分支,首先对图像中的损伤进行二分类检测并对定位坐标进行回归优化;其次使用原始检测分支递进地进行多分类检测,以进一步回归优化损伤的检测结果并确定损伤类型;最后根据多分类检测的结果,通过Mask分支对对损伤进行实例分割。为了增加模型检测类别及验证方法的有效性,构建了包含八种损伤类型,共1 315张孔探图像的数据集。在该集合上进行的训练和测试结果表明,多分类检测的平均精度（AP）和AP75与Mask R-CNN相比分别提高3.34%、9.71%,可见所提方法能够有效提高对孔探图像中的损伤的多分类检测精度。     

基于改进Mask R-CNN的卫星目标部位检测方法

针对卫星部件维修更换、燃料加注、废弃卫星回收等空间在轨服务中需解决的目标卫星部位检测问题,在Mask R-CNN的基础上,改进其主干网络结构并缩减分类回归、Mask分支通道数,提出了一种改进的实例分割网络模型Ring-Engine-Mask R-CNN,使用实物模型图像和3dsMax生成的仿真图像建立了专用数据集,给出了一种基于深度学习的卫星目标部位检测方法;实验结果表明,该方法能较好的完成卫星星箭对接环和远地点发动机喷管两种目标部位的检测分割,相较于传统的网络模型,在缩小了模型规模的同时,具有更高精度和更快的检测速度.     

基于改进的Mask R-CNN的染色体图像分割框架

针对染色体图像的人工分割耗时费力且当前自动分割方法精度不佳的问题,基于改进的Mask R-CNN提出了一种染色体图像分割框架——Mask Oriented R-CNN,引入方向信息对染色体图像进行实例分割。首先,新增有向包围框回归分支,以预测紧实包围框并获取方向信息;然后,提出新的交并比（IoU）度量——角度加权交并比（AwIoU）,从而结合方向信息与边的关系以改进冗余包围框的判据;最后,实现有向卷积通路结构,通过拷贝掩模分支通路并依据实例的方向信息选择训练路径来减少掩模预测中的干扰。实验结果表明,相较于基准模型Mask R-CNN,Mask Oriented R-CNN在IoU阈值为0.5时的平均精度均值指标提升了10.22个百分点,IoU阈值为0.5~0.95时的平均指标提升了4.91个百分点。研究结果显示,Mask Oriented R-CNN框架相较于基准模型取得了更好的染色体图像分割结果,有助于实现染色体图像自动分割。     

基于卷积神经网络和语义相关的协同显著性检测

针对目前协同显著性检测方法中存在的语义特征类相差悬殊的物体被误检测为协同对象等问题,提出了一种基于卷积神经网络和语义相关的协同显著性检测算法CSCCD。首先,采用引导超像素滤波方法对SLIC分割出的超像素区域和DSS生成的显著性区域进行处理,清晰地显示了目标边界轮廓;然后使用Mask R-CNN提取语义特征,给出了图像语义特征和语义一致性的定义,并针对提取语义特征过程中出现的同一语义类别的物体在不同形态下被检测为不同语义类别的问题,提出了图像组语义相关类的概念,在此概念的基础上定义了图像组语义关联类,解决了多幅图像的语义关联问题;最后融合显著性检测区域和图像组语义一致性区域得到协同显著性检测结果。在公开基准数据集上的实验结果表明,该算法能够有效凸显目标整体及轮廓,在客观量化方面的综合性能有明显提升。     

基于改进的Mask R-CNN的染色体图像分割框架

针对染色体图像的人工分割耗时费力且当前自动分割方法精度不佳的问题，基于改进的Mask R-CNN提出了一种染色体图像分割框架——Mask Oriented R-CNN，引入方向信息对染色体图像进行实例分割。首先，新增有向包围框回归分支，以预测紧实包围框并获取方向信息；然后，提出新的交并比（IoU）度量——角度加权交并比（AwIoU），从而结合方向信息与边的关系以改进冗余包围框的判据；最后，实现有向卷积通路结构，通过拷贝掩模分支通路并依据实例的方向信息选择训练路径来减少掩模预测中的干扰。实验结果表明，相较于基准模型Mask R-CNN，Mask Oriented R-CNN在IoU阈值为0.5时的平均精度均值指标提升了10.22个百分点，IoU阈值为0.5~0.95时的平均指标提升了4.91个百分点。研究结果显示，Mask Oriented R-CNN框架相较于基准模型取得了更好的染色体图像分割结果，有助于实现染色体图像自动分割。     

基于深度学习的车载导航导光板表面缺陷检测研究

针对车载导航导光板表面缺陷像素值分布不均且普遍较小、背景复杂多变等特点,提出了基于改进掩膜区域卷积神经网络(Mask Region-based Convolutional Neural Network,Mask R-CNN)模型检测车载导航导光板表面缺陷的检测方法.首先,引入PinFPN模块改进原有Mask R-CNN...     

工作面刮板输送机煤流状态识别方法

煤矿井下工作面刮板输送机场景中存在的刮板输送机姿态多变、煤料形状不规则、设备安装位置受限、高粉尘、异物遮挡等不利因素,导致现有针对带式输送机场景的煤流状态识别方法无法有效在刮板输送机场景下进行工程化应用。针对上述问题,提出了一种基于时序视觉特征的工作面刮板输送机煤流状态识别方法。该方法首先利用DeepLabV3+语义分割模型获取工作面煤流视频图像中粗略煤流区域,并在此基础上通过线性拟合方法进行精细煤流区域定位与分割,实现煤流图像提取;然后将煤流图像按视频时序进行排列,构成煤流图像序列;最后采用C3D动作识别模型针对煤流图像序列进行特征建模,实现煤流状态自动识别。实验结果表明：该方法能准确获取煤流图像并自动、实时识别煤流状态,煤流状态平均识别准确率达92.73%;针对工程化部署应用,利用TensorRT对模型进行加速处理,对于分辨率为1 280×720的煤流视频图像,整体处理速度为42.7帧/s,满足工作面煤流状态智能监测实际需求。     

周围神经MicroCT图像中神经束轮廓获取算法的改进

采用原始的蒙皮区域卷积神经网络(Mask R-CNN)获取周围神经MicroCT图像中的神经束轮廓时存在收敛慢、精度低等问题.首先构建两个数据子集,然后提出一种密集连接型网络结构,提取神经束区域特征.此外,改进目标检测部分候选框的得分评价规则,并结合迁移学习策略改进原始算法的训练方式.采用准确率和交并比指标评价算法的准...     

改进Mask R-CNN的甲状腺结节超声图像分割方法

甲状腺结节超声图像对比度低,斑点噪声严重,且不同病人的甲状腺结节形态差异较大,这给医生准确分割结节带来极大困难。为了精确地从超声图像中分割出甲状腺结节,对原掩膜区域卷积神经网络（mask regionconvolutional neural network,Mask R-CNN）的主干网络进行改进。在原主干网络的残差网络层中加入注意力机制模块来提高模型收敛性,并且在特征金字塔网络中增添一条由下向上的支路,将该支路输出特征图进行融合后,输入至区域推荐网络和感兴趣区域池化层,从而能够在融合多尺度特征的同时平衡特征图信息差异。经过对600幅甲状腺结节超声图像进行测试,改进后Mask R-CNN图像分割的平均Dice系数为0.914 8,平均精确度为0.932 2,平均召回率为0.903 4,平均F1分数为0.917 6。改进算法分割的Dice系数比原Mask R-CNN提升了0.080 6,改进算法可以应用于实际临床医学中自动分割甲状腺结节超声图像。     

Mask R-CNN中特征不平衡问题的全局信息融合方法

特征不平衡问题是影响神经网络检测效率的关键因素。针对Mask R-CNN中的特征不平衡问题,提出一种基于全局特征金字塔网络（GFPN）的信息融合方法。通过将GFPN产生的不同大小特征相融合,生成包含全局语义信息的特征网络,并采用反向过程对原始特征层进行重新标度,从而使得每个特征层均含有全局语义信息。实验结果表明,与原始基于Mask R-CNN的方法相比,该方法的检测精度提升4~6个百分点,而检测时间仅增加0.112 s。     

基于改进的Mask R-CNN的行人细粒度检测算法

针对复杂场景下行人检测效果差的问题,采用基于深度学习的目标检测中领先的研究成果,提出了一种基于改进Mask R-CNN框架的行人检测算法。首先,采用K-means算法对行人数据集的目标框进行聚类得到合适的长宽比,通过增加一组长宽比（2：5）使12种anchors适应图像中行人的尺寸;然后,结合细粒度图像识别技术,实现行人的高定位精度;其次,采用全卷积网络（FCN）分割前景对象,并进行像素预测获得行人的局部掩码（上半身、下半身）,实现对行人的细粒度检测;最后,通过学习行人的局部特征获得行人的整体掩码。为了验证改进算法的有效性,将其与当前具有代表性的目标检测方法（如更快速的区域卷积神经网络（Faster R-CNN）、YOLOv2、R-FCN）在同数据集上进行对比。实验结果表明,改进的算法提高了行人检测的速度和精度,并且降低了误检率。     

基于深度学习的齿轮视觉微小缺陷检测

针对齿轮视觉微小缺陷,采用一种基于深度学习算法的Mask R-CNN网络进行检测,并对网络进行相应地优化调整.首先,通过比较5种残差神经网络检测效果,选择resnet-101作为图像共享特征提取网络.然后,剔除特征金子塔网络中对特征图P₅进行的不合理的3×3卷积,缺齿检出率指标相应得到提升.最后,为了对候选区域网络进行有效的训练,根据设计的样本标注方案中小范围波动的标注尺寸,设置合适的anchors大小以及宽高比.最终,经过优化的Mask R-CNN网络达到了98.2%缺齿检出率.