基于改进Mask R-CNN的生活垃圾检测

近年来,人们对于垃圾的分类与回收越来越重视,但垃圾分类耗费了大量的人力和物力且分拣效率低下。针对基于矩形边界框的垃圾检测方法在多分类环境下效果不够理想等问题,提出了一种基于改进Mask R-CNN算法的生活垃圾检测模型。该模型摒弃了传统的ResNet,采用改进的ResNeXt101 作为主干网络进行特征提取,提高了目标检测的准确率和背景边界线分割的精确度。实验结果表明,与传统的Mask R-CNN算法相比,本文模型的mAP为91.1%,提升了2.35%;与当前流行的目标检测模型进行了对比,本文模型的分类准确率和分割精确度均表现优异,表明了所提模型在垃圾检测任务中的可行性与有效性。     

CT影像肝脏转移瘤分割与检测深度网络的研究

肝脏肿瘤的评估是结直肠癌肝转移临床诊疗的重要步骤。为了完成腹部CT影像中的肝脏肿瘤自动分割和检测任务,提出一种改进的级联深度学习网络。级联网络采用U-Net和Mask R-CNN模型分别完成分割和检测任务。训练U-Net模型作为级联网络的第一层来分割肝脏器官作为感兴趣区域（ROI）;针对ROI区域进行形态学活动轮廓提取;使用U-Net模型和Mask R-CNN模型作为级联网络的第二层分别完成精准分割和检测ROI内肝脏肿瘤的任务。实验结果表明,对于级联U-Net模型的肝脏转移瘤分割平均Dice系数为74%;Mask R-CNN的肿瘤实例分割Dice系数为67%（置信度为95%）,均值平均精度（mAP）为88%。     

深度学习在手机数据接口缺陷检测中的应用

为了能更好地对手机数据接口的缺陷进行检测,提出一种基于Faster R-CNN的检测算法。将Faster R-CNN检测架构中的RoIPooling替换成RoIAlign,解决RoIPooling计算过程中2次量化造成的目标回归位置的偏差。使用ResNet50融合FPN的网络作为特征提取网络,提高模型对小型目标缺陷的检测效果。最后使用测试集进行预测,实验表明本文提出算法的均值平均精度（mAP）达到了91.17%,比使用VGG为特征提取网络时的mAP提高了24.72个百分点,比单独使用ResNet50为特征提取网络的mAP提高了2.58个百分点,因此,本文提出的算法对手机数据接口缺陷检测有显著的效果提升,为手机数据接口缺陷检测提供了一种更有效的检测方法。     

基于Mask Scoring R-CNN的高质量数据集快速自动标定方法

针对计算机视觉领域人工标定多目标数据集时间冗长的问题,提出一种基于Mask Scoring R-CNN的高质量数据集快速自动标定方法;首先,设计了高质量数据集快速自动标定架构,训练数据自动标定模型并搭建目标分类与标定系统;其次,在对比不同残差网络及引入迁移学习基础上,进一步研究了基于MaskIoU Head的多目标掩膜标定质量评价方法,完成基于Mask Scoring R-CNN的多目标高质量数据集快速自动标定方法设计;最后,以车辆数据为例进行数据集快速自动标定方法验证,实验结果表明,相较于Mask R-CNN和Faster R-CNN方法,Mask Scoring R-CNN方法具有目标数据分类效果好及掩膜分割精度高的优点,检测准确率达到93.4%,且标定速度相较于人工标定速度提升了95.77%。     

Mask R-CNN模型在茄花花期识别中的应用研究

将Mask R-CNN实例分割模型应用于茄子花期识别研究,针对Mask R-CNN模型对大目标物存在误检和漏检的情况,提出使用混合空洞卷积融合普通卷积的方法,在ResNet50的残差块中进行参数修改,通过堆叠残差块完成对整个特征提取网络的改进,扩大了特征图感受野,增强了全局信息关联性;针对出现的过拟合问题,运用迁移学习方法将预训练的ResNet50特征提取网络作为茄花识别模型的初始参数,提高了模型在测试集泛化能力的同时提升了模型训练速度。运用改进的模型在测试集上的mAP为0.962,mIOU为0.715。通过定性分析并与其他模型进行对比,证明改进的模型能有效提高大目标物分割能力,对茄子花期识别具有良好效果。该研究为茄花自动授粉与花期管理提供了技术支持,对保证授粉质量,提升经济效益具有重要意义。     

基于Faster R-CNN的多任务增强裂缝图像检测方法

针对Faster R-CNN算法对多目标、小目标检测精度不高的问题,本文提出一种基于Faster R-CNN的多任务增强裂缝图像检测(Multitask Enhanced Dam Crack Image Detection Based on Faster R-CNN, ME-Faster R-CNN)方法。同时提出一种基于K-means的多源自适应平衡TrAdaBoost的迁移学习方法(multi-source adaptive balance TrAdaBoost based on K-means, K-MABtrA)辅助网络训练,解决样本不足问题。ME-Faster R-CNN将图片输入ResNet-50网络提取特征;然后将所得特征图输入多任务增强RPN模型,同时改善RPN模型的锚盒尺寸和大小以提高检测识别精度,生成候选区域;最后将特征图和候选区域发送到检测处理网络。K-MABtrA方法利用K-means聚类删除与目标源差别较大的图像,再在多元自适应平衡TrAdaBoost迁移学习方法下训练模型。实验结果表明:将ME-Faster R-CNN在K-MABtrA迁移学习的条件下应用于小数据集大坝裂缝图像集的平均IoU为82.52%,平均精度mAP值为80.02%,与相同参数设置下的Faster R-CNN检测算法相比,平均IoU和mAP值分别提高了1.06%和1.56%。     

基于改进的Mask R-CNN的染色体图像分割框架

针对染色体图像的人工分割耗时费力且当前自动分割方法精度不佳的问题,基于改进的Mask R-CNN提出了一种染色体图像分割框架——Mask Oriented R-CNN,引入方向信息对染色体图像进行实例分割。首先,新增有向包围框回归分支,以预测紧实包围框并获取方向信息;然后,提出新的交并比（IoU）度量——角度加权交并比（AwIoU）,从而结合方向信息与边的关系以改进冗余包围框的判据;最后,实现有向卷积通路结构,通过拷贝掩模分支通路并依据实例的方向信息选择训练路径来减少掩模预测中的干扰。实验结果表明,相较于基准模型Mask R-CNN,Mask Oriented R-CNN在IoU阈值为0.5时的平均精度均值指标提升了10.22个百分点,IoU阈值为0.5~0.95时的平均指标提升了4.91个百分点。研究结果显示,Mask Oriented R-CNN框架相较于基准模型取得了更好的染色体图像分割结果,有助于实现染色体图像自动分割。     

基于改进的Mask R-CNN的染色体图像分割框架

针对染色体图像的人工分割耗时费力且当前自动分割方法精度不佳的问题，基于改进的Mask R-CNN提出了一种染色体图像分割框架——Mask Oriented R-CNN，引入方向信息对染色体图像进行实例分割。首先，新增有向包围框回归分支，以预测紧实包围框并获取方向信息；然后，提出新的交并比（IoU）度量——角度加权交并比（AwIoU），从而结合方向信息与边的关系以改进冗余包围框的判据；最后，实现有向卷积通路结构，通过拷贝掩模分支通路并依据实例的方向信息选择训练路径来减少掩模预测中的干扰。实验结果表明，相较于基准模型Mask R-CNN，Mask Oriented R-CNN在IoU阈值为0.5时的平均精度均值指标提升了10.22个百分点，IoU阈值为0.5~0.95时的平均指标提升了4.91个百分点。研究结果显示，Mask Oriented R-CNN框架相较于基准模型取得了更好的染色体图像分割结果，有助于实现染色体图像自动分割。     

AS-PANet:改进路径增强网络的重叠染色体实例分割

目的 染色体是遗传信息的重要载体,健康的人体细胞中包含46条染色体,包括22对常染色体和1对性染色体。染色体核型化分析是产前诊断和遗产疾病诊断的重要且常用方法。染色体核型化分析是指从分裂中期的细胞显微镜图像中,分割出染色体并根据染色体的条带进行分组排列的过程。染色体核型化分析通常由细胞学家手工完成,但是这个过程非常费时、繁琐且容易出错。由于染色体的非刚性特质,多条染色体之间存在重叠及交叉现象,致使染色体实例分割非常困难。染色体分割是染色体核型化分析过程中最重要且最困难的一步,因此本文旨在解决重叠、交叉染色体实例分割问题。方法 本文基于路径增强网络（PANet）模型,提出AS-PANet（amount segmentation PANet）模型用于解决重叠染色体实例分割问题。在路径增强网络的基础上引入染色体计数领域知识预测作为模型的一个预测分支,并改进了路径增强网络的模型结构和损失函数,使图像分类、目标检测、实例分割和染色体计数4个子任务共享卷积特征,进行联合训练。在临床染色体图像数据上进行标注并构建训练集和测试集,同时提出有效的数据增广方法用以扩充染色体标注训练数据集,提升模型的训练效果。结果 在临床染色体数据集中开展实证研究实验。实验结果表明,本文方法在临床染色体数据集中,平均分割精度mAP（mean average precision）为90.63%。该结果比PANet提升了1.18%,比基线模型Mask R-CNN提升了2.85%。分割准确率为85%,相比PANet提升了2%,相比Mask R-CNN（region with convolutional neural network）提升3.75%。结论 本文染色体实例分割方法能够更有效地解决临床染色体分割问题,相比现有的方法,分割效果更好。     

实例分割和边缘优化算法的研究与实现

摘 要：近年来,实例分割技术正受到越来越多的关注。Mask R-CNN 实例分割方法是实 例分割领域中的重要方法,但是用 Mask R-CNN 方法得到的结果中,每个分割出的实例的边缘 往往不够理想,无法与真正的边缘完全吻合。针对此问题,提出了一种用显著性目标提取方法 得到的结果与 Mask R-CNN 实例分割结果相结合的方法,从而得到更好的实例分割边缘。首先, 利用 Mask R-CNN 对图片进行识别,得到实例分割的结果。然后用 PoolNet 对待检测图片进行 处理,得到图片中的显著物体信息。最后用 PoolNet 的结果对实例分割的掩码图边缘进行优化, 从而得到边缘更好的实例分割结果。经过测试,该方法可以对绝大多数待检测目标较为显著的 图片在一些重要指标上得到比 Mask R-CNN 更好的分割结果。     

基于实例分割模型优化的道路抛洒物检测算法

在交通安全领域,道路抛洒物易引发交通事故,构成了交通安全隐患。针对传统抛洒物检测方式识别率低、对于多类抛洒物检测效果不佳等问题,提出了一种基于实例分割模型CenterMask优化的道路抛洒物检测算法。首先,使用空洞卷积优化的残差网络ResNet50作为主干神经网络来提取特征并进行多尺度处理;然后,通过距离交并比（DIoU）函数优化的全卷积单阶段（FCOS）目标检测器实现对抛洒物的检测和分类;最后,使用空间注意力引导掩膜作为掩膜分割分支来实现对于目标形态的分割,并采用迁移学习的方式实现模型的训练。实验结果表明,所提算法对于抛洒物目标的检测率为94.82%,相较常见实例分割算法Mask R-CNN,所提的道路抛洒物检测算法在边界框检测上的平均精度（AP）提高了8.10个百分点。     

基于改进Mask R-CNN的建筑钢筋尺寸检测算法

建筑施工现场钢筋图像背景复杂且干扰较多,传统图像检测算法无法有效利用特征信息,难以满足现阶段建筑智能监理行业中钢筋尺寸检测精度的验收要求。提出一种在Mask R-CNN模型基础上加入自下而上路径和注意力机制的改进模型BU-CS Mask R-CNN。在建筑工地现场拍摄图像后,整理自建钢筋数据集,并在此数据集上进行算法验证。实验结果表明,与Mask R-CNN模型相比,BU-CS Mask R-CNN模型的召回率、交并比和像素准确率分别提升了4.9%、6.8%、7.4%,钢筋直径和间距的尺寸检测精度分别提升了14.9%、4.4%,能得到更加准确的钢筋目标检测框和边缘分割掩膜,达到了行业中实际工程验收的精度要求。     

基于深度学习的车载导航导光板表面缺陷检测研究

针对车载导航导光板表面缺陷像素值分布不均且普遍较小、背景复杂多变等特点,提出了基于改进掩膜区域卷积神经网络(Mask Region-based Convolutional Neural Network,Mask R-CNN)模型检测车载导航导光板表面缺陷的检测方法.首先,引入PinFPN模块改进原有Mask R-CNN...     

Accurate segmentation of small targets for LCD defects using deep convolutional neural networks

For the purpose of effectively solving the problems of manual inspection of thin-film transistor–liquid crystal display (TFT-LCD) with spot Mura high leakage rate and time consuming, this article proposes a visual detection method for LCD defects based on Mask R-CNN convolutional neural network. In this article, a new feature extraction network is built by fusing ResNet with efficient channel attention (ECA) channel attention mechanism, and a new feature fusion network is constructed by adding ECA channel attention mechanism to Feature Pyramid Network (FPN). In the dataset of self-made display defect images collected at the production site, the current more advanced segmentation network was compared qualitatively and quantitatively with our method, and the results showed that the proposed method was more accurate in detecting spot Mura, with a detection accuracy of 91%.     

基于多尺度残差神经网络的葡萄叶片病害识别

葡萄叶片不同程度的病害具有一定的相似性,目前对于葡萄叶片病害的识别多为病害种类识别,对不同程度病害识别的研究较少,且传统识别方法对于不同程度病害识别准确率较低。提出一种基于多尺度残差神经网络（Multi-Scale ResNet）的葡萄叶片病害识别方法。对葡萄叶片病害图像进行数据增强与叶片区域标注后,使用Mask R-CNN提取葡萄叶片部位,通过引入多尺度卷积以改变ResNet底层对不同尺度特征的响应,利用加入的SENet提升网络的特征提取能力,并将图像输入Multi-Scale ResNet中进行识别。实验结果表明,该方法的平均识别准确率达到90.83%,相比ResNet18提高了2.87个百分点。     

改进Mask R-CNN的遥感图像多目标检测与分割

针对高分辨率遥感图像在目标检测与分割中特征提取困难、准确率低、虚假率高等问题，提出了一种改进的Mask R-CNN卷积神经网络。该网络以ResNet50为特征提取网络，在此基础上利用自下而上和自上而下两种分层跳连融合方式来进行更好的图像特征提取。针对遥感图像不同目标间尺寸差异过大、目标易丢失的问题，设计了自适应感兴趣区域来进行感兴趣区域提取。在目标分割中，使用局部融合全连接的卷积神经网络替换原全卷积神经网络，并使用上采样操作替换反卷积操作。在NWPU VHR-10数据集上进行验证，结果表明该方法与现有常用方法相比，显著地提高了遥感图像中多目标检测与分割的准确率。     

瓷砖表面非常规尺寸瑕疵的检测

与普通目标检测任务不同, 瓷砖表面瑕疵检测的困难之处在于检测小尺寸和大长宽比等非常规尺寸的目标. 为了解决这两个问题, 本文提出了一种基于改进 Cascade R-CNN 的新型瓷砖表面瑕疵检测算法. 为了提高模型对小瑕疵的检测能力, 本文模型利用侧向连接结构进行上下层语义信息的融合, 使用可切换空洞率的空洞卷积来增加模型的感受野; 为了提高模型对于大长宽比瑕疵的检测能力, 本文模型在标准卷积上引入偏移域以更好提取目标特征信息. 此外, 本文模型调整 Cascade R-CNN 框架中预选锚框的大小和长宽比例. 实验结果表明, 在从瓷砖工厂收集的数据集上, 本文所提出算法的平均精度均值 (mean average precision, mAP) 达到了 73.5%, 比改进前的 Cascade R-CNN 模型提高了9.7%. 本文实验代码可从以下链接获取: https://github.com/mashibin/Ceramic-tile-defect-detection.     

航空发动机损伤图像的二分类到多分类递进式检测网络

航空发动机损伤是影响飞行安全的重要因素。当前基于计算机视觉的发动机孔探图像损伤检测存在两个主要问题：一是孔探图像背景复杂,使得模型对损伤的检测精度较低;二是孔探图像数据来源受限,导致模型可检测类别较少。为解决这两个问题,提出了基于Mask R-CNN的二分类到多分类递进式航空发动机损伤图像检测网络。通过在Mask R-CNN中增加二分类检测分支,首先对图像中的损伤进行二分类检测并对定位坐标进行回归优化;其次使用原始检测分支递进地进行多分类检测,以进一步回归优化损伤的检测结果并确定损伤类型;最后根据多分类检测的结果,通过Mask分支对对损伤进行实例分割。为了增加模型检测类别及验证方法的有效性,构建了包含八种损伤类型,共1 315张孔探图像的数据集。在该集合上进行的训练和测试结果表明,多分类检测的平均精度（AP）和AP75与Mask R-CNN相比分别提高3.34%、9.71%,可见所提方法能够有效提高对孔探图像中的损伤的多分类检测精度。     

基于深度学习的秀丽隐杆线虫显微图像分割方法

利用计算机实现自动、准确的秀丽隐杆线虫(C.elegans)的各项形态学参数分析,至关重要的是从显微图像上分割出线虫体态,但由于显微镜下的图像噪声较多,线虫边缘像素与周围环境相似,而且线虫的体态具有鞭毛和其他附着物需要分离,多方面因素导致设计一个鲁棒性的C.elegans分割算法仍然面临着挑战。针对这些问题,提出了一种基于深度学习的线虫分割方法,通过训练掩模区域卷积神经网络(Mask R-CNN)学习线虫形态特征实现自动分割。首先,通过改进多级特征池化将高级语义特征与低级边缘特征融合,结合大幅度软最大损失(LMSL)损失算法改进损失计算;然后,改进非极大值抑制;最后,引入全连接融合分支等方法对分割结果进行进一步优化。实验结果表明,相比原始的Mask R-CNN,该方法平均精确率(AP)提升了4.3个百分点,平均交并比(mIOU)提升了4个百分点。表明所提出的深度学习分割方法能够有效提高分割准确率,在显微图像中更加精确地分割出线虫体。     

基于改进Mask R-CNN的卫星目标部位检测方法

针对卫星部件维修更换、燃料加注、废弃卫星回收等空间在轨服务中需解决的目标卫星部位检测问题,在Mask R-CNN的基础上,改进其主干网络结构并缩减分类回归、Mask分支通道数,提出了一种改进的实例分割网络模型Ring-Engine-Mask R-CNN,使用实物模型图像和3dsMax生成的仿真图像建立了专用数据集,给出了一种基于深度学习的卫星目标部位检测方法;实验结果表明,该方法能较好的完成卫星星箭对接环和远地点发动机喷管两种目标部位的检测分割,相较于传统的网络模型,在缩小了模型规模的同时,具有更高精度和更快的检测速度.