基于改进的Mask R-CNN的染色体图像分割框架

针对染色体图像的人工分割耗时费力且当前自动分割方法精度不佳的问题，基于改进的Mask R-CNN提出了一种染色体图像分割框架——Mask Oriented R-CNN，引入方向信息对染色体图像进行实例分割。首先，新增有向包围框回归分支，以预测紧实包围框并获取方向信息；然后，提出新的交并比（IoU）度量——角度加权交并比（AwIoU），从而结合方向信息与边的关系以改进冗余包围框的判据；最后，实现有向卷积通路结构，通过拷贝掩模分支通路并依据实例的方向信息选择训练路径来减少掩模预测中的干扰。实验结果表明，相较于基准模型Mask R-CNN，Mask Oriented R-CNN在IoU阈值为0.5时的平均精度均值指标提升了10.22个百分点，IoU阈值为0.5~0.95时的平均指标提升了4.91个百分点。研究结果显示，Mask Oriented R-CNN框架相较于基准模型取得了更好的染色体图像分割结果，有助于实现染色体图像自动分割。     

基于改进的Faster R-CNN的通用目标检测框架

针对当前基于深度学习的检测器不能有效检测形状不规则或长宽相差悬殊的目标的问题,在传统Faster R-CNN算法的基础上,提出了一个改进的二阶段目标检测框架——Accurate R-CNN。首先,提出了新的交并比（IoU）度量——有效交并比（EIoU）,通过提出中心度权重来降低训练数据中冗余包围框的占比。然后,提出了一个上下文相关的特征重分配模块（FRM）,通过建模目标的远程依赖和局部上下文关系信息对特征进行重编码,以弥补池化过程中的形状信息损失。实验结果表明,在微软多场景通用目标（MS COCO）数据集上,对于包围框检测任务,当使用深度为50和101的残差网络（ResNet）作为骨干网络时,Accurate R-CNN比基线模型Faster R-CNN的平均精度（AP）分别提高了1.7个百分点和1.1个百分点,超越了使用同样骨干网络的基于掩膜的检测器。在添加掩膜分支后,对于实例分割任务,当使用两种不同深度的ResNet作为骨干网络时,Accurate R-CNN比Mask R-CNN的掩膜平均精度分别提高了1.2个百分点和1.1个百分点。研究结果显示,相较于基线模型,Accurate R-CNN在不同数据集、不同任务上均取得了更好的检测效果。     

基于深度学习的秀丽隐杆线虫显微图像分割方法

利用计算机实现自动、准确的秀丽隐杆线虫(C.elegans)的各项形态学参数分析,至关重要的是从显微图像上分割出线虫体态,但由于显微镜下的图像噪声较多,线虫边缘像素与周围环境相似,而且线虫的体态具有鞭毛和其他附着物需要分离,多方面因素导致设计一个鲁棒性的C.elegans分割算法仍然面临着挑战。针对这些问题,提出了一种基于深度学习的线虫分割方法,通过训练掩模区域卷积神经网络(Mask R-CNN)学习线虫形态特征实现自动分割。首先,通过改进多级特征池化将高级语义特征与低级边缘特征融合,结合大幅度软最大损失(LMSL)损失算法改进损失计算;然后,改进非极大值抑制;最后,引入全连接融合分支等方法对分割结果进行进一步优化。实验结果表明,相比原始的Mask R-CNN,该方法平均精确率(AP)提升了4.3个百分点,平均交并比(mIOU)提升了4个百分点。表明所提出的深度学习分割方法能够有效提高分割准确率,在显微图像中更加精确地分割出线虫体。     

基于双金字塔特征融合网络的RGB-D多类实例分割

针对RGB图像的实例分割任务在图像目标物体纹理相近但类别不同的区域可能出现分割错误的问题,引入Depth信息,结合RGB-D图像的三维几何结构特点,提出一种以双金字塔特征融合网络为框架的RGB-D实例分割方法.所提出的方法通过构建两种不同复杂度的金字塔深度卷积神经网络分别提取不同梯度分辨率大小的RGB特征及Depth特征,将对应分辨率大小的两种特征相加输入区域候选网络,以此改变输入区域候选网络层的共享特征,共享特征再经过分类、回归与掩码网络分支输出定位与分类结果,从而实现RGB-D图像的实例分割.实验结果表明,所提出的双金字塔特征融合网络模型能够完成RGB-D图像的实例分割任务,有效学习到深度图像与彩色图像之间的互补信息,与不包含Depth信息的Mask R-CNN相比,平均精度提高7.4%.     

深度学习的图像实例分割方法综述

实例分割是一项具有挑战性的任务,需要同时进行实例级和像素级的预测,在自动驾驶、视频分析、场景理解等方面应用广泛.近年来,基于深度学习的实例分割方法迅速发展,如两阶段检测器Faster R-CNN扩展出的聚焦于网络的精度而非速度的强大实例分割基准Mask R-CNN,一度成为实例分割的标杆.利用高速检测的单阶段检测器延伸出的实例分割算法YOLACT填补了实时实例分割模型的空白,具有较高的研究和应用价值.本文首先对实例分割算法进行了类别划分,然后对一些代表性的算法及其改进算法进行了深入分析,并阐述了相关算法的优缺点,最后对实例分割方法未来的发展进行了展望.     

Mask R-CNN算法的改进策略研究

Mask R-CNN作为一种优秀的实例分割算法,不仅能够对图像或视频中的每个感兴趣目标进行分类和定位,还能够对每个不同的目标进行分割。该算法在遥感图像智能解译,自动驾驶,智能医疗等计算机视觉领域具有极高的应用价值。因此如何对Mask R-CNN算法进行改进,提高实例分割的准确性,对计算机视觉领域的发展具有重要意义。文章对Mask R-CNN算法进行深入的分析和研究,提出了可用于Mask R-CNN算法的几个改进策略。通过实验验证,本文提出的改进策略对于提高Mask R-CNN算法的准确性具有一定的可行性。     

基于Mask R-CNN卷积神经网络的虹膜分割

针对虹膜图像中存在眼镜遮挡、模糊、角度偏差等不同噪声因素,我们设计了一种基于Mask R-CNN的卷积神经网络(convolutional neural network, CNN),命名为Mask-INet,用于虹膜分割.该网络在特征提取阶段为特征金字塔添加了一条自底向上的路径,既提高了底层到顶层特征的定位信息,增强语义信息融合,又进一步加快了底层到顶层的传播效率,有效提升对虹膜特征提取的准确性.为了进一步挖掘特征图中的特征信息,在掩模预测分支阶段,我们引入上采样和CBAM网络(convolutional block attention module),利用上采样提高特征图的空间分辨率,利用CBAM网络让特征图中的显著信息更加显著,增强对特征的判别性.该方法在NIR-ISL 2021比赛提供的虹膜数据集进行了验证.在相同实验条件下与该赛事的冠军相比,该方法的各项指标均优于其网络.与基线Mask R-CNN相比,该方法的Dice相似系数、平均交并比、召回率分别提升了8.53%、11.97%、8.88%,提升了虹膜分割效果.     

基于改进Mask R-CNN的建筑钢筋尺寸检测算法

建筑施工现场钢筋图像背景复杂且干扰较多,传统图像检测算法无法有效利用特征信息,难以满足现阶段建筑智能监理行业中钢筋尺寸检测精度的验收要求。提出一种在Mask R-CNN模型基础上加入自下而上路径和注意力机制的改进模型BU-CS Mask R-CNN。在建筑工地现场拍摄图像后,整理自建钢筋数据集,并在此数据集上进行算法验证。实验结果表明,与Mask R-CNN模型相比,BU-CS Mask R-CNN模型的召回率、交并比和像素准确率分别提升了4.9%、6.8%、7.4%,钢筋直径和间距的尺寸检测精度分别提升了14.9%、4.4%,能得到更加准确的钢筋目标检测框和边缘分割掩膜,达到了行业中实际工程验收的精度要求。     

基于实例分割模型优化的道路抛洒物检测算法

在交通安全领域,道路抛洒物易引发交通事故,构成了交通安全隐患。针对传统抛洒物检测方式识别率低、对于多类抛洒物检测效果不佳等问题,提出了一种基于实例分割模型CenterMask优化的道路抛洒物检测算法。首先,使用空洞卷积优化的残差网络ResNet50作为主干神经网络来提取特征并进行多尺度处理;然后,通过距离交并比（DIoU）函数优化的全卷积单阶段（FCOS）目标检测器实现对抛洒物的检测和分类;最后,使用空间注意力引导掩膜作为掩膜分割分支来实现对于目标形态的分割,并采用迁移学习的方式实现模型的训练。实验结果表明,所提算法对于抛洒物目标的检测率为94.82%,相较常见实例分割算法Mask R-CNN,所提的道路抛洒物检测算法在边界框检测上的平均精度（AP）提高了8.10个百分点。     

基于无锚框分割网络改进的实例分割方法

在无人驾驶应用场景中,现有无锚框实例分割方法存在大目标特征覆盖小目标特征、缺少两阶段检测器中的感兴趣区域对齐操作、忽略类别分支对掩膜分支提供的位置和空间信息等问题,导致特征提取不充分且无法准确获取目标区域。提出一种改进的无锚框实例分割方法。结合可变形卷积,设计编码-解码特征提取网络提取高分辨率特征,以增强对小目标特征的提取能力,并采用空洞卷积和合并连接的方式,在不增加计算量的前提下有效融合多种分辨率的特征。在此基础上,将注意力机制引入到类别分支中,同时设计结合空间信息和通道信息的信息增强模块,以提高目标检测能力。实验结果表明,该方法在COCO 2017和Cityscapes数据集上平均精度和平均交并比分别为41.1%和83.3%,相比Mask R-CNN、SOLO、Yolact等方法,能够有效改进实例分割效果并具有较优的鲁棒性。     

基于改进的Mask R-CNN的行人细粒度检测算法

针对复杂场景下行人检测效果差的问题,采用基于深度学习的目标检测中领先的研究成果,提出了一种基于改进Mask R-CNN框架的行人检测算法。首先,采用K-means算法对行人数据集的目标框进行聚类得到合适的长宽比,通过增加一组长宽比（2：5）使12种anchors适应图像中行人的尺寸;然后,结合细粒度图像识别技术,实现行人的高定位精度;其次,采用全卷积网络（FCN）分割前景对象,并进行像素预测获得行人的局部掩码（上半身、下半身）,实现对行人的细粒度检测;最后,通过学习行人的局部特征获得行人的整体掩码。为了验证改进算法的有效性,将其与当前具有代表性的目标检测方法（如更快速的区域卷积神经网络（Faster R-CNN）、YOLOv2、R-FCN）在同数据集上进行对比。实验结果表明,改进的算法提高了行人检测的速度和精度,并且降低了误检率。     

基于Faster R-CNN和IoU优化的实验室人数统计与管理系统

针对人员位置相对固定的场景中实时人数统计的管理需求，以普通高校实验室为例，设计并实现了一套基于更快速的区域卷积神经网络（Faster R-CNN）和交并比（IoU）优化的实验室人数统计与管理系统。首先，使用Faster R-CNN模型对实验室内人员头部进行检测；然后，根据模型检测的输出结果，利用IoU算法滤去重复检测的目标；最后，采用基于坐标定位的方法确定实验室内各个工作台是否有人，并将相对应的数据存入数据库。该系统主要功能有：①实验室实时视频监控及远程管理；②定时自动拍照检测采集数据，为实验室的量化管理提供数据支撑；③实验室人员变化数据查询与可视化展示。实验结果表明，所提基于Faster R-CNN和IoU优化的实验室人数统计与管理系统可用于办公场景中实时人数统计和远程管理。     

航空发动机损伤图像的二分类到多分类递进式检测网络

航空发动机损伤是影响飞行安全的重要因素。当前基于计算机视觉的发动机孔探图像损伤检测存在两个主要问题：一是孔探图像背景复杂,使得模型对损伤的检测精度较低;二是孔探图像数据来源受限,导致模型可检测类别较少。为解决这两个问题,提出了基于Mask R-CNN的二分类到多分类递进式航空发动机损伤图像检测网络。通过在Mask R-CNN中增加二分类检测分支,首先对图像中的损伤进行二分类检测并对定位坐标进行回归优化;其次使用原始检测分支递进地进行多分类检测,以进一步回归优化损伤的检测结果并确定损伤类型;最后根据多分类检测的结果,通过Mask分支对对损伤进行实例分割。为了增加模型检测类别及验证方法的有效性,构建了包含八种损伤类型,共1 315张孔探图像的数据集。在该集合上进行的训练和测试结果表明,多分类检测的平均精度（AP）和AP75与Mask R-CNN相比分别提高3.34%、9.71%,可见所提方法能够有效提高对孔探图像中的损伤的多分类检测精度。     

改进的Libra区域卷积神经网络的脑动脉狭窄影像学检测算法

针对断层面上血管的多形性和检测过程中出现的采样不均衡的问题,提出一种改进的Libra区域卷积神经网络（R-CNN）的脑动脉狭窄影像学检测算法,用于检测计算机断层扫描血管造影（CTA）图像的颈内动脉和椎动脉狭窄。首先,在目标检测网络Libra R-CNN中以ResNet50为骨干网络,并分别在骨干网络的3、4、5阶段引入可变卷积网络（DCN）,通过学习偏移量提取血管在不同断层面的形态特征;然后,将从骨干网络中提取的特征图输入至引入非局部神经网络（Non-local NN）的平衡特征金字塔（BFP）中进行更深度的特征融合;最后,将融合后的特征图输入至级联检测器,并通过提高交并比（IoU）阈值优化最终检测结果。实验结果表明,改进的Libra R-CNN检测算法相比Libra R-CNN算法,在脑动脉CTA数据集中平均准确率（AP）、AP₅₀、AP₇₅和AP_S分别提升了4.3、1.3、6.9和4.0个百分点;在公开的结肠息肉CT数据集中,AP、AP₅₀、AP₇₅和AP_S分别提升了6.6、3.6、13.0和6.4个百分点。通过在Libra R-CNN的骨干网络中加入DCN、Non-local NN和级联检测器,进一步融合特征从而学习脑动脉血管结构的语义信息,使得狭窄区域检测结果更精确,且改进算法在不同的检测任务中具有泛化能力。     

基于深度学习的车载导航导光板表面缺陷检测研究

针对车载导航导光板表面缺陷像素值分布不均且普遍较小、背景复杂多变等特点,提出了基于改进掩膜区域卷积神经网络(Mask Region-based Convolutional Neural Network,Mask R-CNN)模型检测车载导航导光板表面缺陷的检测方法.首先,引入PinFPN模块改进原有Mask R-CNN...     

基于改进Mask R-CNN的越南场景文字检测

针对越南场景文字检测训练数据缺乏及越南文字声调符号检测不全的问题,在改进的实例分割网络Mask R-CNN的基础上,提出一种针对越南场景文字的检测算法。为了准确地分割带声调符号的越南场景文字,该算法仅使用P2特征层来分割文字区域,并将文字区域的掩码矩阵大小从14×14调整为14×28以更好地适应文字区域。针对用常规非极大值抑制（NMS）算法不能剔除重复文字检测框的问题,设计了一个针对文字区域的文本区域过滤模块并添加在检测模块之后,以有效地剔除冗余检测框。使用模型联合训练的方法训练网络,训练过程包含两部分：第一部分为特征金字塔网络（FPN）和区域生成网络（RPN）的训练,训练使用的数据集为大规模公开的拉丁文字数据,目的是增强模型在不同场景下提取文字的泛化能力;第二部分为候选框坐标回归模块和区域分割模块的训练,此部分模型参数使用像素级标注的越南场景文字数据进行训练,使模型能对包括声调符号的越南文字区域进行分割。大量交叉验证实验和对比实验结果表明,与Mask R-CNN相比,所提算法在不同的交并比（IoU）阈值下都具有更好的准确率与召回率。     

基于Faster R-CNN的密集人群检测算法

为提高拥挤场景下的人群检测准确率,提出一种基于改进Faster R-CNN的密集人群检测算法。首先,在特征提取阶段添加空间与通道注意力机制,使用加强的双向特征金字塔网络（S-BiFPN）替代原网络中的多尺度特征金字塔（FPN）,使网络对重要特征进行自主学习并加强对图像深层特征的提取;其次,引入多实例预测（MIP）算法对实例进行预测,以避免模型对拥挤场景下的目标造成漏检;最后,对模型中的非极大值抑制（NMS）进行优化,并额外增设一个交并比（IoU）阈值,以对检测结果的干扰项进行精确抑制。在开源的密集人群检测数据集上进行测试的结果显示,相较于原Faster R-CNN算法,所提算法的平均精度（AP）提升5.6%,Jaccard指数值提升3.2%。所提算法具有较高检测精度和稳定性,可以满足密集场景人群检测的需求。