改进Mask R-CNN的甲状腺结节超声图像分割方法

甲状腺结节超声图像对比度低,斑点噪声严重,且不同病人的甲状腺结节形态差异较大,这给医生准确分割结节带来极大困难。为了精确地从超声图像中分割出甲状腺结节,对原掩膜区域卷积神经网络（mask regionconvolutional neural network,Mask R-CNN）的主干网络进行改进。在原主干网络的残差网络层中加入注意力机制模块来提高模型收敛性,并且在特征金字塔网络中增添一条由下向上的支路,将该支路输出特征图进行融合后,输入至区域推荐网络和感兴趣区域池化层,从而能够在融合多尺度特征的同时平衡特征图信息差异。经过对600幅甲状腺结节超声图像进行测试,改进后Mask R-CNN图像分割的平均Dice系数为0.914 8,平均精确度为0.932 2,平均召回率为0.903 4,平均F1分数为0.917 6。改进算法分割的Dice系数比原Mask R-CNN提升了0.080 6,改进算法可以应用于实际临床医学中自动分割甲状腺结节超声图像。     

融合多尺度上下文信息的实例分割

目的 实例分割通过像素级实例掩膜对图像中不同目标进行分类和定位。然而不同目标在图像中往往存在尺度差异,目标多尺度变化容易错检和漏检,导致实例分割精度提高受限。现有方法主要通过特征金字塔网络(feature pyramid network,FPN)提取多尺度信息,但是FPN采用插值和元素相加进行邻层特征融合的方式未能充分挖掘不同尺度特征的语义信息。因此,本文在Mask R-CNN(mask region-based convolutional neural network)的基础上,提出注意力引导的特征金字塔网络,并充分融合多尺度上下文信息进行实例分割。方法 首先,设计邻层特征自适应融合模块优化FPN邻层特征融合,通过内容感知重组对特征上采样,并在融合相邻特征前引入通道注意力机制对通道加权增强语义一致性,缓解邻层不同尺度目标间的语义混叠;其次,利用多尺度通道注意力设计注意力特征融合模块和全局上下文模块,对感兴趣区域(region of interest,RoI)特征和多尺度上下文信息进行融合,增强分类回归和掩膜预测分支的多尺度特征表示,进而提高对不同尺度目标的掩膜预测质量。结果 在MS ...     

注意力机制和特征融合的自动抠图算法

针对目前人工抠图工作量大,而自动抠图无法区分多个实例的问题,提出了一种注意力机制和特征融合的自动抠图算法.该算法由预分割模块和Alpha抠图模块2部分组成,分别采用了不同的网络结构.其中预分割模块是使用迁移学习方法对Mask Scoring R-CNN进行微调实现了对多实例自然图像的实例分割,从而得到输入图像前景个体的二值化分割图.而Alpha抠图模块在此基础上首先对二值化分割图预处理生成三分图,然后将三分图与原输入图像一起输入Alpha抠图模块网络.通过为Alpha抠图模块设计不同的解码策略和注意力机制,实现了对图像细节信息的精确恢复.在后续对自制车辆数据集的无人工交互前景车辆Alpha估计对比实验中,相比现有DIM算法,该算法的SAD降低19.2%, MSE降低26.3%,达到了更高的抠图精度.     

改进DBNet的电商图像文字检测算法研究

电商图像背景较为复杂、文字区域形状多变，现有的文字检测模型无法精确检测文字位置这一问题。提出一种改进的文字检测模型——迭代自选择特征融合DBNet(iSFF-DBNet)。首先在主干网络提取特征后，在构建特征金字塔网络FPN的过程中引入注意力机制；然后提出了迭代自选择特征融合模块iSFF来提升模型的特征提取能力；最后引入双边上采样模块提升可微分二值化模块的自适应性能。实验结果表明，在ICPR MTWI 2018网络图像数据集文本检测任务中，对比标准的DBNet模型，所提改进模型的召回率和F-score分别提升了6.0%和2.4%。与其他文字检测模型相比，该模型在精确率和召回率上取得了平衡，能够更准确地检测文字。     

基于改进Faster R-CNN的绝缘子及其缺陷检测

为实现绝缘子及其缺陷实时检测,文章以改进的区域卷积神经网络（Faster Region Convolutional Neural Networks,Faster R-CNN）作为基础研究算法,将残差网络和特征金字塔网络相融合作为特征提取网络,使用深度可分离卷积替换原有的普通卷积,引入SE通道注意力模块,同时改进了网络中的激活函数。改进后的Faster R-CNN与普通Faster R-CNN相比,全类别平均正确率（mean Average Precision,mAP）和检测速度都有所提高。     

基于改进Mask R-CNN的建筑钢筋尺寸检测算法

建筑施工现场钢筋图像背景复杂且干扰较多,传统图像检测算法无法有效利用特征信息,难以满足现阶段建筑智能监理行业中钢筋尺寸检测精度的验收要求。提出一种在Mask R-CNN模型基础上加入自下而上路径和注意力机制的改进模型BU-CS Mask R-CNN。在建筑工地现场拍摄图像后,整理自建钢筋数据集,并在此数据集上进行算法验证。实验结果表明,与Mask R-CNN模型相比,BU-CS Mask R-CNN模型的召回率、交并比和像素准确率分别提升了4.9%、6.8%、7.4%,钢筋直径和间距的尺寸检测精度分别提升了14.9%、4.4%,能得到更加准确的钢筋目标检测框和边缘分割掩膜,达到了行业中实际工程验收的精度要求。     

基于注意力机制和金字塔融合的RGB-D室内场景语义分割

针对现有RGB-D室内场景语义分割不能有效融合多模态特征的问题,提出一种基于注意力机制和金字塔融合的RGB-D室内场景图像语义分割网络模型APFNet,并为其设计了两个新模块:注意力机制融合模块与金字塔融合模块.其中,注意力机制融合模块分别提取RGB特征和Depth特征的注意力分配权重,充分利用两种特征的互补性,使网络...     

基于双金字塔特征融合网络的RGB-D多类实例分割

针对RGB图像的实例分割任务在图像目标物体纹理相近但类别不同的区域可能出现分割错误的问题,引入Depth信息,结合RGB-D图像的三维几何结构特点,提出一种以双金字塔特征融合网络为框架的RGB-D实例分割方法.所提出的方法通过构建两种不同复杂度的金字塔深度卷积神经网络分别提取不同梯度分辨率大小的RGB特征及Depth特征,将对应分辨率大小的两种特征相加输入区域候选网络,以此改变输入区域候选网络层的共享特征,共享特征再经过分类、回归与掩码网络分支输出定位与分类结果,从而实现RGB-D图像的实例分割.实验结果表明,所提出的双金字塔特征融合网络模型能够完成RGB-D图像的实例分割任务,有效学习到深度图像与彩色图像之间的互补信息,与不包含Depth信息的Mask R-CNN相比,平均精度提高7.4%.     

注意力机制在自然场景文字检测中的应用

针对目前主流的基于分割的文字检测方法中由于需要复杂的后处理过程保证检测精度,通常难以实现高检测速度的问题,提出一种应用位置注意力模块和金字塔注意力网络2种注意力机制的方法.首先用金字塔注意力网络对图像进行特征提取及语义分割;同时将位置注意力模块应用于高层特征,通过加强图像中相似物体的权重加强对文字的检测效果;最后进行简单有效的后处理,在实现较高检测准确度的前提下提高检测速度.实验结果表明,在Total-text数据集中,采用更轻量化的骨干网络时,所提方法在检测速度上优势明显;采用更深层的骨干网络时,所提方法的检测准确度领先2.0％.     

基于特征金字塔网络的肺结节检测

针对计算机断层扫描（CT）影像中肺结节尺寸变化较大、尺寸小且不规则等特点导致的检测敏感度较低的问题,提出了基于特征金字塔网络（FPN）的肺结节检测方法。首先,利用FPN提取结节的多尺度特征,并强化小目标及目标边界细节的特征;其次,在FPN的基础上设计语义分割网络（名为掩模特征金字塔网络（Mask FPN））用于快速准确地分割提取肺实质,作为目标候选区域定位图像;并且,在FPN顶层添加反卷积层,采用多尺度预测策略改进快速区域卷积神经网络（Faster R-CNN）以提高检测性能;最后,针对肺结节数据集的正负样本不平衡问题,在区域候选网络（RPN）模块采用焦点损失函数以提高结节的检出率。所提方法在公开数据集LUNA16上进行实验,结果表明,利用FPN和反卷积层改进的新网络对结节检测效果有一定的帮助,采用焦点损失函数也有一定效果。综合多种改进,当平均每个扫描件的候选结节数为46.7时,所提方法的肺结节检测敏感度指标为95.7%,与其他卷积神经网络方法如Faster R-CNN、UNet等相比,具有较高的敏感性。所提方法能够较好地提取不同尺度上的结节特征,提高CT图像肺结节检测的敏感度,同时对于较小的结节也能有效检测,能更有效地辅助肺癌的诊断治疗。