融合上下文和多尺度特征的胸部多器官分割

目的 肿瘤周围高危器官的准确分割是图像引导放射治疗中的关键步骤,也是对抗肺癌和食道癌,规划有效治疗策略的重要组成部分。为了解决不同患者之间器官形状和位置的复杂变化情况以及计算机断层扫描（computed tomography,CT）图像中相邻器官之间软组织对比度低等问题,本文提出了一种深度学习算法对胸部CT图像中的高危器官进行细分。方法 以U-Net神经网络结构为基础,将冠状面下的3个连续切片序列即2.5D （2.5 dimention）数据作为网络输入来获取切片联系,同时利用高效全局上下文实现不降维的跨通道交互、捕获单视图下切片序列间的长距离依赖关系、加强通道联系和融合空间全局上下文信息。在编码部分使用金字塔卷积和密集连接的集成提取多尺度信息,扩大卷积层的感受野,并将解码器与编码器每层进行连接来充分利用多尺度特征,增强特征图的辨识度。考虑到CT图像中多器官形状不规则且紧密相连问题,加入深度监督来学习不同层的特征表示,从而精准定位器官和细化器官边界。结果 在ISBI （International Symposium on Biomedical Imaging）2019 SegTHOR （segmentation of thoracic organs at risk in CT images）挑战赛中,对40个胸部多器官训练样本进行分割,以Dice系数和HD （Hausdorff distance）距离作为主要评判标准,该方法在测试样本中食道、心脏、气管和主动脉的Dice系数分别达到0.855 1、0.945 7、0.923 0和0.938 3,HD距离分别为0.302 3、0.180 5、0.212 2和0.191 8。结论 融合全局上下文和多尺度特征的算法在胸部多器官分割效果上更具竞争力,有助于临床医师实现高效的诊断与治疗。     

基于上下文信息和多尺度融合重要性感知的特征金字塔网络算法

针对目标检测中分类和定位子任务分别需要大感受野和高分辨率,难以在这两个相互矛盾的需求间取得平衡的问题,提出一种用于目标检测的基于注意力机制的特征金字塔网络算法。该算法能整合多个不同感受野来获取更丰富的语义信息,以一种更关注不同特征图重要性的方式融合多尺度特征图,并在注意力机制引导下进一步精练复杂融合后的特征图。首先,通过多尺度的空洞卷积获取多尺度感受野,在保留分辨率的同时增强语义信息;其次,通过多级特征融合（MLF）方式将多个不同尺度的特征图通过上采样或池化操作变为相同分辨率后融合;最后,利用注意力引导的特征精练模块（AFRM）对融合后的特征图作精练处理,丰富语义信息并消除融合带来的混叠效应。将所提特征金字塔替换Faster R-CNN中的特征金字塔网络（FPN）后在MS COCO 2017数据集上进行实验,结果表明当骨干网络为深度50和101的残差网络（ResNet）时,平均精度（AP）分别达到了39.2%和41.0%,与使用原FPN的Faster R-CNN相比,分别提高了1.4和1.0个百分点。可见,所提特征金字塔网络算法能替代原FPN,更好地应用在目标检测场景中。     

融合上下文信息的多尺度贝叶斯图像分割

提出了一种融合上下文信息的多尺度贝叶斯图像分割算法,基于多尺度MRF图像模型,将模型中各结点的邻域结点类别信息抽象为上下文,求得结点的后验边缘概率之后,在各尺度融合表征了同一尺度内及相邻尺度的邻域信息的上下文,结点在相邻结点信息的指导下,得到的分割结果在均匀区域内部及区域边界都大为改善,而且没有增加模型的复杂度,算法仍然是快速的、非迭代的．融合过程中的参数采用EM算法估计．分析和实验结果表明算法是有效的．     

注意力残差多尺度特征增强的显著性实例分割

显著性实例分割是指分割出图像中最引人注目的实例对象。现有的显著性实例分割方法中存在 较小显著性实例不易检测分割,以及较大显著性实例分割精度不足等问题。针对这 2 个问题,提出了一种新的 显著性实例分割模型,即注意力残差多尺度特征增强网络(ARMFE)。模型 ARMFE 主要包括 2 个模块：注意力 残差网络模块和多尺度特征增强模块,注意力残差网络模块是在残差网络基础上引入注意力机制,分别从通道 和空间对特征进行选择增强;多尺度特征增强模块则是在特征金字塔基础上进一步增强尺度跨度较大的特征信 息融合。因此,ARMFE 模型通过注意力残差多尺度特征增强,充分利用多个尺度特征的互补信息,同时提升 较大显著性实例对象和较小显著性实例对象的分割效果。ARMFE 模型在显著性实例分割数据集 Salient Instance Saliency-1K (SIS-1K)上进行了实验,分割精度和速度都得到了提升,优于现有的显著性实例分割算法 MSRNet 和 S4Net。     

基于多尺度上下文信息的遮挡行人检测

在遮挡场景下的行人检测一直是计算机视觉中的一个棘手问题,由于被遮挡的行人尺度差异大,可见率低,通常会给检测带来极大的挑战。针对这一问题,提出了一种针对行人遮挡检测的模型结构,对基于anchor-free的行人检测方法进行改进。设计了一种提取多尺度上下文信息的结构,通过级联多个不同扩张率的卷积层,使用密集连接实现多尺度特征共享,提取各个区域的上下文信息来解决遮挡问题。此外,为了提高特征的可分辨性,使用通道注意力机制对多尺度特征融合进行自适应的调整。实验结果表明,该方法在Caltech行人数据集的遮挡子集上实现了41.73%的MR?2,性能优于其他检测算法。     

基于多尺度Markov模型的SAR图像上下文融合分割方法

在多尺度Markov模型的基础上,提出了一种新的用于SAR图像无监督分割的上下文融合分割方法。该方法充分考虑了SAR图像分布的统计特性,用基于混合Rayleigh分布的多尺度Markov模型对待分割图像建模,并直接根据待分割图像用迭代条件估计算法来训练模型的参数。然后以上下文向量的形式提出了四种不同的上下文模型,并用这四种上下文模型分别对待分割图像的多尺度图像信息进行自上而下的融合,最终得到四种不同的分割结果。实验表明,该方法进一步提高了SAR图像分割结果的精度。     

结合上下文编码与特征融合的SAR图像分割

目的 图像分割的中心任务是寻找更强大的特征表示,而合成孔径雷达(synthetic aperture radar, SAR)图像中斑点噪声阻碍特征提取。为加强对SAR图像特征的提取以及对特征充分利用,提出一种改进的全卷积分割网络。方法 该网络遵循编码器—解码器结构,主要包括上下文编码模块和特征融合模块两部分。上下文编码模块(contextual encoder module, CEM)通过捕获局部上下文和通道上下文信息增强对图像的特征提取;特征融合模块(feature fusion module, FFM)提取高层特征中的全局上下文信息,将其嵌入低层特征,然后将增强的低层特征并入解码网络,提升特征图分辨率恢复的准确性。结果 在两幅真实SAR图像上,采用5种基于全卷积神经网络的分割算法作为对比,并对CEM与CEM-FFM分别进行实验。结果显示,该网络分割结果的总体精度(overall accuracy, OA)、平均精度(average accuracy, AA)与Kappa系数比5种先进算法均有显著提升。其中,网络在OA上表现最好,CEM在两幅SAR图像上OA分别为91.082%和90...     

融合多尺度特征与全局上下文信息的X光违禁物品检测

目的 X光图像违禁物品检测一直是安检领域的一个基础问题,安检违禁物品形式各异,尺度变化大,以及透视性导致大量物体堆放时出现重叠遮挡现象,传统图像处理模型很容易出现漏检误检,召回率低。针对以上问题,提出一种融合多尺度特征与全局上下文信息的特征增强融合网络(feature enhancement fusion network, FEFNet)用于X光违禁物品检测。方法 首先针对特征主干网络darknet53,加入空间坐标的注意力机制,将位置信息嵌入到通道注意力中,分别沿两个空间方向聚合特征,增强特征提取器对违禁目标的特征提取能力,抑制背景噪声干扰。然后,将特征提取主干网络输出的特征编码为1维向量,利用自监督二阶融合获取特征空间像素相关性矩阵,进而获取完整的全局上下文信息,为视觉遮挡区域提供全局信息指导。针对违禁物品尺度不一的问题,提出多尺度特征金字塔融合模块,增加一层小感受野预测特征用于提高对小尺度违禁目标的检测能力。最后,通过融合全局上下文特征信息和局部多尺度细节特征解决违禁物品之间的视觉遮挡问题。结果 在SIXRay-Lite(security inspection X-ray)数据集...     

多尺度融合增强的纵膈淋巴结超声弹性图像分割

目的 支气管超声弹性成像具有丰富的通道语义信息,精准的分割纵膈淋巴结对诊断肺癌是否转移具有重要意义,也对癌症的分期和治疗有着重要作用。目前,超声弹性图像分割研究较少,没有充分挖掘图像通道特征之间的关系。因此,提出一种结合注意力机制的多尺度融合增强的纵膈淋巴结超声弹性图像分割U-Net(attention-based multi-scale fusion enhanced ultrasound elastic images segmentation network for mediastinal lymph node, AMFE-UNet)。方法首先,考虑到图像可以提供纵膈淋巴结的位置和通道信息,设计密集卷积网络（dense convolutional network,DenseNet）作为模型编码器;其次,结合注意力机制和空洞卷积设计多尺度融合增强解码器,从多尺度和范围对结节的边界和纹理进行建模;最后,用选择性内核网络设计跳跃连接,将编码器的中间特征与解码器的输出特征充分融合。根据解码器特征进行数值或通道融合的方式不同,将AMFE-UNet分为A和B两个子型。结果 在超声弹性图像数据集...     

多尺度注意力引导的全景分割网络

全景分割是近年来新提出的图像分割任务。现有全景分割模型大都对前景实例对象和背景未定形区采用不同的方式进行特征表示,因此需要额外的后处理和融合操作来处理各种实例重叠和语义冲突问题。全卷积全景分割网络实现了统一的特征表示,省去了这些复杂操作,但其对于前景实例对象的分割准确率不高,对图像中远距离小目标的分割效果不是很理想。针对这些问题,基于全卷积全景分割网络进行改进优化,提出一种多尺度注意力引导的全景分割网络。首先改进特征提取网络,通过在主干网中添加一条自底向上的辅助路径来增强模型的多尺度特征获取能力。其次提出一种注意力模块,通过将空洞空间金字塔池化与通道注意力融合,来引导卷积核更新,生成更匹配的权重。在Cityscapes数据集上与全卷积全景分割网络进行对比实验,图像实例级全景分割质量提高了2.74个百分点,背景未定形区全景分割质量和综合全景分割质量分别提高了1.36个百分点和1.94个百分点,对于交通灯和摩托车等小物体的类别检测准确率分别提高了4.4个百分点和8.3个百分点。提出的全景分割网络综合了全卷积全景分割网络、多尺度特征及注意力机制的优点,使得图像实例级全景分割准确率更高。     

时序特征融合的视频实例分割

目的 随着移动互联网和人工智能的蓬勃发展,海量的视频数据不断产生,如何对这些视频数据进行处理分析是研究人员面临的一个挑战性问题。视频中的物体由于拍摄角度、快速运动和部分遮挡等原因常常表现得模糊和多样,与普通图像数据集的质量存在不小差距,这使得对视频数据的实例分割难度较大。目前的视频实例分割框架大多依靠图像检测方法直接处理单帧图像,通过关联匹配组成同一目标的掩膜序列,缺少对视频困难场景的特定处理,忽略对视频时序信息的利用。方法 本文设计了一种基于时序特征融合的多任务学习视频实例分割模型。针对普通视频图像质量较差的问题,本模型结合特征金字塔和缩放点积注意力机制,在时间上把其他帧检测到的目标特征加权聚合到当前图像特征上,强化了候选目标的特征响应,抑制背景信息,然后通过融合多尺度特征丰富了图像的空间语义信息。同时,在分割网络模块增加点预测网络,提升了分割准确度,通过多任务学习的方式实现端到端的视频物体同时检测、分割和关联跟踪。结果 在YouTube-VIS验证集上的实验表明,与现有方法比较,本文方法在视频实例分割任务上平均精度均值提高了2%左右。对比实验结果证明提出的时序特征融合模块改善了视频分割的效果。结论 针对当前视频实例分割工作存在的忽略对视频时序上下文信息的利用,缺少对视频困难场景进行处理的问题,本文提出融合时序特征的多任务学习视频实例分割模型,提升对视频中物体的分割效果。     

针对遮挡物体的轮廓细化实例分割

目的 遮挡物体实例分割效果的好坏与物体轮廓的预测结果息息相关,但目前算法预测的物体轮廓并不够细化,使得分割掩膜粗糙,物体边界分割效果不佳。为此,以BCNet （bilayer convolutional network）网络为基础,提出一种针对遮挡物体的轮廓细化实例分割算法,预测的物体轮廓更加精细,分割掩膜更加完整。方法 1）提出一种均衡池化注意力模块来提取特征,在传统一维平均池化的基础上,增加一维最大池化操作以突出细节特征,并将最大池化和平均池化结果进行加权融合来提取特征,使提取的特征能更好地兼顾物体的整体和边缘细节;2）将BCNet掩膜头中轮廓预测与掩膜预测分成两个支路来进行,从特征金字塔最高分辨率特征中提取感兴趣区域（region of interest,RoI）特征用于轮廓预测,并提出一种自适应特征融合模块,将轮廓预测支路中的特征与掩膜预测支路的特征进行融合,在轮廓预测支路中,融合掩膜预测支路的特征可以更好地判定轮廓所属物体类别,在掩膜预测支路,融合轮廓预测支路的特征能够更好地辅助掩膜定位。结果 在COCO 2017（common objects in context 2017）数据集上,本文相较于目前同类网络中性能最优的BCNet网络,在骨干网络为ResNet-50/101（deep residual network）时平均精度（average precision,AP）分别提高了1.7%和2.1%。结合可视化结果,本文分割算法对遮挡物体的轮廓分割更加精细,能有效分割出更加完整、精细的掩码。结论 提出的针对遮挡物体的轮廓细化实例分割算法,明显提升了遮挡物体实例分割的效果。     

实例分割和边缘优化算法的研究与实现

摘 要：近年来,实例分割技术正受到越来越多的关注。Mask R-CNN 实例分割方法是实 例分割领域中的重要方法,但是用 Mask R-CNN 方法得到的结果中,每个分割出的实例的边缘 往往不够理想,无法与真正的边缘完全吻合。针对此问题,提出了一种用显著性目标提取方法 得到的结果与 Mask R-CNN 实例分割结果相结合的方法,从而得到更好的实例分割边缘。首先, 利用 Mask R-CNN 对图片进行识别,得到实例分割的结果。然后用 PoolNet 对待检测图片进行 处理,得到图片中的显著物体信息。最后用 PoolNet 的结果对实例分割的掩码图边缘进行优化, 从而得到边缘更好的实例分割结果。经过测试,该方法可以对绝大多数待检测目标较为显著的 图片在一些重要指标上得到比 Mask R-CNN 更好的分割结果。     

基于反馈注意力机制和上下文融合的非模式实例分割

非模式实例分割是最近提出的对实例分割的扩展,其任务是对每个对象实例的可见区域和被遮挡区域都进行预测,感知完整的物理结构和语义概念。在预测对象被遮挡部分的形状和语义时,往往由于特征表示的识别能力不够和对上下文信息缺乏而导致对遮挡区域预测欠拟合甚至错误。针对这个问题,提出一个上下文注意模块和反馈注意力机制的特征金字塔结构,引入反馈连接进行再学习。该方法能够有效捕获全局语义信息和精细的空间细节,通过在COCO-amodal数据集训练和验证,非模式实例分割掩码平均精确率从8.4%提高到14.3%,平均召回率从16.6%提高到20.8%。实验结果表明,该方法能够显著提高对物体被遮挡部分预测的准确率,有效解决欠拟合问题。     

基于RGB-D的反向融合实例分割算法

RGB-D 图像在提供场景 RGB 信息的基础上添加了 Depth 信息,可以有效地描述场景的色彩及 三维几何信息。结合 RGB 图像及 Depth 图像的特点,提出一种将高层次的语义特征反向融合到低层次的边缘 细节特征的反向融合实例分割算法。该方法通过采用不同深度的特征金字塔网络(FPN)分别提取 RGB 与 Depth 图像特征,将高层特征经上采样后达到与最底层特征同等尺寸,再采用反向融合将高层特征融合到低层,同时 在掩码分支引入掩码优化结构,从而实现 RGB-D 的反向融合实例分割。实验结果表明,反向融合特征模型能 够在 RGB-D 实例分割的研究中获得更加优异的成绩,有效地融合了 Depth 图像与彩色图像 2 种不同特征图像 特征,在使用 ResNet-101 作为骨干网络的基础上,与不加入深度信息的 Mask R-CNN 相比平均精度提高 10.6%, 比直接正向融合 2 种特征平均精度提高 4.5%。     

基于Mask R-CNN卷积神经网络的虹膜分割

针对虹膜图像中存在眼镜遮挡、模糊、角度偏差等不同噪声因素,我们设计了一种基于Mask R-CNN的卷积神经网络(convolutional neural network, CNN),命名为Mask-INet,用于虹膜分割.该网络在特征提取阶段为特征金字塔添加了一条自底向上的路径,既提高了底层到顶层特征的定位信息,增强语义信息融合,又进一步加快了底层到顶层的传播效率,有效提升对虹膜特征提取的准确性.为了进一步挖掘特征图中的特征信息,在掩模预测分支阶段,我们引入上采样和CBAM网络(convolutional block attention module),利用上采样提高特征图的空间分辨率,利用CBAM网络让特征图中的显著信息更加显著,增强对特征的判别性.该方法在NIR-ISL 2021比赛提供的虹膜数据集进行了验证.在相同实验条件下与该赛事的冠军相比,该方法的各项指标均优于其网络.与基线Mask R-CNN相比,该方法的Dice相似系数、平均交并比、召回率分别提升了8.53%、11.97%、8.88%,提升了虹膜分割效果.     

基于深度学习的实例分割研究综述

深度学习在计算机视觉领域已经取得很大发展,虽然基于深度学习的实例分割研究近年来才成为研究热点,但其技术可广泛应用在自动驾驶,辅助医疗和遥感影像等领域。实例分割作为计算机视觉的基础问题之一,不仅需要对不同类别目标进行像素级别分割,还要对不同目标进行区分。此外,目标形状的灵活性,不同目标间的遮挡和繁琐的数据标注问题都使实例分割任务面临极大的挑战。本文对实例分割中一些具有价值的研究成果按照两阶段和单阶段两部分进行了系统性的总结,分析了不同算法的优缺点并对比了模型在COCO数据集上的测试性能,归纳了实例分割在特殊条件下的应用,简要介绍了常用数据集和评价指标。最后,对实例分割未来可能的发展方向及其面临的挑战进行了展望。     

基于改进Mask R-CNN的在架图书书脊图像实例分割方法

运用人工智能技术将是构建下一代智慧图书馆的关键,为了实现图书的定位和识别,提出一种基于改进Mask R-CNN的在架图书书脊图像实例分割方法.考虑到图书密集排列、具有一定的旋转性、副本纹理极相似等难点,改进锚框为旋转矩形框,提出旋转区域建议网络取代区域建议网络;提出旋转特征提取方法可减少池化误差且有效提取目标特征,结合掩膜的旋转对齐以提升预测掩膜的准确性.建立了一个包含1849张在架图书书脊图像的标注数据集,提出方法的测试结果大幅度优于其他重要的实例分割算法,证实了在网络中使用旋转特征对于具有一定朝向的、密集的目标分割难题很有效.     

基于循环密集连接融合更多局部特征的肝脏分割

由于腹部图像中肝脏区域的复杂性和传统分割方法特征提取上的局限性等原因,肝脏分割领域仍存在着很多挑战.针对现有分割网络在肝脏区域的全局信息和局部信息处理上存在的不足,设计了一种融合更多局部特征的循环密集连接网络的分割方法.该方法将循环密集连接模块和局部特征补充模块整合为编码过程的学习单元,使编码单元融合深层次全局信息和更多尺度的局部特征信息.最后,在解码过程后,利用softmax函数输出分割结果.在LiTS数据集上该方法在多个评价指标中表现优异,精确度达到了95.1％.此外,在Data_67数据集上的相关实验也证明了该方法具有很好的泛化性能.实验表明,密集连接融合更多的局部信息,能够使肝脏分割模型的性能更加优异.