基于注意力机制的多尺度特征融合网络用于宫颈细胞核分割

宫颈细胞图像中嘈杂的背景、不良的对比度、正常和异常细胞中细胞核形状和大小的差异给自动分割带来了极大的困难。因此,提出一种新颖的基于注意力机制的多尺度特征融合网络（AMF-Net）。首先,以残差U型网络作为骨干网络,通过更深的网络层数来有效地提升性能,增加特征的复用能力;其次,针对癌变细胞中核边界模糊、核质对比度降低的问题,将注意力模块添加到网络中,通过集合空间和通道两个维度的注意力图,对宫颈细胞核特征细化;然后,由于癌变细胞核的形状一般情况下由圆形轮廓变为不规则轮廓,通过采用多个不同膨胀因子的空洞卷积并结合残差结构构成多尺度输入模块,克服U型网络感受野的局限性以更好地处理不规则轮廓形状的癌变细胞核;最后,针对宫颈图像中正常细胞核很小的特点,将focal loss与dice loss相结合作为损失函数以解决前景与背景不平衡的问题。在Herlev数据集中进行有效性验证,结果表明AMF-Net的Zijdenbos相似指数（ZSI）为0.972 8,能够有效地提升宫颈细胞核的检测精度。     

基于注意力机制的多尺度残差UNet实现乳腺癌灶分割

针对乳腺癌灶在磁共振成像(MRI)中呈现大小形状不一、边界模糊等特点,为避免误分割并提高分割精度,提出一种基于注意力机制的多尺度残差UNet分割算法.首先,利用多尺度残差单元替换UNet在下采样过程中的相邻两个卷积块以加强对形态大小差异的关注;接着,在上采样阶段使用跨层的注意力引导网络对重点区域的关注,避免造成对健康组...     

平衡多尺度注意力网络的视网膜血管分割算法

针对现有算法对微血管分割精度低、难以区分病灶区域等问题,提出一种平衡多尺度注意力网络用于分割视网膜血管。在编码阶段引入多尺度特征提取模块,提升感受野减少血管细节特征损失;在编码和解码器间增加细节增强模块,突出目标区域提高信息敏感度;设计平衡尺度注意力模块调节细节和语义特征进行最终预测,减少伪影现象。实验结果表明,在DRIVE数据集上分割准确率为96.42%、灵敏度为83.17%、特异性为98.27%,优于现有其它算法。     

融合多尺度上下文信息的实例分割

目的 实例分割通过像素级实例掩膜对图像中不同目标进行分类和定位。然而不同目标在图像中往往存在尺度差异,目标多尺度变化容易错检和漏检,导致实例分割精度提高受限。现有方法主要通过特征金字塔网络(feature pyramid network,FPN)提取多尺度信息,但是FPN采用插值和元素相加进行邻层特征融合的方式未能充分挖掘不同尺度特征的语义信息。因此,本文在Mask R-CNN(mask region-based convolutional neural network)的基础上,提出注意力引导的特征金字塔网络,并充分融合多尺度上下文信息进行实例分割。方法 首先,设计邻层特征自适应融合模块优化FPN邻层特征融合,通过内容感知重组对特征上采样,并在融合相邻特征前引入通道注意力机制对通道加权增强语义一致性,缓解邻层不同尺度目标间的语义混叠;其次,利用多尺度通道注意力设计注意力特征融合模块和全局上下文模块,对感兴趣区域(region of interest,RoI)特征和多尺度上下文信息进行融合,增强分类回归和掩膜预测分支的多尺度特征表示,进而提高对不同尺度目标的掩膜预测质量。结果 在MS ...     

基于多尺度注意力的特征自适应聚合脑肿瘤图像分割

针对脑部磁共振图像中脑卒中病灶的自动分割因分割目标边缘复杂、尺度变化多样而造成的识别精度不高的问题,提出一种基于多尺度注意力的多尺度特征聚合方法,该方法利用注意力机制调节中间特征不同通道的权重,并自适应地选择不同尺度的特征进行融合,在缺血性脑卒中的公开数据集ATLAS上进行的一系列实验,选取Dice系数、豪斯多夫距离、重叠度、准确率和召回率作为评价指标,结果表明所提出的模型在脑卒中病变的分割问题上取得了较好的分割效果;另外,本模型还在Kaggle公开的脑肿瘤数据集上完成对比实验,证明本模型具有良好的可泛化性。     

融合注意力和多尺度特征的街景图像语义分割

为了解决在街道场景图像语义分割任务中传统U-Net网络在多尺度类别下目标分割的准确率较低和图像上下文特征的关联性较差等问题,提出一种改进U-Net的语义分割网络AS-UNet,实现对街道场景图像的精确分割.首先,在U-Net网络中融入空间通道挤压激励(spatial and channel squeeze&excitation block, scSE)注意力机制模块,在通道和空间两个维度来引导卷积神经网络关注与分割任务相关的语义类别,以提取更多有效的语义信息;其次,为了获取图像的全局上下文信息,聚合多尺度特征图来进行特征增强,将空洞空间金字塔池化(atrous spatial pyramid pooling, ASPP)多尺度特征融合模块嵌入到U-Net网络中;最后,通过组合使用交叉熵损失函数和Dice损失函数来解决街道场景目标类别不平衡的问题,进一步提升分割的准确性.实验结果表明,在街道场景Cityscapes数据集和Cam Vid数据集上AS-UNet网络模型的平均交并比(mean intersection over union, MIo U)相较于传统U-Net网络分别提...     

基于多尺度特征解码网络的RGB显著性目标检测

近年来,基于深度学习的显著性目标检测（SOD）取得了很大进展。目前主流的基于深度学习方法的RGB显著性目标检测,忽略了编码器和解码器之间信息交换,以及不同层级编码器对最终预测图的贡献差异。本文设计了一种基于多尺度特征解码的RGB显著性目标检测网络,通过在编码和解码模块之间增加精炼过渡层和注意力机制,对编码器输出特征进行打磨,以还原更详细的显著性信息。此外,在网络的顶部增加感受野增强模块,以定位不同尺度信息,增强深层特征的全局语义信息,使预测结果更准确。在主流的6个数据集上的测试结果显示,本文的方法优于其他同类算法。     

基于多尺度特征和注意力机制的航空图像分割

利用神经网络能通过进行建筑像素标记实现航空图像分割,但也存在分割边界模糊的问题,导致分割结果不理想.为此,本文以卷积神经网络U–net和FCN–8s基本网络模型,实现端到端训练.在此基础上,结合建立了全卷积神经网络结合多尺度特征和注意力机制的网络模型,提升了分割边界的清晰度.将多尺度特征和注意力机制的模型与基本模型进行对比,分析了真实与预测之间的相关度和相似度,并将预测结果进行对比.实验结果表明,结合多尺度特征和注意力机制的分割模型,分割边界更清晰,相对于相同训练规模的全卷积网络交并比高2%, Dice系数高3%,得到较好的分割结果.     

时序特征融合的视频实例分割

目的 随着移动互联网和人工智能的蓬勃发展,海量的视频数据不断产生,如何对这些视频数据进行处理分析是研究人员面临的一个挑战性问题。视频中的物体由于拍摄角度、快速运动和部分遮挡等原因常常表现得模糊和多样,与普通图像数据集的质量存在不小差距,这使得对视频数据的实例分割难度较大。目前的视频实例分割框架大多依靠图像检测方法直接处理单帧图像,通过关联匹配组成同一目标的掩膜序列,缺少对视频困难场景的特定处理,忽略对视频时序信息的利用。方法 本文设计了一种基于时序特征融合的多任务学习视频实例分割模型。针对普通视频图像质量较差的问题,本模型结合特征金字塔和缩放点积注意力机制,在时间上把其他帧检测到的目标特征加权聚合到当前图像特征上,强化了候选目标的特征响应,抑制背景信息,然后通过融合多尺度特征丰富了图像的空间语义信息。同时,在分割网络模块增加点预测网络,提升了分割准确度,通过多任务学习的方式实现端到端的视频物体同时检测、分割和关联跟踪。结果 在YouTube-VIS验证集上的实验表明,与现有方法比较,本文方法在视频实例分割任务上平均精度均值提高了2%左右。对比实验结果证明提出的时序特征融合模块改善了视频分割的效果。结论 针对当前视频实例分割工作存在的忽略对视频时序上下文信息的利用,缺少对视频困难场景进行处理的问题,本文提出融合时序特征的多任务学习视频实例分割模型,提升对视频中物体的分割效果。     

基于多尺度特征融合和残差注意力机制的目标检测

作为一个多任务的学习过程,目标检测相较于分类网络需要更好的特征.基于多尺度特征对不同尺度的目标进行预测的检测器性能已经大大超过了基于单一尺度特征的检测器.同时,特征金字塔结构被用于构建所有尺度的高级语义特征图,从而进一步提高了检测器的性能.但是,这样的特征图没有充分考虑到上下文信息对语义的补充作用.在SSD基准网络的基...     

特征注意金字塔调制网络的视频目标分割

目的 视频目标分割是在给定第1帧标注对象掩模条件下,实现对整个视频序列中感兴趣目标的分割。但是由于分割对象尺度的多样性,现有的视频目标分割算法缺乏有效的策略来融合不同尺度的特征信息。因此,本文提出一种特征注意金字塔调制网络模块用于视频目标分割。方法 首先利用视觉调制器网络和空间调制器网络学习分割对象的视觉和空间信息,并以此为先验引导分割模型适应特定对象的外观。然后通过特征注意金字塔模块挖掘全局上下文信息,解决分割对象多尺度的问题。结果 实验表明,在DAVIS 2016数据集上,本文方法在不使用在线微调的情况下,与使用在线微调的最先进方法相比,表现出更具竞争力的结果,J-mean指标达到了78.7%。在使用在线微调后,本文方法的性能在DAVIS 2017数据集上实现了最好的结果,J-mean指标达到了68.8%。结论 特征注意金字塔调制网络的视频目标分割算法在对感兴趣对象分割的同时,针对不同尺度的对象掩模能有效结合上下文信息,减少细节信息的丢失,实现高质量视频对象分割。     

基于注意力机制的行人重识别特征提取方法

针对真实环境中非重叠多摄像头的行人重识别受到不同摄像机场景、视角、光照等因素的影响导致行人重识别精度低的问题,提出一种基于注意力机制的行人重识别特征提取方法。首先,使用随机擦除法对输入的行人图像进行数据增强,提高网络的鲁棒性;然后,通过构建自上而下的注意力机制网络增强空间像素特征的显著性,并将注意力机制网络嵌入ResNet50网络提取整个行人的显著特征;最后,将整个行人的显著特征进行相似性度量并排序得到行人重识别的结果。该注意力机制的行人重识别特征提取方法在Market1501数据集上Rank1达到88.53%,平均精度均值（mAP）为70.70%;在DukeMTMC-reID数据集上Rank1达到77.33%,mAP为59.47%。所提方法在两大行人重识别数据集上性能都有明显提升,具有一定的应用价值。     

基于多维注意力融合的驾驶场景分割增强算法

针对使用注意力机制的语义分割模型计算资源消耗与精度不平衡的问题,提出一种轻量化的语义分割注意力增强算法。首先,基于驾驶场景中物体的形状特点设计了条状分维注意力机制,使用条形池化代替传统方形卷积,并结合降维操作分维度提取长程语义关联,削减模型计算量。接着融合通道域与空间域上的注意力,形成可叠加与拆解的轻量化多维注意力融合模块,全方位提取特征信息,进一步提升模型精度。最后,将模块插入基于ResNet-101骨干网的编码—解码网络中,指导高低层语义融合,矫正特征图边缘信息,补充预测细节。实验表明,该模块有较强的鲁棒性和泛化能力,与同类型注意力机制相比,削减了约90%的参数量以及80%的计算量,且分割精度依旧取得了稳定的提升。     

3D-BSNet:双边特征和相似度量的点云实例分割网络

针对现有的三维分割方法在挖掘点云特征时,会忽略几何特征有效利用的问题,提出双边特征和相似度量的点云实例分割网络3D-BSNet（3D-bilateral feature and similarity measure network）。该网络主要由双边特征学习和轻量级相似度量两部分组成。首先提出一种包含基于子流形稀疏卷积的3D-UNet和多层感知机的双边特征提取模块,用于提取经过体素化处理的点云数据的语义特征和几何特征;然后设计一种结合通道维度和空间维度的双边注意力机制,用于减少双边特征聚合过程中产生的信息损失;最后开发一种轻量级相似度量模块,获取高维嵌入特征空间中邻近点云之间的相似性,并生成细粒度实例分割结果。实验表明,3D-BSNet在S3DIS和Scannet（v2）数据集上的多指标综合表现优越,其中在Scannet（v2）上的平均精确率比 SSTNet 提高了3.3%,有效提高了室内场景三维实例分割的精度。     

融合稀疏注意力和实例增强的雷达点云分割

目的 雷达点云语义分割是3维环境感知的重要环节,准确分割雷达点云对象对无人驾驶汽车和自主移动机器人等应用具有重要意义。由于雷达点云数据具有非结构化特征,为提取有效的语义信息,通常将不规则的点云数据投影成结构化的2维图像,但会造成点云数据中几何信息丢失,不能得到高精度分割效果。此外,真实数据集中存在数据分布不均匀问题,导致小样本物体分割效果较差。为解决这些问题,本文提出一种基于稀疏注意力和实例增强的雷达点云分割方法,有效提高了激光雷达点云语义分割精度。方法 针对数据集中数据分布不平衡问题,采用实例注入方式增强点云数据。首先,通过提取数据集中的点云实例数据,并在训练中将实例数据注入到每一帧点云中,实现实例增强的效果。由于稀疏卷积网络不能获得较大的感受野,提出Transformer模块扩大网络的感受野。为了提取特征图的关键信息,使用基于稀疏卷积的空间注意力机制,显著提高了网络性能。另外,对不同类别点云对象的边缘,提出新的TVloss用于增强网络的监督能力。结果 本文提出的模型在SemanticKITTI和nuScenes数据集上进行测试。在SemanticKITTI数据集上,本文方法在线单帧...     

基于卷积胶囊编码器和多尺度局部特征共现的图像分割网络

U-Net在图像分割领域取得了巨大成功,然而卷积和下采样操作导致部分位置信息丢失,全局和长距离的语义交互信息难以被学习,并且缺乏整合全局和局部信息的能力。为了提取丰富的局部细节和全局上下文信息,提出了一个基于卷积胶囊编码器和局部共现的医学图像分割网络MLFCNet (network based on convolution capsule encoder and multi-scale local feature co-occurrence)。在U-Net基础上引入胶囊网络模块,学习目标位置信息、局部与全局的关系。同时利用提出的注意力机制保留网络池化层丢弃的信息,并且设计了新的多尺度特征融合方法,从而捕捉全局信息并抑制背景噪声。此外,提出了一种新的多尺度局部特征共现算法,局部特征之间的关系能够被更好地学习。在两个公共数据集上与九种方法进行了比较,相比于性能第二的模型,该方法的mIoU在肝脏医学图像中提升了4.7%,Dice系数提升了1.7%。在肝脏医学图像和人像数据集上的实验结果表明,在相同的实验条件下,提出的网络优于U-Net和其他主流的图像分割网络。