基于可变形卷积技术的街景图像语义分割算法

目前图像语义分割算法中可能会出现分割图像的不连续与细尺度目标丢失的缺陷,故提出可变形卷积融合增强图像的语义分割算法。算法集HRNet网络框架、Xception Module以及可变形的卷积于一体,用轻量级Xception Module优化HRNet原先存在的Bottleneck模块,同时在网络的第一阶段串联融合可变形卷积,通过建立轻量级融合加强网络从而增强针对细尺度目标特征物的辨识精度,从而使得该轻量级融合增强网络在粗尺度目标物被分割时取得相对多的细尺度目标的语义特征信息,进一步缓解语义分割图像的不连续与细尺度的目标丢失。使用Cityscapes数据集,实验结果可以说明,优化后的算法对于细尺度目标分割精度得到了显著的增强,同时解决了图像语义分割导致的分割不连续的问题。然后进行实验使用的是公开数据集PASCAL VOC 2012,实验进一步的验证了优化算法的鲁棒性以及泛化能力。     

自适应调控卷积与双路信息嵌入的城市街景实例分割

城市街道场景实例分割是无人驾驶不可忽略的关键技术之一,针对城市街景实例密集、边缘模糊以及背景干扰严重等问题,提出一种自适应调控卷积与双路信息嵌入的城市街景实例分割模型RENet.首先使用自适应调控卷积替代原有的残差结构,利用可变形卷积学习空间采样位置偏移量,提高模型对图像复杂形变的建模能力,同时对多分支结构进行通道混洗以加强不同通道间的信息流动,并应用注意力机制实现通道权重的自适应校准,提高模型对复杂场景下模糊、密集目标的分割精度;然后设计低维空间信息嵌入分支,对不同尺度特征图进行空间信息激励与重编码,在抽象语义特征中嵌入低维空间信息,提高模型轮廓分割准确性;最后引入高级语义信息嵌入模块,实现特征图与语义框的对齐,弥补特征图间语义与分辨率的差距,提高不同尺度下特征信息融合的有效性.在自建数据集上的实验结果表明,与原始YOLACT网络模型相比,RENet模型在复杂街道背景下的平均分割精度最高达到51.6%,提高了10.4个百分点;网络推理速度达到17.5帧/s,验证了该模型的有效性和在工程中的实用性.     

RGB-D语义分割：深度信息的选择使用

目的 在室内场景语义分割任务中,深度信息会在一定程度上提高分割精度。但是如何更有效地利用深度信息仍是一个开放性问题。当前方法大都引入全部深度信息,然而将全部深度信息和视觉特征组合在一起可能对模型产生干扰,原因是仅依靠视觉特征网络模型就能区分的不同物体,在引入深度信息后可能产生错误判断。此外,卷积核固有的几何结构限制了卷积神经网络的建模能力,可变形卷积(deformable convolution, DC)在一定程度上缓解了这个问题。但是可变形卷积中产生位置偏移的视觉特征空间深度信息相对不足,限制了进一步发展。基于上述问题,本文提出一种深度信息引导的特征提取(depth guided feature extraction, DFE)模块。方法 深度信息引导的特征提取模块包括深度信息引导的特征选择模块(depth guided feature selection, DFS)和深度信息嵌入的可变形卷积模块(depth embedded deformable convolution, DDC)。DFS可以筛选出关键的深度信息,自适应地调整深度信息引入视觉特征的比例,在网络模型需要时将深度信息嵌...     

基于深度Q学习和可变形卷积U-Net的肝脏肿瘤分割方法

针对传统卷积神经网络U-Net对早期肝脏肿瘤的分割精度低的问题,在U-Net的基础上提出了基于深度Q学习和可变形卷积U-Net的肝脏肿瘤分割方法.首先使用深度Q学习对图像进行肿瘤目标定位,然后对目标肿瘤区域使用可变形卷积的U-Net进行分割,最后实现了粗剪裁到细分割的两段式学习框架.实验结果表明,利用该方法在肝脏肿瘤数据集上测试,其分割结果的Dice系数能够达到68％,较传统的卷积神经网络U-Net精度提升了6.89个百分点.     

一种基于区域建议网络的图像语义分割方法

针对图像语义分割中存在分割效果粗糙、细节缺失的问题，提出一种结合区域建议网络并实现卷积层共享的联合网络结构。利用区域建议网络生成包含类别标记信息的区域建议框，并使用这些区域建议框来校正全卷积语义分割网络的分割结果。实验表明，该方法可以有效提高像素点的分类正确率，得到更精细的分割效果。     

可变形卷积网络研究综述

近年来,随着深度学习的快速发展,可变形卷积网络因其强大的特征提取能力受到广泛关注,克服了卷积神经网络中难以解决的一些问题,并且已在计算机视觉、自然语言处理等相关领域发挥重要作用。由于目前对可变形卷积网络进行系统性总结的研究还很少,为了给后续研究提供详细的参考依据,对可变形卷积网络引入以来的相关工作进行总结。首先,综述了近几年的高质量文献,从不变性特征的角度入手,对可变形卷积网络中的可变形卷积和可变形感兴趣区域池化等核心技术进行介绍。然后,将收集到的相关文献按照研究领域的不同进行分类,全面概括现阶段可变形卷积网络在图像识别和分类、目标检测、图像分割、目标追踪等研究领域的应用情况,同时还对比了重要网络模型的性能和优缺点。其次,通过梳理文献,分析可变形卷积网络存在的优势和不足,并根据现阶段存在的一些问题,探讨可变形卷积网络未来可能的研究趋势。最后,基于不变性特征的提取对可变形卷积网络进行了总结和展望。     

基于Mask RCNN的滤袋开口检测方法

滤袋开口的检测与定位在滤袋智能生产过程中占据着至关重要的地位。但由于滤袋具有柔性的特点,常规检测方法很难有效进行,且定位精度也不能满足生产要求。本文提出一种结合可变形卷积与掩码信息的多尺度目标检测器,该检测器使用可变形卷积改进主干网络高层中的固定卷积,结合特征金字塔技术实现多尺度信息融合。然后将所得多尺度信息通过区域提议网络生成候选区域,采用改进的Soft-NMS方法进行筛选,最终送入检测头进行识别与分割。本文在滤袋图像数据集上进行了实验。结果表明,提出的算法实现了滤袋开口的准确识别与高精度定位。     

全卷积神经网络图像语义分割方法综述

图像语义分割是计算机视觉领域的热点研究课题,随着全卷积神经网络的迅速兴起,图像语义分割和全卷积神经网络的融合发展取得了非常卓越的成绩.通过对近年来高质量文献的收集,重点对全卷积神经网络图像语义分割方法进行总结.将收集的文献,按照应用场景的不同,划分为经典语义分割、实时性语义分割和RGBD语义分割,对具有代表性的分割方法...     

基于密集多尺度空洞卷积的脑胶质瘤图像语义分割方法

对脑胶质瘤核磁共振图像进行语义分割是医学图像处理的一个研究热点。目前的分割方法均使用池化层进行下采样，存在空间位置信息损失问题，导致分割结果不精确、无效计算量高。为了提高分割效果和计算效率，提出一种新的语义分割方法。该方法使用空洞卷积代替池化层，获得了信息更丰富的特征图，进行多尺度空洞卷积改进，消除空洞卷积中网格问题和边缘特征无效问题，使用密集连接获取不同尺度的特征，保证方法的鲁棒性并降低计算量。使用Brats2017的数据进行实验验证，结果表明，该方法在分割整体肿瘤区域和增强肿瘤区域时效果良好，dice相对性系数分别达到0.912和0.88。     

融合位置注意力机制与轻量化STDC网络的非结构化场景语义分割

近年来,非结构化道路分割已成为计算机视觉领域的重要研究方向之一.现有的大多数方法适合结构化道路的分割并无法满足非结构化道路分割的准确性与实时性需求.为了解决上述问题,本文对STDC网络进行改进,引入残差连接来更好地融合多尺度语义信息,还提出一种嵌入位置注意力模块的空洞空间卷积池化金字塔(PAASPP)来增强网络对道路等特定区域的位置感知能力.本文在RUGD与RELLIS-3D两个数据集上进行实验,所提出方法的MIoU在两个数据集的测试集上分别达到了50.78%和49.96%.     

面向刻蚀图像分割的轻量可变形编解码网络

通过分割刻蚀图像计算驱油率是目前衡量油藏驱替技术的重要手段。由于刻蚀图像边缘模糊、噪声大且水油像素分散,目前主流的图像分割网络分割精度低、分割速度慢,难以获得较好的分割结果。提出一种用于刻蚀图像分割的轻量可变形编解码网络（LDNet）。在特征编码阶段利用偏移量学习水油目标形状和边缘特征,改善网络的特征表达能力,并通过深度卷积和逐点卷积有效降低网络参数量。在特征融合阶段设计协同耦合注意力模块,将通道注意力进行分解,并分别沿2个空间方向聚合特征,将特征图编码为方向和位置感知的特征图,从而将位置信息嵌入到通道注意力中,提升模型的鲁棒性。实验结果表明,LDNet网络的分割精度为89.94%,模型大小仅为16.63×10⁶,在资源受限的设备中有效提高刻蚀图像的分割精度,降低驱油率误差,加快模型的推理速度。     

基于特征融合和动态多尺度空洞卷积的超声甲状腺分割网络

针对甲状腺超声影像中甲状腺组织大小和形态的多样性以及周边组织的复杂性,提出了一种基于特征融合和动态多尺度空洞卷积的超声甲状腺分割网络.首先,利用不同膨胀率的空洞卷积和动态滤波器来融合不同感受野下的全局语义特征与不同范围的上下文详情的语义特征,从而提升网络对多尺度目标的适应性与准确度;然后,在特征降维时采用混合上采样方式...     

融合注意力和多尺度特征的街景图像语义分割

为了解决在街道场景图像语义分割任务中传统U-Net网络在多尺度类别下目标分割的准确率较低和图像上下文特征的关联性较差等问题,提出一种改进U-Net的语义分割网络AS-UNet,实现对街道场景图像的精确分割.首先,在U-Net网络中融入空间通道挤压激励(spatial and channel squeeze&excitation block, scSE)注意力机制模块,在通道和空间两个维度来引导卷积神经网络关注与分割任务相关的语义类别,以提取更多有效的语义信息;其次,为了获取图像的全局上下文信息,聚合多尺度特征图来进行特征增强,将空洞空间金字塔池化(atrous spatial pyramid pooling, ASPP)多尺度特征融合模块嵌入到U-Net网络中;最后,通过组合使用交叉熵损失函数和Dice损失函数来解决街道场景目标类别不平衡的问题,进一步提升分割的准确性.实验结果表明,在街道场景Cityscapes数据集和Cam Vid数据集上AS-UNet网络模型的平均交并比(mean intersection over union, MIo U)相较于传统U-Net网络分别提...     

语义特征图引导的青光眼筛查方法

现有的端到端青光眼筛查模型往往忽略细微病变区域而导致过拟合问题,并且其可解释性区域尚不明确.针对上述问题,提出一种语义特征图引导的青光眼筛查方法.利用基于MobileNet v2作为特征提取网络的DeepLab v3+分割模型进行视盘区域的分割定位,并且根据定位结果提取用于青光眼筛查的重点感兴趣区域,再通过设计注意力模...     

结合上下文注意力的卷积自校正图像语义分割

针对现有图像语义分割中存在小目标对象分割精度不高等问题,提出一种结合上下文注意力的卷积自校正图像语义分割模型.使用上下文注意力机制挖掘局部区域内细粒度特征,结合上下文循环神经网络和残差学习充分挖掘图像的深层隐含语义特征;构建辅助分割模型,在给定图像和边界框注释的情况下生成每像素的标签分布,提出卷积自校正模型,实现分割模...     

基于D-Unet神经网络的鼻腔鼻窦肿瘤分割算法

鼻腔鼻窦肿瘤为多发性疾病,其CT影像具有形态不规则、分界不均匀等特征,而现有的U-Net分割算法对图片细节不敏感且割裂了图像局部与整体特征的一致性,难以实现精准诊断。提出一种基于D-Unet深度神经网络的改进算法,根据鼻腔鼻窦肿瘤空间形变特点,将可变形卷积融入U-Net网络,并利用可变形卷积能依据目标形态拥有自适应感受野的特点,充分学习图像细节,从而提升算法的特征提取能力。在此基础上,使用损失函数Tversky解决数据集样本失衡问题,从而获得更高的灵敏度和泛化能力。为方便进一步研究,建立鼻腔鼻窦肿瘤分割数据集。实验结果表明,所提算法能有效提高鼻腔鼻窦肿瘤分割精度,相比U-Net、Res-Unet和Attention U-Net算法,分割精度分别提高了5.01%、2.56%和0.48%。     

一种辅助新型冠状病毒肺炎检测的肺实质分割算法

新型冠状病毒肺炎给人类健康及社会经济造成了巨大的负面影响,而X光胸片中的肺实质提取成为新型冠状病毒肺炎诊断过程中的关键环节。在U-Net的基础上,提出一种结合编解码模式的肺实质分割算法。应用特征融合思想,构建A形特征融合模块,充分学习深层特征的语义信息。引入注意力机制,在深层卷积神经网络中加入密集空洞卷积模块和残差多核池化模块,扩大卷积感受野并提取上下文特征信息。通过改进可变形卷积和分割损失函数,提升网络模型的泛化能力和鲁棒性。实验结果表明,该算法的分割准确度、Dice系数、敏感度、Jaccard指数分别为98.16%、98.32%、98.13%、98.54%,能够实现X光胸片中肺实质部位的有效分割。     

改进Deeplab v3+网络的手术器械分割方法

针对当前国内手术器械管理耗费人力,智能化程度低的问题,提出一种动态学习特征的改进Deeplab v3+网络模型语义分割算法。为了加强相关任务有效特征学习,在Deeplab v3+模型编码端嵌入注意力机制CBAM模块并通过密集深度分离卷积和扩张卷积提取图像高层特征;在解码端增加两路低层特征来源,保留了重要特征信息,提高了分割准确率。实验结果表明,改进后网络在手术器械数据集上MIoU、PA、Recall、[F]值分别为0.854、0.874、0.872和0.873。相较于其他语义分割网络,改进网络分割性能更优,有极大的工程实用价值。     

基于内卷U-Net的医学图像分割模型

图像分割技术的主要对象为自然图像和医学图像,相对于自然图像而言,医学图像的语义分割通常需要较高的精度以进行下一步的临床分析、诊断和规划治疗。目前用于医学图像语义分割的深度神经网络模型由于仅考虑位置的平移不变性,存在局部感受野较小、无法表达长范围依赖关系的问题。设计一种面向医学图像的分割模型,基于内卷U-Net网络,使用内卷操作代替传统的卷积操作,并将内卷结构作为基本的网络结构,提升模型对医学图像局部特征的学习能力。在模型的瓶颈层引入注意力机制模块来学习图像长范围的依赖关系,以提高医学图像语义分割的精度。在肺部CT数据集上的实验结果表明,该模型的Dice系数为0.998,较基于卷积神经网络的分割模型约提高5%,并且大幅缩短Hausdorff距离,具有更高的分割准确度以及较好的稳健性。     

多尺度条形池化与通道注意力的图像语义分割

目的 针对自然场景下图像语义分割易受物体自身形状多样性、距离和光照等因素影响的问题,本文提出一种新的基于条形池化与通道注意力机制的双分支语义分割网络(strip pooling and channel attention net, SPCANet)。方法 SPCANet从空间与内容两方面对图像特征进行抽取。首先,空间感知子网引入1维膨胀卷积与多尺度思想对条形池化技术进行优化改进,进一步在编码阶段增大水平与竖直方向上的感受野;其次,为了提升模型的内容感知能力,将在ImageNet数据集上预训练好的VGG16(Visual Geometry Group 16-layer network)作为内容感知子网,以辅助空间感知子网优化语义分割的嵌入特征,改善空间感知子网造成的图像细节信息缺失问题。此外,使用二阶通道注意力进一步优化网络中间层与高层的特征选择,并在一定程度上缓解光照产生的色差对分割结果的影响。结果 使用Cityscapes作为实验数据,将本文方法与其他基于深度神经网络的分割方法进行对比,并从可视化效果和评测指标两方面进行分析。SPCANet在目标分割指标mIoU(mean inter...