基于上下文和浅层空间编解码网络的图像语义分割方法

当前图像语义分割研究基本围绕如何提取有效的语义上下文信息和还原空间细节信息两个因素来设计更有效算法. 现有的语义分割模型, 有的采用全卷积网络结构以获取有效的语义上下文信息, 而忽视了网络浅层的空间细节信息; 有的采用U型结构, 通过复杂的网络连接利用编码端的空间细节信息, 但没有获取高质量的语义上下文特征. 针对此问题, 本文提出了一种新的基于上下文和浅层空间编解码网络的语义分割解决方案. 在编码端, 采用二分支策略, 其中上下文分支设计了一个新的语义上下文模块来获取高质量的语义上下文信息, 而空间分支设计成反U型结构, 并结合链式反置残差模块, 在保留空间细节信息的同时提升语义信息. 在解码端, 本文设计了优化模块对融合后的上下文信息与空间信息进一步优化. 所提出的方法在3个基准数据集CamVid、SUN RGB-D和Cityscapes上取得了有竞争力的结果.     

基于多级上下文引导的实时语义分割网络

针对实时语义分割方法中因忽略其本质所导致的分割精度不高的问题,提出了一种多级上下文引导的轻量化网络。首先,将深度可分离卷积及非对称卷积相结合,设计了基于并行非对称卷积的上下文引导模型以学习局部特征及其周围上下文构成的联合特征;其次,将该模型堆叠于网络来实现特征的多级优化;最后,通过通道注意模型筛选出与更高阶段语义一致的浅层特征,从而提高分割效果。实验结果表明,所提网络在Cityscapes数据集上以94.7的帧速率获得了72.4%的平均交并比,并在CamVid数据集上取得显著的性能提升。同当前的其他实时语义分割方法相比,该网络性能更优。     

基于深度学习算法的高分辨率无人机遥感图像自动分割

高分辨率无人机遥感图像自动分割对于图像的目标识别与检测具有重要意义,为提升图像分割精度,提出基于深度学习算法的高分辨率无人机遥感图像自动分割方法。采用直方图均衡化算法增强遥感图像后,构建基于编/解码器架构的深度学习网络语义分割模型,针对增强后的图像,在编码环节中引入残差模块强化对分割目标有效的特征;在解码环节中,采用多尺度融合模块将低层特征的局部细节信息和高层特征的语义信息相融合。同时针对遥感图像内地物类别不均衡的现象,以带权重的交叉熵为模型损失函数,克服模型选择偏好问题,提升模型分割精度。实验结果显示该方法可准确分割遥感图像内不同类型目标,分割精度达到95%以上。     

基于八叉树空间分割的三维点云模型密写

针对三维点云模型的信息隐藏,提出一种基于八叉树空间分割的空域密写算法。对经过主成分分析后的三维点云模型建立包围盒,利用八叉树空间分割得到小体元并记录分割过程,通过顶点位移将信息嵌入到小体元内的不同空间位置。实验结果表明,该算法在提取信息时不需要原始模型数据,具有嵌入量高、失真度低的特点,能够抵抗旋转、平移、均匀缩放和顶点重排序攻击,适合于任意网格的三维模型信息隐藏。     

基于空间特征提取和注意力机制的双路径语义分割

针对现阶段语义分割网络存在的空间和通道特征不匹配、小目标物体像素丢失等问题,设计了一种基于空间特征提取和注意力机制的双路径语义分割算法。空间信息路径利用四倍下采样来保留高分辨率特征,并引入空间特征提取模块融合多尺度空间信息,加强网络对小目标物体的识别能力;采用一条结合双阶通道注意力的语义上下文路径提取判别特征,使深层特征能够指导浅层特征捕捉更精确的语义信息,从而降低精度损失。在CamVid和Aeroscapes数据集上验证该算法,平均交并比分别可达70.5%和51.8%,相比于当前主流的双路径语义分割模型有所提升,结果验证了所提算法的有效性。     

条带池化注意力的实时语义分割算法

针对目前面向注意力机制语义分割算法不能兼顾分割精度与实时性,以及难以满足在现实场景中应用的问题,提出一种基于条带池化注意力的实时语义分割算法.首先采用轻量级骨干网络提取特征信息,结合不同网络层语义差异构建特征融合模块获得不同尺度的上下文信息以提升分割精度;然后利用基于注意力的条带注意力模块(SAM)提高远距离信息被弱化的注意力,并在SAM中加入水平方向的条带池化以降低编码全局上下文的运算量.实验结果表明,所提算法能够得到较高分割精度且满足实时性要求;在Cityscapes测试集上平均交并比为70.6%,分割速度达到了92帧/s;在CamVid测试集上平均交并比为66.4%,分割速度达到了196帧/s.     

结合自注意力和特征自适应融合的语义分割算法

针对场景图像语义分割任务中存在多尺度目标以及特征提取网络缺乏对全局上下文信息的获取等问题,设计了一种嵌入改进自注意力机制以及自适应融合多尺度特征的双路径分割算法。在空间路径利用双分支的简易下采样模块进行4倍下采样提取高分辨率的边缘细节信息,使网络对目标边界分割更精确。在语义路径嵌入上下文捕获模块和自适应特征融合模块,为解码阶段提供具有丰富多尺度的高语义上下文信息,并采用类别平衡策略进一步提升分割效果。经过实验验证,该模型在Camvid和Aeroscapes数据集上的MIOU(mean intersection over union)指标分别为59.4％和60.1％,具有较好的分割效果。     

基于深度特征融合的图像语义分割

在图像语义分割中使用卷积网络进行特征提取时,由于最大池化和下采样操作的重复组合引起了特征分辨率降低,从而导致上下文信息丢失,使得分割结果失去对目标位置的敏感性。虽然基于编码器-解码器架构的网络通过跳跃连接在恢复分辨率的过程中逐渐细化了输出精度,但其将相邻特征简单求和的操作忽略了特征之间的差异性,容易导致目标局部误识别等问题。为此,文中提出了基于深度特征融合的图像语义分割方法。该方法采用多组全卷积VGG16模型并联组合的网络结构,结合空洞卷积并行高效地处理金字塔中的多尺度图像,提取了多个层级的上下文特征,并通过自顶向下的方法逐层融合,最大限度地捕获上下文信息;同时,以改进损失函数而得到的逐层标签监督策略为辅助支撑,联合后端像素建模的全连接条件随机场,无论是在模型训练的难易程度还是预测输出的精度方面都有一定的优化。实验数据表明,通过对表征不同尺度上下文信息的各层深度特征进行逐层融合,图像语义分割算法在目标对象的分类和空间细节的定位方面都有所提升。在PASCAL VOC 2012和PASCAL CONTEXT两个数据集上获得的实验结果显示,所提方法分别取得了80.5%和45.93%的mIoU准确率。实验数据充分说明,并联框架中的深度特征提取、特征逐层融合和逐层标签监督策略能够联合优化算法架构。特征对比表明,该模型能够捕获丰富的上下文信息,得到更加精细的图像语义特征,较同类方法具有明显的优势。     

基于八叉树空间分割的NURBS曲面重构方法

对三维模型和点云曲面重构方法进行深入研究,根据应用特点提出八叉树空间分割和N U RBS曲面重构方法。利用八叉树的快速收敛特性对三维实体的点云数据进行分割、精简,采用N U RBS方法对局部网格曲面进行重构;采用八叉树和四叉树相混合的数据结构,渐进地进行网格曲面的重构。存储结构采用扩展式八叉树结构,编码采用8进制前缀编码方法。利用O penG L设计一个实验模型系统验证了该算法的可行性和有效性。     

一种保留特征的网格简化和压缩递进传输方法

针对数字博物馆中三维藏品网络传输及传输过程中藏品特征保留的需要,提出了一种保留拓扑及纹理特征的网格简化方法,在三角形折叠简化算法的基础之上,通过引入边界三角形和色异三角形等概念,对误差矩阵的计算和误差控制方法进行了改进,保留了原始模型的几何边界和纹理属性等特征信息;并结合递进网格和压缩编码,构造了基于八叉树编码的递进网格文件,从而实现了基于网络的三维模型递进传输系统.     

基于深度感知特征提取的室内场景理解

从深度图RGB-D域中联合学习RGB图像特征与3D几何信息有利于室内场景语义分割,然而传统分割方法通常需要精确的深度图作为输入,严重限制了其应用范围。提出一种新的室内场景理解网络框架,建立基于语义特征与深度特征提取网络的联合学习网络模型提取深度感知特征,通过几何信息指导的深度特征传输模块与金字塔特征融合模块将学习到的深度特征、多尺度空间信息与语义特征相结合,生成具有更强表达能力的特征表示,实现更准确的室内场景语义分割。实验结果表明,联合学习网络模型在NYU-Dv2与SUN RGBD数据集上分别取得了69.5%与68.4%的平均分割准确度,相比传统分割方法具有更好的室内场景语义分割性能及更强的适用性。     

结合上下文注意力的卷积自校正图像语义分割

针对现有图像语义分割中存在小目标对象分割精度不高等问题,提出一种结合上下文注意力的卷积自校正图像语义分割模型.使用上下文注意力机制挖掘局部区域内细粒度特征,结合上下文循环神经网络和残差学习充分挖掘图像的深层隐含语义特征;构建辅助分割模型,在给定图像和边界框注释的情况下生成每像素的标签分布,提出卷积自校正模型,实现分割模...     

基于注意力机制和辅助任务的语义分割算法

为提高网络模型低层特征的离散度和语义分割算法的性能,以全卷积神经网络作为基础模型,提出一种基于辅助损失、边缘检测辅助任务和注意力机制的语义分割算法。通过重新设计网络模型的辅助损失分支,使网络低层特征编码更多语义信息。在多任务学习中,选择边缘检测作为辅助任务,基于注意力机制设计边缘检测的辅助任务分支,使网络模型更关注物体的形状和边缘信息。在此基础上,将基础模型、辅助损失分支、辅助任务分支集成构造为语义分割模型。在VOC2012数据集上的实验结果表明,该算法的平均交并比为71.5%,相比基础模型算法提高了6个百分点。     

结合语义分割与模型匹配的室内场景重建方法

目的 由于室内点云场景中物体的密集性、复杂性以及多遮挡等带来的数据不完整和多噪声问题,极大地限制了室内点云场景的重建工作,无法保证场景重建的准确度。为了更好地从无序点云中恢复出完整的场景,提出了一种基于语义分割的室内场景重建方法。方法 通过体素滤波对原始数据进行下采样,计算场景三维尺度不变特征变换（3D scale-invariant feature transform,3D SIFT）特征点,融合下采样结果与场景特征点从而获得优化的场景下采样结果;利用随机抽样一致算法（random sample consensus,RANSAC）对融合采样后的场景提取平面特征,将该特征输入PointNet网络中进行训练,确保共面的点具有相同的局部特征,从而得到每个点在数据集中各个类别的置信度,在此基础上,提出了一种基于投影的区域生长优化方法,聚合语义分割结果中同一物体的点,获得更精细的分割结果;将场景物体的分割结果划分为内环境元素或外环境元素,分别采用模型匹配的方法、平面拟合的方法从而实现场景的重建。结果 在S3DIS （Stanford large-scale 3D indoor space dataset）数据集上进行实验,本文融合采样算法对后续方法的效率和效果有着不同程度的提高,采样后平面提取算法的运行时间仅为采样前的15%;而语义分割方法在全局准确率（overall accuracy,OA）和平均交并比（mean intersection over union,mIoU）两个方面比PointNet网络分别提高了2.3%和4.2%。结论 本文方法能够在保留关键点的同时提高计算效率,在分割准确率方面也有着明显提升,同时可以得到高质量的重建结果。     

改进Deeplab v3+网络的手术器械分割方法

针对当前国内手术器械管理耗费人力,智能化程度低的问题,提出一种动态学习特征的改进Deeplab v3+网络模型语义分割算法。为了加强相关任务有效特征学习,在Deeplab v3+模型编码端嵌入注意力机制CBAM模块并通过密集深度分离卷积和扩张卷积提取图像高层特征;在解码端增加两路低层特征来源,保留了重要特征信息,提高了分割准确率。实验结果表明,改进后网络在手术器械数据集上MIoU、PA、Recall、[F]值分别为0.854、0.874、0.872和0.873。相较于其他语义分割网络,改进网络分割性能更优,有极大的工程实用价值。     

基于光流场与语义特征融合的心脏Cine-MRI左心室心肌分割方法

由于运动原因会造成活体心脏MRI图像中左心室心内膜与心肌边缘轮廓模糊,进而导致分割不准确以及分割精度较低,针对这些问题,本文提出一种基于光流场与语义特征融合的心脏4D Cine-MRI (magnetic resonance imaging)左心室心肌分割模型OSFNet.该模型包含了光流场计算和语义分割网络:将光流场计算得到的运动特征与图像语义特征进行融合,通过网络学习达到了最优的分割效果.模型采用编码器-解码器结构,本文提出的多感受野平均池化模块用于提取多尺度语义特征,减少了特征丢失;解码器部分使用了多路上采样方法和跳跃连接,保证了语义特征被有效还原.本文使用ACDC公开数据集对模型进行训练与测试,并分别与DenseNet和U-Net在左心室内膜分割、左心室内膜和心肌分割目标上进行对比.实验结果表明, OSFNet在Dice和HD等多个指标上取得了最佳效果.     

结合边缘检测的语义分割算法

针对语义分割中目标边缘模糊与分割不准确的问题,提出一种结合边缘检测的语义分割网络。整个网络由边缘检测网络和语义分割网络并行组成。利用边缘检测网络与语义分割网络分别提取图像的边缘特征和初步的语义分割特征,通过特征融合模块将边缘特征和语义分割特征进行融合,得到最终的语义分割结果。在CamVid数据集和Cityscapes数据集上的实验结果表明,与SegNet算法相比,该算法平均交并比分别提升了1.5和1.8个百分点,验证了所提算法的有效性。     

融合小样本元学习和原型对齐的点云分割算法

目的 针对点云分割需要大量监督信息所造成的时间成本高、计算效率低的问题，采用融合原型对齐的小样本元学习算法对点云进行语义分割，使模型能够在监督信息很少的情况下完成分割任务。方法 首先，为了避免小样本训练时易导致的过拟合问题，采用2个边缘卷积层（edge convolution layer，EdgeConv）与6个MLP （multilayer perceptron）交叉构造DGCNN （dynamic graph convolutional neural network），同时还保证了能充分学习到点云信息；然后，以N-way K-shot的形式将数据集输入上述网络学习支持集与查询集的特征，通过average pooling feature获取类别原型并融合原型对齐算法得到更为鲁棒的支持集原型；最后，通过计算查询集点云特征与支持集原型的欧氏距离实现点云分割。结果 在S3DIS （Stanford large-scale 3D indoor spaces dataset）、ScanNet和闽南古建筑数据集上进行点云语义分割实验，与原型网络和匹配网络在S3DIS数据集上进行比较。分割1-way时，平均交并比（mean intersection over union，mIoU）相比原型网络和匹配网络分别提高了0.06和0.33，最高类别的mIoU达到0.95；分割2-way时，mIoU相比原型网络提高了0.04；将DGCNN网络与PointNet++做特征提取器的对比时，分割ceiling和floor的mIoU分别提高了0.05和0.30。方法应用在ScanNet数据集和闽南古建筑数据集上的分割mIoU分别为0.63和0.51。结论 提出的方法可以在少量标记数据的情况下取得良好的点云分割效果。相比于此前需用大量标记数据所训练的模型而言，只需要很少的监督信息，便能够分割出该新类，提高了模型的泛化能力。当面临样本的标记数据难以获得的情况时，提出的方法更能够发挥关键作用。     

基于多分支网络的道路场景实时语义分割方法

针对目前实时语义分割方法存在大目标分割不准确、小目标信息丢失的问题,提出一种基于多分支网络的实时语义分割算法。首先,对双边分割网络进行优化,设计了金字塔分支扩大感受野,以覆盖视野内的大目标,充分地将上下文信息结合起来;其次,设计双边指导融合模块,为深层和浅层的特征映射提供指导信息,弥补小目标信息的损失。最后在Cityscapes数据集上进行验证,实验结果表明所提模型以51.3 fps的推理速度使平均交并比达到77.8%,与基准相比,精度提高了2.5个百分点。所提方法采用金字塔分支,在扩大感受野的同时,获取不同尺度的语义边缘区域特性,增强对语义边界的建模能力,且提出的双边指导融合模块可以更有效地融合不同层次的特征,弥补下采样造成的信息丢失,能够更好地指导模型学习。     

基于区块特征融合的点云语义分割方法

为降低室外大规模点云场景中多类三维目标语义分割的计算复杂度,提出一种融合区块特征的语义分割方法。采用方形网格分割方法对三维点云进行区块划分、采样以及组合,求取简化的点云组合区块集,将其输入至区块特征提取和融合网络中从而获得每个区块的特征修正向量。设计点云区块全局特征修正网络,以残差的方式融合特征修正向量与原始点云全局特征,修正因分割造成的错误特征。在此基础上,将方形网格分割尺寸作为神经网络的参数引入反向传播过程中进行优化,从而建立高效的点云语义分割网络。实验结果表明,反向传播算法可以优化分割尺寸至最佳值附近,所提网络中的全局特征修正方法能够提高语义分割精度,该方法在Semantic3D数据集上的语义分割精度达到78.7%,较RandLA-Net方法提升1.3%,且在保证分割精度的前提下其点云预处理计算复杂度和网络计算时间明显降低,在处理点数为10万~100万的大规模点云时,点云语义分割速度较SPG、KPConv等方法提升2~4倍。