融合低阶特征与全局特征的图像语义分割方法

目前,深度全卷积网络在图像语义分割领域已经取得了瞩目的成就,但特征图的细节信息在多次下采样过程中会大量损失,对分割精度造成影响。针对该问题设计了一个用于图像语义分割的深度全卷积网络。该网络采用“编码器-解码器”结构,在编码器后端引入空洞卷积以降低细节信息的损失,在解码过程中融合对应尺寸的低阶语义特征,并在解码器末端融入全局特征以提升模型的分割精度。使用数据增强后的CamVid数据集对网络进行训练和测试,测试结果达到了90.14%的平均像素精度与71.94%的平均交并比。实验结果表明,该网络能充分利用低阶特征与全局特征,有效提升分割性能,并在区域平滑方面有很好的表现。     

基于密集多尺度空洞卷积的脑胶质瘤图像语义分割方法

对脑胶质瘤核磁共振图像进行语义分割是医学图像处理的一个研究热点。目前的分割方法均使用池化层进行下采样，存在空间位置信息损失问题，导致分割结果不精确、无效计算量高。为了提高分割效果和计算效率，提出一种新的语义分割方法。该方法使用空洞卷积代替池化层，获得了信息更丰富的特征图，进行多尺度空洞卷积改进，消除空洞卷积中网格问题和边缘特征无效问题，使用密集连接获取不同尺度的特征，保证方法的鲁棒性并降低计算量。使用Brats2017的数据进行实验验证，结果表明，该方法在分割整体肿瘤区域和增强肿瘤区域时效果良好，dice相对性系数分别达到0.912和0.88。     

双层残差语义分割网络及交通场景应用

针对图像语义分割过程中特征提取网络的深度问题以及下采样池化层降低特征图分辨率等问题,提出了一种基于双层残差网络特征提取的图像语义分割网络,称为DResnet。首先提出一种双层残差网络,对训练集各目标的细节进行特征提取,提高网络对部分细节目标的感知能力;其次在Layer1层开始跳跃特征融合,并持续以2倍反卷积方法进行上采样操作,融合底层特征与高层特征,降低部分细节信息丢失对分割精度的影响;最后使用网络分支训练法,先训练图像上各目标的大致轮廓特征,在此基础上再训练各目标的细节特征。结果表明:该网络的平均交并比较全卷积网络相比,在CamVid上由49.72%提升至59.44%,在Cityscapes上由44.35%提高到47.77%,该网络得到准确率更高、分割物体边缘更加完整的图像分割结果。     

基于深度特征融合的图像语义分割

在图像语义分割中使用卷积网络进行特征提取时,由于最大池化和下采样操作的重复组合引起了特征分辨率降低,从而导致上下文信息丢失,使得分割结果失去对目标位置的敏感性。虽然基于编码器-解码器架构的网络通过跳跃连接在恢复分辨率的过程中逐渐细化了输出精度,但其将相邻特征简单求和的操作忽略了特征之间的差异性,容易导致目标局部误识别等问题。为此,文中提出了基于深度特征融合的图像语义分割方法。该方法采用多组全卷积VGG16模型并联组合的网络结构,结合空洞卷积并行高效地处理金字塔中的多尺度图像,提取了多个层级的上下文特征,并通过自顶向下的方法逐层融合,最大限度地捕获上下文信息;同时,以改进损失函数而得到的逐层标签监督策略为辅助支撑,联合后端像素建模的全连接条件随机场,无论是在模型训练的难易程度还是预测输出的精度方面都有一定的优化。实验数据表明,通过对表征不同尺度上下文信息的各层深度特征进行逐层融合,图像语义分割算法在目标对象的分类和空间细节的定位方面都有所提升。在PASCAL VOC 2012和PASCAL CONTEXT两个数据集上获得的实验结果显示,所提方法分别取得了80.5%和45.93%的mIoU准确率。实验数据充分说明,并联框架中的深度特征提取、特征逐层融合和逐层标签监督策略能够联合优化算法架构。特征对比表明,该模型能够捕获丰富的上下文信息,得到更加精细的图像语义特征,较同类方法具有明显的优势。     

基于多重感受野UNet的仪表图像分割方法

为解决现有深度学习图像分割算法不能有效分割指针仪表图像中密集小目标的问题,提出基于多重感受野UNet的仪表图像分割方法。将自编码器结构和空洞卷积结构结合,使多尺度浅层特征和深层语义信息融合;以多种光照强度下采集的指针仪表数据训练模型,充分提升神经网络的泛化能力;并行调节空洞卷积参数,使神经网络学习到最优模型。实验结果表明,算法显著提升了指针仪表图像中密集小目标的分割效果,有效泛化于不同光照强度下采集的同种指针仪表图像,验证了该模型的有效性。     

基于弱监督学习的医学图像分割方法研究

为提升针对医学图像的弱监督语义分割性能,本文从种子线索的生成出发,在CAM网络训练中引入多空洞卷积率的空洞卷积,以从图像级别的标注中产生密集位置预测,扩大响应范围。实验证明本文提出的分割模型在CAMELYON16数据集上能得到10个百分点的提升,并通过实验结果图证明本文模型可在仅有图像及标签已知的情况下为医生的诊断提供参考。     

基于神经网络的遥感图像海陆语义分割方法

针对海陆语义分割中陆地、码头形状多样,背景目标复杂等情况造成的像素分类错误、边界分割模糊等问题,提出了一种新的基于深度卷积神经网络的遥感图像海陆语义分割方法。该方法以端对端的训练方式实现了对目标的逐像素分类,为了解决海陆分割中像素分类错误,设计以不同尺度图像为输入的三个并行的编码结构,通过融合不同尺度的特征图,丰富特征代表算子的语义信息,增大像素分类准确率。为了解决海陆分割中边界分割模糊,通过设计能够融合编码结构中低层精细位置信息的解码结构,对特征图进行更加精确的上采样,恢复像素的密集位置信息,提高海陆分割准确度。为有效验证所提网络框架的优势,构建了海陆分割数据集HRSC2016-SL进行算法性能比较。与最新的语义分割算法相比,所提算法取得了更好的分割结果。     

基于串联空洞卷积神经网络的网球场景语义分割

室外网球场实景环境下的语义分割是开发网球运动服务机器人需要解决的一项关键技术.针对室外网球场环境由于光照、视角等因素的变化导致难以进行精细分割的问题,提出一种基于Deeplabv3架构的串联空洞卷积神经网络SACNet.该模型扩展了空洞卷积的多尺度模块,通过奇偶混合扩张率增大训练中特征图感受野,利用分组卷积减小SACNet模型时空复杂度.为克服小样本训练容易过拟合的问题,在经过预训练残差神经网络ResNet-50的基础上,通过冻结批量归一化(BN)层进行迁移学习.在自制小样本网球场数据集上进行实验结果表明,SACNet比现有Deeplabv3模型在测试精度提高了10.22%,且对于网球场边界和小目标语义分割结果更加准确.     

基于边缘信息增强的前列腺MR图像分割网络

目的 前列腺图像精确分割对评估患者健康和制定治疗方案至关重要。然而传统U-Net模型在前列腺MR(magnetic resonance)图像分割上存在过拟合、边缘信息丢失等问题。针对上述问题,提出一种改进的U-Net 2D分割模型,旨在增强边缘信息、降低噪声影响,进而提高前列腺分割效果。方法 为缓解过拟合现象,新模型通过对标准U-Net架构进行修改,将普通卷积替换为深度可分离卷积,重新设计编码器和解码器结构,降低模型参数量;为保存分割结果中的边缘信息,新模型通过ECA(efficient channel attention)注意力机制对U-Net解码器特征进行优化,以放大并保存小尺度目标的信息,并提出边缘信息模块和边缘信息金字塔模块,恢复并增强边缘信息,以缓解频繁下采样带来的边缘信息衰退以及编码器和解码器特征之间的语义差距问题;利用空洞空间金字塔池化（atrous spatial pyramid pooling,ASPP）模块对特征进行重采样,扩大感受野,以消除特征噪声。结果 在PROMISE12(prostate MR image segmentation 2012)数据集上验证模型...     

基于空洞卷积神经网络的噪声水平可调的高斯去噪方法

基于深度学习的图像去噪方法在使用空洞卷积神经网络时,去噪后的图像容易在尖锐边缘生成伪像,并且为了处理不同的噪声水平,需要训练多个特定的去噪模型.对此文中提出基于空洞卷积神经网络的噪声水平可调的高斯去噪方法.加入噪声水平图,实现噪声水平可调性,并使用改善的空洞卷积及可逆的下采样技术,缓解由于传统空洞卷积带来的图像尖锐边缘的伪成像问题.将下采样的子图与相应的噪声水平图都输入到非线性映射模型中,并使用改善后的减小空洞率的神经网络进行训练.实验表明,文中方法在获得GPU加速的同时具有调节噪声水平的能力,能够改善尖锐边缘的伪像问题,保留更多图像细节     

基于深度感知特征提取的室内场景理解

从深度图RGB-D域中联合学习RGB图像特征与3D几何信息有利于室内场景语义分割,然而传统分割方法通常需要精确的深度图作为输入,严重限制了其应用范围。提出一种新的室内场景理解网络框架,建立基于语义特征与深度特征提取网络的联合学习网络模型提取深度感知特征,通过几何信息指导的深度特征传输模块与金字塔特征融合模块将学习到的深度特征、多尺度空间信息与语义特征相结合,生成具有更强表达能力的特征表示,实现更准确的室内场景语义分割。实验结果表明,联合学习网络模型在NYU-Dv2与SUN RGBD数据集上分别取得了69.5%与68.4%的平均分割准确度,相比传统分割方法具有更好的室内场景语义分割性能及更强的适用性。     

融合深度信息的室内场景分割算法

针对室内复杂场景中, 图像语义分割存在的特征损失和双模态有效融合等问题, 提出了一种基于编码器-解码器架构的融合注意力机制的轻量级语义分割网络. 首先采用两个残差网络作为主干网络分别对RGB和深度图像进行特征提取, 并在编码器中引入极化自注意力机制, 然后设计引入双模态融合模块在不同阶段对RGB特征和深度特征进行有效融合, 接着引入并行聚合金字塔池化以获取区域之间的依赖性. 最后, 采用3个不同尺寸的解码器将前面的多尺度特征图进行跳跃连接并融合解码, 使分割结果含有更多的细节纹理. 将本文提出的网络模型在NYUDv2数据集上进行训练和测试, 并与一些较先进RGB-D语义分割网络对比, 实验证明本文网络具有较好分割性能.     

显著性引导及不确定性监督的深度编解码网络

基于U-Net的编码-解码网络及其变体网络在医学图像语义分割任务中取得了卓越的分割性能.然而,网络在特征提取过程中丢失了部分空间细节信息,影响了分割精度.另一方面,在多模态的医学图像语义分割任务中,这些模型的泛化能力和鲁棒性不理想.针对以上问题,本文提出一种显著性引导及不确定性监督的深度卷积编解码网络,以解决多模态医学图像语义分割问题.该算法将初始生成的显著图和不确定概率图作为监督信息来优化语义分割网络的参数.首先,通过显著性检测网络生成显著图,初步定位图像中的目标区域;然后,根据显著图计算不确定分类的像素点集合,生成不确定概率图;最后,将显著图和不确定概率图与原图像一同送入多尺度特征融合网络,引导网络关注目标区域特征的学习,同时增强网络对不确定分类区域和复杂边界的表征能力,以提升网络的分割性能.实验结果表明,本文算法能够捕获更多的语义信息,在多模态医学图像语义分割任务中优于其他的语义分割算法,并具有较好的泛化能力和鲁棒性.     

一种改进的室内场景语义分割网络

针对目前室内场景语义分割网络无法很好融合图像的RGB信息和深度信息的问题,提出一种改进的室内场景语义分割网络。为使网络能够有选择性地融合图像的深度特征和RGB特征,引入注意力机制的思想,设计了特征融合模块。该模块能够根据深度特征图和RGB特征图的特点,学习性地调整网络参数,更有效地对深度特征和RGB特征进行融合;同时使用多尺度联合训练,加速网络收敛,提高分割准确率。通过在SUNRGB-D和NYUDV2数据集上验证,相比于包含深度敏感全连接条件随机场的RGB-D全卷积神经网络（DFCN-DCRF）、深度感知卷积神经网络（Depth-aware CNN）、多路径精炼网络（RefineNet）等目前主流的语义分割网络,所提网络具有更高的分割精度,平均交并比（mIoU）分别达到46.6%和48.0%。     

深度学习单目深度估计研究进展

单目深度估计是从单幅图像中获取场景深度信息的重要技术,在智能汽车和机器人定位等领域应用广泛,具有重要的研究价值。随着深度学习技术的发展,涌现出许多基于深度学习的单目深度估计研究,单目深度估计性能也取得了很大进展。本文按照单目深度估计模型采用的训练数据的类型,从3个方面综述了近年来基于深度学习的单目深度估计方法：基于单图像训练的模型、基于多图像训练的模型和基于辅助信息优化训练的单目深度估计模型。同时,本文在综述了单目深度估计研究常用数据集和性能指标基础上,对经典的单目深度估计模型进行了性能比较分析。以单幅图像作为训练数据的模型具有网络结构简单的特点,但泛化性能较差。采用多图像训练的深度估计网络有更强的泛化性,但网络的参数量大、网络收敛速度慢、训练耗时长。引入辅助信息的深度估计网络的深度估计精度得到了进一步提升,但辅助信息的引入会造成网络结构复杂、收敛速度慢等问题。单目深度估计研究还存在许多的难题和挑战。利用多图像输入中包含的潜在信息和特定领域的约束信息,来提高单目深度估计的性能,逐渐成为了单目深度估计研究的趋势。     

弱监督语义分割的对抗学习方法

大多数弱监督语义分割的解决方案都利用图像级监督信息产生的类激活特征图进行训练学习.类激活特征图只能发现目标最具判别力的部分,它与真实的像素级标签信息存在较大差距,所以训练效果并不理想.对来自原图像及其仿射变化图像的类激活特征图进行对抗学习来达到更好的训练效果.首先将图像及对其进行仿射变化得到的图像输入孪生网络,使用图像级分类标签得到各自的类激活特征图,然后将这两组类激活特征图输入辨别网络进行对抗学习,训练孪生网络使得原图像与其仿射变化图像的类激活特征图逼近,从而有效利用等变注意力机制,学习更多的有效信息并缩小类激活特征图和真实的像素级标签之间的差距,提高弱监督的性能.在PASACAL VOC 2012数据集上,在验证集上的平均交并比为63.7％,测试集上的平均交并比为65.7％,与当前其他先进弱监督语义分割的方法进行对比,验证集与测试集上的平均交并比提高了1.2％和1.3％.该对抗性学习方案能有效利用等变注意力机制,学习更多的有效信息并缩小类激活特征图和真实的像素级标签之间的差距,提高弱监督的性能且达到了良好的分割效果.     

基于反卷积特征学习的图像语义分割算法

随着深度学习的发展,语义分割任务中许多复杂的问题得以解决,为图像理解奠定了坚实的基础.本文算法突出表现在两个方面,其一是利用反卷积网络,对卷积网络中不同深度的卷积层提取到的多尺度特征进行融合,之后再次通过反卷积操作对融合后的特征图进行上采样,将其放大到原图像的大小,最后对每个像素进行语义类别的预测.其二为了提升本文网络结构的性能,提出一种新的数据处理方式,批次中心化算法.经过实验验证,本文算法在SIFT-Flow数据集上语义分割的平均准确率达到45.2%,几何分割的准确率达到96.8%,在PASCAL VOC2012数据集上语义分割的平均准确率达到73.5%.     

基于U-Net的高分辨率遥感图像语义分割方法

图像分割是遥感解译的重要基础环节,高分辨率遥感图像中包含复杂的地物目标信息,传统分割方法应用受到极大限制,以深度卷积神经网络为代表的分割方法在诸多领域取得了突破进展。针对高分辨遥感图像分割问题,提出一种基于U-Net改进的深度卷积神经网络,实现了端到端的像素级语义分割。对原始数据集做了扩充,对每一类地物目标训练一个二分类模型,随后将各预测子图组合生成最终语义分割图像。采用了集成学习策略来提高分割精度,在“CCF卫星影像的AI分类与识别竞赛”数据集上取得了94%的训练准确率和90%的测试准确率。实验结果表明,该网络在拥有较高分割准确率的同时还具有良好的泛化能力,能够用于实际工程。