基于深度学习的点云语义分割研究综述

点云作为一种重要的三维数据类型,在自动驾驶、机器人、虚拟及增强现实等人工智能方面应用广泛。点云语义分割是点云处理中的关键任务,旨在将点云中的每个点分配给特定的语义类别。综述了国内外基于深度学习的点云语义分割的研究进展。首先,总结了点云语义分割中常用的开源数据集,并介绍了间接基于点云和直接基于点云的深度学习处理方法及其应用进展。此外,给出了这些方法的实验结果,并对他们进行了简要对比。最后,对当前点云语义分割所存在的问题进行了探讨,并提出了未来的研究发展方向。     

基于位置自适应的三维点云处理模型

在点云处理领域中深度学习是一种主流的方法,但是现有方法对三维点云的局部结构信息利用不够充分,对局部形状感知较差。为此,提出了一种基于改进PoinetNet的三维点云处理模型,本模型将位置自适应卷积引入到PointNet中。位置自适应卷积采用动态的方式组合权重库中的权重矩阵来构造核函数,其中权重矩阵的系数是通过位置相对系数网络从点与点相对位置自适应学习得到的。通过此方式构建的核函数,可以更好地解决点云数据的不规则性和无序性问题。位置自适应网络在三维物体分类实验上分类准确率相较于PointNet提升3.60%,在三维物体零件分割实验上平均交并比相较于PointNet提升2.20%,在三维场景语义分割实验上平均交并比相较于PointNet提升9.14%。     

基于三维卷积神经网络的肺结节分类

为提高不易分割诊断的毛玻璃结节的分类准确率,同时针对VGG16网络结构卷积层数深,参数多的问题,提出一种基于灰度增强、纹理和形状滤波增强的三维深度卷积神经网络用于肺结节分类.对VGG16网络结构进行优化,提出的模型在肺结节公开数据集LIDC-IDRI上进行训练和测试.结果表明,采用灰度增强、纹理和形状滤波增强相结合的方...     

一种用于自动驾驶场景的轻量级语义分割网络

在自动驾驶场景下,针对语义分割模型在车载硬件设备中部署时内存受限且算力不足的问题,需要设计一种较好权衡效率和精度的语义分割模型。采用单分支网络结构,设计了一个轻量级多尺度双向注意力网络。为了实现高效的特征提取,设计了一种轻量级卷积单元来构成网络的特征提取骨干。为了较好地定位和分割道路场景中尺度差异较大的物体,提出了一种多尺度双向注意力模块。它具有全局多尺度感受野,并且在沿一个方向编码通道注意力的同时保留了另一个方向的空间位置信息。基于该注意力模块,设计了跳跃注意力连接模块和特征注意力融合模块,使得输出特征兼具细节信息和语义信息。模型在Cityscapes数据集上以0.9M的参数量,取得了71.86%的平均交并比,同时在单个RTX2080Ti GPU下实现了88FPS的推理速度。实验结果表明,该模型能够实现较高的分割精度,适用于车载硬件下的部署和应用,具有一定的实用价值。     

基于跨本体语义相关的三维模型检索方法

针对某些特定领域的建模中单一的语义检索条件无法得到理想的检索结果,提出了基于跨本体的语义相关度进行检索的算法。首先构建相关领域的本体,然后对已有实例进行分析,通过聚类算法找出模型本体间具有相关性的属性。再通过调查获取用户对实例的评价数据,对深度信念网络进行训练,求出本体间相关语义属性的相关度权值。最终对模型库中的模型计算与检索模型间的相关度作为检索条件,将大于一定阈值的模型作为检索结果。应用该算法,用户一般在检索首页可以找到较满意的模型,大大缩短了检索的时间。     

一种改进深度卷积生成对抗网络的人脸分割方法

在智能算法领域,人脸识别是一个重要的算法部分,而人脸分割又是人脸识别的一个重要组成部分。提出一种基于改进的深度卷积生成式对抗网络的人脸分割方法,将端到端的图像变换模式应用于生成器中,利用生成器对人脸图像进行分割。深度卷积生成式对抗网络将卷积层加入到生成器和判别器,使得生成器通过反卷积产生图像,而文中在反卷积之前再加入卷积层,组合形成全卷积的网络结构,将生成器的图像生成功能扩展成为语义分割功能。同时,生成器的输入原图和输出标签的通道组合作为判别器的判别对象,通过判别器来评判分割水平,进一步提高分割的标签与输入原图的关联性。经过多次实验,验证此方法能有效分割人脸主要区域。     

基于残差SegNet模型的高分辨率遥感影像分类方法

为解决深度语义模型(SegNet)在高分辨率遥感影像分类中易出现梯度消失从而影响分类精度的问题,提出一种残差学习改进SegNet语义模型(ResSegNet)的高分辨率遥感影像分类方法,该方法以SegNet语义模型为基础,通过构建更深层次的网络结构并加入残差块以提高模型的特征提取能力,从而提取更深层次影像空谱特征实现分类。利用高分辨率遥感影像语义分割数据集Vaihingen和Postdam进行实验验证,结果表明：相比于支持向量机、面向对象决策树法、传统卷积神经网络和SegNet语义模型分类方法,提出的ResSegNet分类方法的总体精度均最高,分别为89.18%和87.62%,分类效果和分类精度最优。     

基于Multiscale CNN的齿痕舌识别研究

齿痕舌是中医舌诊的一个重要指标。建立的多尺度卷积神经网络由多尺度特征图生成、候选区域搜索、目标区域识别模块组成,实现对轻、中、重3种程度齿痕实例分割与目标区域提取。实验结果表明,齿痕实例分割的精确度高,适用于中医智能舌诊系统应用。     

基于深度学习的人体解析研究综述

人体解析的任务是对图片中人物进行像素级识别,将人体各部位和衣物配饰进行归类。该文从基础技术、数据集和评价标准、技术现状3个方面概述了基于深度学习的人体解析技术。首先,介绍了人体解析涉及的基础技术:卷积神经网络、语义分割。其次,从图像数量、类别数目、优缺点等角度,对比了人体解析领域的8种主流数据集;并介绍了4种常用的评价指标。最后,介绍了4种具有代表性的基于深度学习的人体解析方法:基于特征增强、基于人体结构、基于多任务学习、基于生成对抗网络,并归纳了实例人体解析的解决方案,提出了一些尚待发掘的研究思路。     

基于两阶段区域生长法的肝内血管分割算法分析

为了在缺乏大量肝血管标注信息的情况下增强肝血管结构分割, 提出了局部-长距离-相邻信息融合模块, 并将其嵌入U-Net的编码阶段, 得到一种基于结构感知的肝血管分割网络。该模块有3个分支: 提取特征图局部信息的残差卷积模块, 利用自注意力机制提取特征图的全局信息的长距离提取模块, 以及利用相邻切片补充上下文信息的相邻信息提取模块。通过将以上3个分支模块的输出特征图进行融合, 可以有效提升网络的血管结构感知能力, 缓解2D网络无法表征血管立体走向与3D网络训练数据不足的问题。分别在MICCAI十项全能数据集中的肝血管与肿瘤数据集和三甲医院收集标注的自采肝血管数据集上进行了广泛的对比实验。结果表明, 与多种主流的分割算法相比, 该算法取得了最优的血管分割性能。所提出的方法在MICCAI数据集上Dice值达到64.04%, 在自采肝血管数据集上Dice值达到了72.07%。

     

基于U2Net的自动抠图技术研究

针对计算机视觉领域当中的抠图问题,提出了一种基于U2Net的自动抠图技术,以快速、准确地分离图像中的前景和背景。研究采用深度学习模型,通过学习图像中前景和背景的差异来实现高效、精准的抠图过程。在实验过程中,使用经过预训练的U2Net模型来进行抠图,采用均分误差等通用的抠图效果评价指标对结果进行评判,较其他抠图技术表现出更优的效果。实验表明,在各种复杂场景下,该技术展现出良好的抠图效果,并且具备更高的准确率和更快的处理速度。同时该技术在图像编辑、计算机视觉、医疗影像等多个领域都有广泛的应用前景。     

基于深度学习图像语义分割的机器人环境感知

基于深度学习图像语义分割模型SegNet,提出了一种基于深度学习的实时图像语义分割框架RT-SegNet(Real time segmentation network)。框架分为3个阶段:编码阶段、解码阶段和降维阶段。在编码阶段,提出了一种跨层叠加特征图的方法(Feature map skip superposition,FMSS)来提升特征提取效果;在解码阶段,设计了新的轻量化解码器(Light decoder,LD)结构,减少了卷积层数量,以加快模型训练与预测速度;在降维阶段,提出了卷积降维方法(Dimension reduced module,DRM)将编码器与解码器逐层连接,增强解码器效果。与原始SegNet模型相比,RT-SegNet模型在公共数据集Cityscapes、SUN RGB-D、CamVid、KITTI和作者自行标注的数据集JLUData上平均交叉联合度量分别提升了3.2%、1.8%、5.3%、14.6%、6.8%。     

基于膨胀卷积网络的端到端文档语义分割

本文采用膨胀卷积网络,实现端到端从文档图像中提取语义结构.膨胀卷积的优势在于提取多尺度上下文信息的同时,并不会损失空间分辨率.该模型使用带残差的膨胀卷积网络提取图像特征,并预测每个像素的类别标签.卷积部分作为特征提取器,能够获得多维度层级图像特征,反卷积部分输出全分辨率的语义预测结果.每个像素的概率值决定其语义类别标签...     

基于神经网络的超声医学图像自动分割

图像分割是多维超声医学图像重建中最重要和最困难的问题。文中将传统的最近邻分类方法与自组织神经网络相结合,提出了一种超声医学图像的自动分割方法。实验表明,与传统的K平均方法相比,该方法除具有自动分割优点外,还具有稳定性好,自适应强,分割准确等优点。     

基于改进EMA单元的传统服饰图像语义分割

针对传统服饰图像分割中标签易混淆和小目标易丢失带来的目标边缘细节难以保留等问题,提出了一种基于卷积注意力特征的残差期望最大化注意力语义分割网络模型。该模型首先以ResNeXt-50作为共享特征的主干网络,并通过在特征提取阶段引入一组平行的卷积注意力模块,可以有效地抑制无效特征,使目标区域的特征更加显著。然后利用残差思想对期望最大化注意力（EMA）单元进行优化,以解决迭代过程中梯度爆炸或者消失的问题,从而更好地建立特征图中位置间的关联,最终实现基于显著性融合学习的语义分割模型。最后在传统民族服饰数据集上通过定性与定量的实验验证了所提模型的有效性,其中平均交并比分割指标达到83.91%,取得了同类算法中最优效果。     

基于修正标签分布的乳腺超声图像分类

针对乳腺超声图像分类中的标签噪音问题,该文设计了一种协作标签修正网络(COLC-Net)。该方法基于乳腺超声BI-RADS评级噪音分布特点,为乳腺超声图像定义了软标签,并设计了双网络协作训练,以蒸馏优秀知识修正软标签。随着软标签准确性的增加,可以降低噪音标签负作用,并增强准确标签知识的学习。与现有最新方法进行比较,结果证实了该方法具有更好的效果。     

基于移动窗口注意力机制和编码解码器的肺结节分类方法

针对肺结节分类方法仍存在缺乏推理过程的可解释性和判别性特征表示等问题,提出了一个基于移动窗口注意力机制和编码解码器肺结节分类方法(SWAC)来对图像进行特征提取。该模型结合了卷积神经网络(CNN)和移动窗口注意力机制的优势,通过关注结节分类所必需的区域进行结节分类,有效地提取了结节的浅层特征和深层特征。该卷积神经网络引入了Focal损失函数,对网络主干进行特征约束来关注难分类样本,以此提升网络的判别表征能力。在LIDC-IDRI数据集上通过消融实验分析了该方法中各部分的贡献和影响,结果表明,SWAC分类方法具有优异的性能。     

一种改进DeeplabV3网络的烟雾分割算法

由于现有的烟雾检测方法大多依靠手工选取特征,往往不能准确地分割出视频图像中的烟雾区域。基于此,提出了改进的DeeplabV3烟雾分割算法。改进的算法在基础编码器网络后添加了特征细化模块来削弱空洞卷积带来的网格效应;针对烟雾这类尺度和姿态多变的非刚性目标,在带有空洞卷积的空间金字塔模块中引入可变形卷积来更好地学习烟雾的形变;为了进一步恢复烟雾的空间细节,提出了通道注意力解码器模块。在烟雾图片数据集的测试下,改进后的模型平均每张图片的预测时间约达到71.73ms,平均像素精确度约达到97.78%,平均交并比约达到91.21%,精度与DeeplabV3模型相比分别提高了0.56%及2.17%,更加适用于烟雾分割。公开的烟雾视频测试结果表明,该模型的检测率高于现有的视频烟雾检测算法,具有一定的实用价值。