基于DeepLabV3+与超像素优化的语义分割

针对基于深度学习的DeepLabV3+语义分割算法在编码特征提取阶段大量细节信息被丢失,导致其在物体边缘部分分割效果不佳的问题,本文提出了基于DeepLabV3+与超像素优化的语义分割算法。首先,使用DeepLabV3+模型提取图像语义特征并得到粗糙的语义分割结果;然后,使用SLIC超像素分割算法将输入图像分割成超像素图像;最后,融合高层抽象的语义特征和超像素的细节信息,得到边缘优化的语义分割结果。在PASCAL VOC 2O12数据集上的实验表明,相比较DeepLabV3+语义分割算法,本文算法在物体边缘等细节部分有着更好的语义分割性能,其mIoU值达到83.8%,性能得到显著提高并达到了目前领先的水平。     

动态场景下基于光流的语义 RGBD-SLAM 算法

为解决传统的同时定位与建图算法在复杂动态环境下容易受到动态目标干扰而导致定位精度差和建图错误的问题,提 出了一种动态场景下基于光流的语义 RGBD-SLAM 算法。 首先,通过优化的二维相邻帧透视矫正方法,对当前帧进行透视矫正 以补偿相机运动;然后,将矫正后的图像输入 RAFT-S 网络中,在获得低分辨率的稠密光流场后提取动态目标的掩码,并根据上 一帧掩码中动态目标的位置和速度信息,对当前掩码中的动态区域进行跟踪和优化,从而提取动态目标在每一帧中的精确区 域;最后,分离静态和动态特征点,通过最小化静态特征点的重投影误差,得到优化后的相机位姿,并结合轻量级语义分割网络 BiSeNetv2 提供的语义信息和相机提供的深度信息,构建无人的静态语义八叉树地图。 公开数据集 TUM 上的测试结果表明,本 文算法的绝对轨迹误差相对于 ORB-SLAM2 减少了 90% 以上,并能获取精确的动态区域掩码以及准确的语义地图,验证了该算 法在复杂动态场景中具有良好的定位精度和鲁棒性。     

基于深度学习的铸件 CT 图像分割算法

针对现有方法分割弱边缘铸件 CT 图像难度大、精度低、鲁棒性差的问题,提出一种融合残差模块与混合注意力机制的 U 型网络分割算法(AttRes-U-Nets)。 该算法以 U-Net 网络为基础,首先构建深度残差网络 ResNets 作为算法的编码网络,解决 传统 U-Net 网络特征提取能力不足的问题;然后,引入改进后的混合注意力机制,突出分割目标区域与通道的特征响应,提高网 络灵敏度;最后,将 Focal loss 与 Dice loss 结合为一种新损失函数 FD loss 缓解样本不平衡带来的负面影响。 使用 120 阀体数据 集对算法性能进行验证,实验结果表明,本文算法对铸件分割的像素准确率(PA)和交互比( IoU)分别达到 98. 72% 和 97. 40% , 优于传统 U-Net 算法与其他主流语义分割算法,为弱边缘分割提供了新思路。     

一种双分支结构的图像语义分割算法

图像语义分割需要精细的细节信息和丰富的语义信息,然而在特征提取阶段,连续下采样操作会导致图像中物体的空间细节信息丢失。为解决该问题,提出一种双分支结构语义分割算法,在特征提取阶段既能有效获取丰富的语义信息又能减少物体细节信息的丢失。该算法的一个分支使用浅层网络保留高分辨率细节信息有助于物体的边缘分割,另一个分支使用深层网络进行下采样获取语义信息有助于物体的类别识别,再将两种信息有效融合可以生成精确的像素预测。通过Cityscapes数据集和CamVid数据集上的实验验证,与现有语义分割算法相比,所提算法在较少的参数条件下,获得了较好的分割效果。     

基于多路径网络的权值调整图像语义分割算法

为提高图像语义分割准确程度,针对场景解析中类别边缘分辨清晰度,提出了一种基于多路径网络的权值调整图像语义分割算法。通过引入多路径网络和权值调整并对图像场景中的物体类别具有的特征进行分析,提高图像的语义分割的准确程度;通过采用ADE20K数据集进行训练,提高边缘信息的分割效果,使模型具有更好的泛化能力。此算法加快了网络收敛速度。     

采用深度级联卷积神经网络的三维点云识别与分割

三维目标识别和模型语义分割在自动驾驶、机器人导航、3D打印和智能交通等领域均有着广泛应用。针对PointNet++未能结合三维模型的上下文几何结构信息的问题,提出一种采用深度级联卷积神经网络的三维点云识别与分割方法。首先,通过构建深度动态图卷积神经网络捕捉点云的深层语义几何特征;其次,通过将深度动态图卷积神经网络作为深度级联卷积神经网络的子网络递归地应用于输入点集的嵌套分区,以充分挖掘三维模型的深层细粒度几何特征;最后,针对点集特征学习中的点云采样不均匀问题,构建一种密度自适应层,利用循环神经网络编码每个采样点的多尺度邻域特征以捕捉上下文细粒度几何特征。实验结果表明,本算法在三维目标识别数据集ModelNet40和MoelNet10上的识别准确率分别为91.9%和94.3%,在语义分割数据集ShapeNet Part,S3DIS和vKITTI上的平均交并比分别为85.6%,58.3%和38.6%。该算法能够提高三维点云目标识别和模型语义分割的准确率,且具有较高的鲁棒性。     

实时的移动机器人语义地图构建系统

语义信息可以使机器人更充分地理解未知环境,为更高级的人机交互和完成更复杂的任务奠定基础。为了能够使移动机器人实时地创建语义地图,在Jetson TX1嵌入式电脑上开发了一种轻量级的深度学习目标检测模型,在保证了检测精度的同时,实现了高效的目标检测功能。并利用了视频流中的帧间光流信息,使用运动信息指导传播算法降低检测算法的漏检率。对于Kinect传感器生成的深度图像有黑边、黑洞等缺陷,使用统一计算设备架构(CUDA)技术开发了一种实时的深度图像修复算法。利用即时定位与地图构建(SLAM)技术,实现移动机器人底层的定位、导航、地图创建功能,并在此基础上使用贝叶斯推理框架,同时融合了环境的度量信息与视觉识别信息完成了语义地图的创建。经过实验表明,所提出的方法在实际的、复杂的室内环境下可以使移动机器人实时地创建语义地图。     

利用卷积神经网络的自动驾驶场景语义分割

图像语义分割是现代自动驾驶系统的一个必要部分,因为对汽车周围场景的准确理解是导航和动作规划的关键。为提高自动驾驶场景的图像语义分割准确率,且考虑到当下流行的基于卷积神经网络的语义分割模型(DeepLab v3+)无法有效地利用注意力信息,导致分割边界粗糙等问题,提出一种融合底层像素信息与通道、空间信息的语义分割神经网络。在卷积神经网络中插入注意力模块,提取出图像语义级别的信息,通过学习图像的位置信息和通道信息得到更加丰富的特征;从卷积神经网络输出的各类别得分值计算出单点势能,且从初步分割图和原图得到成对势能,以便全连接条件随机场对图像的全部像素进行建模,并且优化图像的局部细节;全连接条件随机场通过迭代得到语义分割的最终结果。在CityScapes数据集上进行了测试,与DeepLab v3+相比较,改进后的模型分别提高了均交并比和均像素精度等关键指标1.07%和3.34%。它能够更加精细地分割目标,较好地解决分割边界粗糙,有效地抑制边界区域分割的过度平滑和不合理孤岛等问题。     

基于语义分割的复杂场景下的秸秆检测

基于阈值或纹理分割的秸秆覆盖率检测算法,存在准确性低、复杂度高、运行耗时长等问题,且对含有大量干扰因素的复杂农田场景分割效果不佳。本文提出了一种检测准确度高、训练参数少且运行速度快的语义分割算法(DSRA-UNet)。该算法结合UNet的对称编-解码架构,在浅层特征图使用标准卷积,深层采用深度可分离卷积,并在每一层增加残差结构来加大网络深度,以降低参数量的同时提高精度。此外,在跳级连接过程增加全局最大池化注意力机制,进一步提高网络的分割精度。将算法在秸秆数据集上进行验证,实验结果表明本文所提算法平均交并比达到94.3%,训练参数量仅为0.76 M,单张图片测试时间在0.05 s以下。该算法可以精准分割出秸秆和土壤,并可在复杂环境下将干扰信息分割出,可在一定程度上解决图像中的阴影问题。     

语义分割网络的 FPGA 加速计算方法综述

随着深度学习技术的发展和图像场景理解需求的提升,基于现场可编程门阵列(field programmable gate array, FPGA)部署语义分割网络,为用户提供低延迟、高能效的边缘端智能服务成为研究热点。针对语义分割网络结构中计算和存储密集型特点,构建基于FPGA的定制计算结构是研究的重点问题。鉴于此,本文在归纳总结语义分割网络基本原理和计算结构特点的基础上,分别从面向硬件资源约束的模型压缩方法和定制硬件架构设计两个角度阐述基于FPGA的语义分割网络加速计算方法,并重点对硬件架构设计中的计算结构设计和内存访问优化的典型方法进行总结。最后,展望了语义分割网络FPGA加速计算方法的发展趋势,以期为语义分割、边缘计算、定制高能效计算以及其他相关领域的研究者提供设计参考。     

基于具有墙角信息的语义地图改进AMCL重定位算法

针对原始自适应蒙特卡洛定位（Adaptive monte carlo localization,AMCL）算法仅利用激光信息存在的缺陷,提出一种基于激光与视觉融合的语义地图进行全局定位,该语义地图融合基于深度学习的目标检测方法提取环境中的墙角语义;利用建立的包含墙角信息的二维语义栅格地图,结合视觉预定位方法及角点周围语义信息表来提高算法全局初始定位的效率和准确性,使得移动机器人可以在少量先验信息和运动的情况下更迅速地实现定位。提出视觉预定位的方法,改进了粒子权重更新方式,再同步结合AMCL算法与环境地图匹配进行精定位。最后通过搭建的移动机器人在不同场景下进行对比试验,验证了该方法的有效性。     

基于图像分割模型的执行末端视觉跟踪策略研究

微操纵执行器末端位置的精确反馈在显微自动化操作中具有重要意义,而现有研究无法克服在复杂干扰环境下执行器末端精确跟踪的问题。针对上述提到的问题,提出一种基于语义分割模型的执行器末端位置检测跟踪方法。首先构建端到端的执行器图像语义分割模型,其次利用轮廓拐点检测算法在分割出的掩模图像中跟踪执行器末端位置,为了进一步提高算法在复杂环境中的跟踪精度及鲁棒性,利用二维卡尔曼滤波算法对遮挡情况进行处理,实现了执行器末端被遮挡时的位置跟踪。实验结果表明语义分割模型对执行器分割精度达到了62.4%,并且在复杂环境中对执行器末端位置跟踪的最大平均误差为1.51 pixels,为提升微末端执行器的操纵精度提供基础。     

基于图像语义分割的物体位姿估计

为提高机器人在复杂场景中对物体的辨识与定位能力,提出一种基于图像语义分割技术的物体位姿估计方法。将RGBD传感器拍摄的RGB图像放入语义分割网络中,完成对图像的分割与物体分类;将分割出来的目标物体与深度图配准,得到目标物体点云图;将点云图与模型库中的模型运用ICP算法完成对物体的位姿估计。研究结果表明,该方法分割准确率可达82.26%,完成一次位姿估计时间1.35 s。     

基于Deeplabv3+和注意力机制的道路场景语义分割方法

在自动驾驶技术研究中,理解道路场景是提高驾驶安全性的保障.语义分割技术可以在像素级别上,将图片分割成与语义类别相关联的不同图像区域,可以辅助车辆感知、理解周围的道路环境信息,从而提高驾驶安全性.当下流行的语义分割模型Deeplabv3+在分割任务中,存在细小目标被漏分割以及外形相似物体容易被误判等现象,导致分割边界粗糙,精准度降低.针对此问题,在Deeplabv3+网络结构的基础上,结合注意力机制加重分割区域的权重,提出一种改进的Deeplabv3+融合注意力机制的道路场景语义分割方法.首先,在Deeplabv3+编码端引入一组并联的位置注意力模块和空间注意力模块,捕获更多空间上下文信息和高级语义信息.然后,在解码端引入注意力机制恢复空间细节信息,并对数据归一化处理,加快模型收敛速度.将不同方式引入注意力机制的模型分割效果进行对比,在CamVid数据集和Cityscapes数据集上进行了测试.实验结果表明,相比Deeplabv3+,改进后的模型分割准确度平均交并比在两个数据集上分别提升了6.88％和2.58％,效果优于Deeplabv3+.该方法不会明显加大网络计算量和复杂度,具有良好的分割速度和准确性的兼顾.     

双边特征聚合与注意力机制点云语义分割

机器视觉是环境感知的重要手段之一,是自动驾驶、机器人、工业检测等领域的研究热点,而点云数据的精细分析是其 中的一项关键技术。 针对大尺度真实场景点云数据分割精度低的问题,提出了一种适用于点云数据语义分割的网络结构。 首 先,构建了一个双边特征聚合结构,通过分别处理点云的几何信息和语义信息,达到充分利用点云特征信息的目的。 其次,使用 近邻特征的高维空间相关性计算点与点之间的相互作用,进行局部邻域的上下文信息增强。 提出了一种混合池化结构代替最 大值池化,减少信息损失,使用横向跨层池化连接来增强特征多样性。 最后,引入注意力机制提取全局特征,滤除尺度噪声,增 强特征在空间上的表现力。 实验结果表明,该方法在大尺度真实场景点云数据集 S3DIS 上的平均交并比为 68. 2% ,平均准确率 为 80. 7% ,比 PointNet 提高了 20. 6% 和 14. 5% ,客观指标优于已有的代表性方法。     

三维语义场景复原网络

从不完整的视觉信息中推断出物体的三维几何形状是机器视觉系统应当具备的重要能力,而识别出场景中物体的语义是机器视觉系统的核心。传统方法通常将二者分离实现,本文将场景复原与目标语义紧密结合,提出了一种三维语义场景复原网络模型,仅以单一深度图作为输入,实现对三维场景的语义分类和场景复原。首先,建立一种端到端的三维卷积神经网络,网络的输入是深度图,使用三维上下文模块来对相机视锥体内的区域进行学习,进而输出带有语义标签的三维体素;其次,建立了带有密集体积标签的合成三维场景数据集,用于训练本文的深度学习网络模型;最后通过实验表明,与现有的语义分类和场景复原方法相比,语义场景的复原接收区域增加了2.0%。结果表明:三维学习网络的复原性能良好,语义标注的准确率较高。