一种双分支结构的图像语义分割算法

图像语义分割需要精细的细节信息和丰富的语义信息,然而在特征提取阶段,连续下采样操作会导致图像中物体的空间细节信息丢失。为解决该问题,提出一种双分支结构语义分割算法,在特征提取阶段既能有效获取丰富的语义信息又能减少物体细节信息的丢失。该算法的一个分支使用浅层网络保留高分辨率细节信息有助于物体的边缘分割,另一个分支使用深层网络进行下采样获取语义信息有助于物体的类别识别,再将两种信息有效融合可以生成精确的像素预测。通过Cityscapes数据集和CamVid数据集上的实验验证,与现有语义分割算法相比,所提算法在较少的参数条件下,获得了较好的分割效果。     

基于DeepLabV3+与超像素优化的语义分割

针对基于深度学习的DeepLabV3+语义分割算法在编码特征提取阶段大量细节信息被丢失,导致其在物体边缘部分分割效果不佳的问题,本文提出了基于DeepLabV3+与超像素优化的语义分割算法。首先,使用DeepLabV3+模型提取图像语义特征并得到粗糙的语义分割结果;然后,使用SLIC超像素分割算法将输入图像分割成超像素图像;最后,融合高层抽象的语义特征和超像素的细节信息,得到边缘优化的语义分割结果。在PASCAL VOC 2O12数据集上的实验表明,相比较DeepLabV3+语义分割算法,本文算法在物体边缘等细节部分有着更好的语义分割性能,其mIoU值达到83.8%,性能得到显著提高并达到了目前领先的水平。     

基于跨层次聚合网络的实时城市街景语义分割

随着自动驾驶技术的迅速发展,精确高效的场景理解显得尤为重要。城市街景语义分割旨在准确识别并分割出行人、障碍物、道路和标志物等要素,为自动驾驶技术提供必要的道路信息。然而,当前的语义分割算法在城市街景分割中仍然面临一些挑战,主要表现为不同类别的像素区分不够清晰、对于复杂场景结构的理解不够精准以及对小尺度对象或大尺度结构的分割不准确等问题。为此,本文提出一种基于跨层次聚合网络的实时城市街景语义分割算法。首先,在编码器末端设计了结合跨层次聚合的金字塔池化模块,用于高效提取多尺度上下文信息;其次,在编码器和解码器之间设计了跨层次聚合模块,通过引入通道注意力机制增强信息的表征能力,逐级聚合编码器阶段的特征以充分实现特征复用;最后,在解码器阶段设计了多尺度融合模块,在通道维度聚合全局信息与局部信息,促进深层特征与浅层特征的融合。将所提算法在两个通用的城市街景数据集上进行了验证。在一张RTX3090显卡上（TensorRT测速环境）,本文算法在Cityscapes测试集以294 FPS的实时性达到73.0%mIoU的准确性,在更高分辨率的图像上以164 FPS的实时性达到75.8%mIoU的准确性;...     

语义分割网络的 FPGA 加速计算方法综述

随着深度学习技术的发展和图像场景理解需求的提升,基于现场可编程门阵列(field programmable gate array, FPGA)部署语义分割网络,为用户提供低延迟、高能效的边缘端智能服务成为研究热点。针对语义分割网络结构中计算和存储密集型特点,构建基于FPGA的定制计算结构是研究的重点问题。鉴于此,本文在归纳总结语义分割网络基本原理和计算结构特点的基础上,分别从面向硬件资源约束的模型压缩方法和定制硬件架构设计两个角度阐述基于FPGA的语义分割网络加速计算方法,并重点对硬件架构设计中的计算结构设计和内存访问优化的典型方法进行总结。最后,展望了语义分割网络FPGA加速计算方法的发展趋势,以期为语义分割、边缘计算、定制高能效计算以及其他相关领域的研究者提供设计参考。     

基于图像语义分割的物体位姿估计

为提高机器人在复杂场景中对物体的辨识与定位能力,提出一种基于图像语义分割技术的物体位姿估计方法。将RGBD传感器拍摄的RGB图像放入语义分割网络中,完成对图像的分割与物体分类;将分割出来的目标物体与深度图配准,得到目标物体点云图;将点云图与模型库中的模型运用ICP算法完成对物体的位姿估计。研究结果表明,该方法分割准确率可达82.26%,完成一次位姿估计时间1.35 s。     

基于深度学习的铸件CT图像分割算法

针对现有方法分割弱边缘铸件CT图像难度大、精度低、鲁棒性差的问题,提出一种融合残差模块与混合注意力机制的U型网络分割算法(AttRes-U-Nets)。该算法以U-Net网络为基础,首先构建深度残差网络ResNets作为算法的编码网络,解决传统U-Net网络特征提取能力不足的问题;然后,引入改进后的混合注意力机制,突出分割目标区域与通道的特征响应,提高网络灵敏度;最后,将Focal loss与Dice loss结合为一种新损失函数FD loss缓解样本不平衡带来的负面影响。使用120阀体数据集对算法性能进行验证,实验结果表明,本文算法对铸件分割的像素准确率(PA)和交互比(IoU)分别达到98.72%和97.40%,优于传统U-Net算法与其他主流语义分割算法,为弱边缘分割提供了新思路。     

基于深度卷积网络的图像边缘检测方法

边缘检测对于目标物体检测准确率非常重要,精确地分割图像目标是边缘检测的目的。为了有效地提取目标,提出一种基于深度卷积网络的图像边缘检测方法。该方法建立三层卷积网络,通过对大规模数据集Image Net图像进行深度学习,使卷积网络学习自然图像的边缘结构特征,从而能较好地区别目标轮廓和场景边缘。与传统的边缘检测算法相比,所提方法更加适合提取目标物体轮廓,有效抑制非目标物体的边缘,有助于后续的目标检测和分析。     

基于GrabCut的磨粒图像分割方法研究

提出基于GrabCut算法的彩色磨粒图像分割方法。在CIELab颜色空间的L、a、b通道采用大津阈值法(OSTU)进行分割,对分割结果进行"L与(a或b)"处理,并对处理结果进行形态学腐蚀和膨胀,得到标记出磨粒区域、可能的磨粒区域和背景区域的标记图像。根据标记图像分别对磨粒区域和背景区域的高斯混合模型(GMM)参数进行初始化,构建带权值的无向图映射原图像并建立包含区域项和边界项的Gibbs能量方程。通过迭代运算调整各像素点所属类别和高斯混合模型的参数,采用mincut/maxflow算法极小化能量函数,当能量趋于收敛时即可得到最终的分割结果。     

基于语义信息的陪护机器人定位鲁棒性研究

智能机器人与一般的工业生产机器人不同,智能机器人不是单一的执行固化的指令,而是追求更高层次的人机互融,实现自然的人机交互,故要求机器人清楚了解自身所处场景信息以及准确执行交互的意图。研究基于语义信息的机器人定位方法,当机器人采集到场景的RGB图像时,在深度卷积神经网络模型Mask-RCNN和MonoDepth的基础上对场景进行语义分割和深度预测,并通过获取的语义信息以及深度信息限定图像匹配范围,实现机器人的准确定位、场景语义分析以及自然人机交互。实验表明,该研究成功地获得机器人所处环境的语义信息和场景的深度信息以及提高了机器人的定位精度,从而实现了更加自然、准确的人机交互。     

基于混合模型和DAEM算法的自适应图像分割

图像分割是图像处理中最基本且具有挑战性的问题。基于高斯混合模型,提出了一种自适应的图像分割方法。采用DAEM(deterministicannealingexpectation-maximization)算法估计混合模型的参数,利用直方图信息确定图像的类别数并给出DAEM算法的初始值,最后根据Bayes最小错误率准则对图像进行分割。由于DAEM算法在传统的EM算法中引入了退火机制,DAEM算法能够收敛到全局最优值,使得分割结果更加准确。实验结果说明了此方法的有效性。     

基于语义分割的船闸水位检测方法研究

针对船闸水位传感器精度易受水质影响、传统图像检测方法适应性差等问题,提出一种基于语义分割和由粗到精策略的水位线检测方法,建立分段对照的标定模型计算水位。结合水位线长程相关性的特点,设计条带状空洞空间金字塔池化模块,针对分割边界模糊的问题,设计多路聚合上采样模块并引入在线困难样本挖掘,提升语义分割模型的分割精度。采用改进的语义分割模型在由原图像经压缩后的低分辨率图像中进行粗检测,分割图像中的水区域与非水区域,根据模型输出的掩膜图得到水位线的粗检测结果,然后在原图像中裁剪粗检测水位线的邻域并采用该模型进行精检测,得到水位线的精检测结果。建立分段对照的标定模型,获取像素坐标与世界坐标之间的映射关系,根据水位线精检测结果计算水位。在构建的水位图像数据集上进行试验,结果表明：在验证集上,改进后的语义分割模型粗检测和精检测的平均交并比分别提升了2.58%和1.98%,水位线精检测结果的平均像素误差为1.89 pixel,相比粗检测结果降低了52.3%,以水尺人工观测的读数为基准,摄像机在23 m工作距离下水位测量结果置信水平为95%的不确定度为0.026 m。所提方法对晴天、阴天、雨天、雪天等多种...     

基于Deeplabv3+和注意力机制的道路场景语义分割方法

在自动驾驶技术研究中,理解道路场景是提高驾驶安全性的保障.语义分割技术可以在像素级别上,将图片分割成与语义类别相关联的不同图像区域,可以辅助车辆感知、理解周围的道路环境信息,从而提高驾驶安全性.当下流行的语义分割模型Deeplabv3+在分割任务中,存在细小目标被漏分割以及外形相似物体容易被误判等现象,导致分割边界粗糙,精准度降低.针对此问题,在Deeplabv3+网络结构的基础上,结合注意力机制加重分割区域的权重,提出一种改进的Deeplabv3+融合注意力机制的道路场景语义分割方法.首先,在Deeplabv3+编码端引入一组并联的位置注意力模块和空间注意力模块,捕获更多空间上下文信息和高级语义信息.然后,在解码端引入注意力机制恢复空间细节信息,并对数据归一化处理,加快模型收敛速度.将不同方式引入注意力机制的模型分割效果进行对比,在CamVid数据集和Cityscapes数据集上进行了测试.实验结果表明,相比Deeplabv3+,改进后的模型分割准确度平均交并比在两个数据集上分别提升了6.88％和2.58％,效果优于Deeplabv3+.该方法不会明显加大网络计算量和复杂度,具有良好的分割速度和准确性的兼顾.     

基于图像分割模型的执行末端视觉跟踪策略研究

微操纵执行器末端位置的精确反馈在显微自动化操作中具有重要意义,而现有研究无法克服在复杂干扰环境下执行器末端精确跟踪的问题。针对上述提到的问题,提出一种基于语义分割模型的执行器末端位置检测跟踪方法。首先构建端到端的执行器图像语义分割模型,其次利用轮廓拐点检测算法在分割出的掩模图像中跟踪执行器末端位置,为了进一步提高算法在复杂环境中的跟踪精度及鲁棒性,利用二维卡尔曼滤波算法对遮挡情况进行处理,实现了执行器末端被遮挡时的位置跟踪。实验结果表明语义分割模型对执行器分割精度达到了62.4%,并且在复杂环境中对执行器末端位置跟踪的最大平均误差为1.51 pixels,为提升微末端执行器的操纵精度提供基础。     

基于深度语义分割的多源遥感图像海面溢油监测

针对遥感图像海面溢油区域通常受到斑噪声以及强度不均等因素的影响,从而导致溢油区域监测效果较差的问题,本文引入了深度语义分割的方法,将深度卷积神经网络与全连接条件随机场相结合,形成端对端连接。以Resnet结构为基础,首先通过深度卷积神经网络对多源遥感图像粗分割并作为输入,然后经过改进的全连接条件随机场,利用高斯成对势和平均场近似定理,建立条件随机场形成递归神经网络作为输出。通过多源遥感图像对海面溢油区域进行监测,并利用可见光图像估计溢油区域面积。实验在所建立的多源遥感图像数据集上与其它先进模型进行对比,结果表明本文方法提高了溢油区域的分割精度以及精细细节程度,平均交并比为82.1%,监测效果具有明显地改善。     

顾及长尾分布的机载LiDAR点 CNN 语义分割

针对目前PointNet++系列网络模型倾向于牺牲尾类分割精度以保证全局分割精度这一现象，构建顾及数据长尾分布的机载LEDAR点云语义分割网络，主要涉及两方面内容，聚类最远点采样和空间自注意力机制下的局部特征学习。聚类最远点采样通过类内点云最远点采样、划分区域最远点采样以及基于置信度的均值漂移（Mearshift）聚类组合策略，最大程度保留尾类样本并通过循环赋权方式使每类样本均能被网络充分学习；空间自注意力机制下的局部特征学习为结合不同空间编码方式增强采样点邻域拓扑结构的学习，以利于从稀疏样本数据中完整学习目标空间结构。公开数据集实验表明，本文网络模型整体分割精度和平均F，较 PointNet++分别提升6.3%和6.6%，并优于其它6种PointNet++系列网络模型及新公布的10种网络模型，具有良好的泛化性能与应用价值。     

血管介入手术导丝末端检测方法研究

介入手术导丝的末端检测是保证手术精准控制和安全性的关键，本文针对术中导丝末端检测的临床需求，提出一种基于改进YOLOv4Tiny网络的导丝末端检测方法。该方法基于YOLOv4Tiny网络架构，通过优化特征提取网络中的残差结构，增加注意力机制和混合膨胀卷积网络，实现算法对小目标特征提取能力和检测精度的提升、感受野的扩大，且在保证图像的分辨率的同时不增加计算量。为了验证本文改进算法的有效性，对算法在构建数据集和实际手术数据集中分别进行了测试。实验结果表明：本文改进算法在构建数据集中的平均精度可达97.6%,导丝末端的检测误差不足5%,在实际手术数据集中的平均精度为92.8%。本文改进算法为介入手术导丝的末端检测提供了有效方法，在生物医学机器人等领域具有广阔的应用前景。     

基于广义反向粒子群与引力搜索混合算法的多阈值图像分割

提出了基于粒子群优化(PSO)与引力搜索(GSA)混合算法(PSOGSA)的多阈值图像分割方法来解决图像阈值搜寻过程中单一优化算法局部搜索能力不强的问题。提出了图像阈值分割领域中的广义反向学习策略,在阈值寻优过程中提高群体多样性,增强了全局搜索能力;采用了全局最优解的正态变异策略,扩展了全局最优的搜索区域,避免了算法的早熟收敛。在此基础上,实现了基于广义反向粒子群与引力搜索混合算法的多阈值图像分割方法。最后,使用本方法对复杂多目标图像进行了多阈值分割实验,并与引力搜索算法和萤火虫算法进行了比较。实验结果表明,本文方法的分割精度优于引力搜索算法与萤火虫算法,其分割目标函数值在连续运行时的标准差降低了90%以上,是一种精度高、稳定性强的多阈值图像分割方法。