门控多层融合的实时语义分割

针对语义分割任务中因模型下采样过程中的像素损失而导致的上采样像素难以精确还原的问题,提出一种基于门控多层融合的实时语义分割方法.考虑分割的实时性,采用轻量级模型作为基础网络进行特征信息的提取.为解决像素难以精确还原问题,设计了一种横向连接的门控注意力结构,此结构可以对目标特征进行筛选,并通过横向传递增强上采样特征图信息的多样性,从而提高特征图的还原精度.此外,还提出采用多层融合结构来整合不同网络层的语义信息,利用不同网络层间的语义表达差异对缺失像素进行补充.实验以CamVid和VOC为数据集,以512×512大小的图像为输入,测试结果表明,方法的图像语义分割精度达到72.9%,平均分割速度为43.1帧/s.     

结合边缘检测的语义分割算法

针对语义分割中目标边缘模糊与分割不准确的问题,提出一种结合边缘检测的语义分割网络。整个网络由边缘检测网络和语义分割网络并行组成。利用边缘检测网络与语义分割网络分别提取图像的边缘特征和初步的语义分割特征,通过特征融合模块将边缘特征和语义分割特征进行融合,得到最终的语义分割结果。在CamVid数据集和Cityscapes数据集上的实验结果表明,与SegNet算法相比,该算法平均交并比分别提升了1.5和1.8个百分点,验证了所提算法的有效性。     

基于注意力和多标签分类的图像实时语义分割

针对现阶段很多实时语义分割算法分割精度低,尤其对边界像素分割模糊的问题,提出一种基于跨级注意力机制和多标签分类的高精度实时语义分割算法.首先基于DeepLabv3进行优化,使其达到实时运算速度.然后在此网络基础上增加跨级注意力模块,使深层特征为浅层特征提供像素级注意力,以抑制浅层特征中不准确语义信息的输出;并在训练阶段引入多标签分类损失函数辅助监督训练.在Cityscapes数据集和CamVid数据集上的实验结果表明,该算法的分割精度分别为68.1％和74.1％,分割速度分别为42帧/s和89帧/s,在实时性与准确性之间达到较好的平衡,能够优化边缘分割,在复杂场景分割中具有较好的鲁棒性.     

刀具轮廓亚像素精度阈值分割算法研究

摘 要：提取亚像素精度边缘轮廓是完成刀具几何参数精确测量的重要环节。该文研究了一种简单有效的方法,该算法基于灰度阈值分割定位像素级边缘,并经双线性插值法细分完成亚像素边缘轮廓的提取。最后设计实验对比分析了该算法以及基于Canny和Sobel算子的亚像素边缘检测算法所提取轮廓的特点。结果表明在准确的前提下,对高对比度图像应用该算法后,能比后两者更快速地完成边缘轮廓提取。     

基于空间特征提取和注意力机制的双路径语义分割

针对现阶段语义分割网络存在的空间和通道特征不匹配、小目标物体像素丢失等问题,设计了一种基于空间特征提取和注意力机制的双路径语义分割算法。空间信息路径利用四倍下采样来保留高分辨率特征,并引入空间特征提取模块融合多尺度空间信息,加强网络对小目标物体的识别能力;采用一条结合双阶通道注意力的语义上下文路径提取判别特征,使深层特征能够指导浅层特征捕捉更精确的语义信息,从而降低精度损失。在CamVid和Aeroscapes数据集上验证该算法,平均交并比分别可达70.5%和51.8%,相比于当前主流的双路径语义分割模型有所提升,结果验证了所提算法的有效性。     

条带池化注意力的实时语义分割算法

针对目前面向注意力机制语义分割算法不能兼顾分割精度与实时性,以及难以满足在现实场景中应用的问题,提出一种基于条带池化注意力的实时语义分割算法.首先采用轻量级骨干网络提取特征信息,结合不同网络层语义差异构建特征融合模块获得不同尺度的上下文信息以提升分割精度;然后利用基于注意力的条带注意力模块(SAM)提高远距离信息被弱化的注意力,并在SAM中加入水平方向的条带池化以降低编码全局上下文的运算量.实验结果表明,所提算法能够得到较高分割精度且满足实时性要求;在Cityscapes测试集上平均交并比为70.6%,分割速度达到了92帧/s;在CamVid测试集上平均交并比为66.4%,分割速度达到了196帧/s.     

融合低阶特征与全局特征的图像语义分割方法

目前,深度全卷积网络在图像语义分割领域已经取得了瞩目的成就,但特征图的细节信息在多次下采样过程中会大量损失,对分割精度造成影响。针对该问题设计了一个用于图像语义分割的深度全卷积网络。该网络采用“编码器-解码器”结构,在编码器后端引入空洞卷积以降低细节信息的损失,在解码过程中融合对应尺寸的低阶语义特征,并在解码器末端融入全局特征以提升模型的分割精度。使用数据增强后的CamVid数据集对网络进行训练和测试,测试结果达到了90.14%的平均像素精度与71.94%的平均交并比。实验结果表明,该网络能充分利用低阶特征与全局特征,有效提升分割性能,并在区域平滑方面有很好的表现。     

边界感知的实时语义分割网络

目前多数实时语义分割网络不仅同时处理边界和纹理等细节信息而且还忽略了语义边界区域特征,从而导致物体边界分割质量下降。针对该问题,提出一种边界感知的实时语义分割网络,主要从三个方面提高边界语义分割质量。提出了边界感知学习机制利用位置信息降低边界特征和轮廓附近细节的耦合度使边界感知和位置关系相互促进。设计轻量级区域自适应模块增强卷积网络对复杂语义边界区域的建模能力。根据采样区域像素贡献值不同设计了高效的空洞空间金字塔池化模块以增强重要的细节和语义特征。实验方面,与基准相比,在Cityscapes验证集上精度提升了约5.8个百分点,在Cityscapes测试集上以47.2 FPS的推理速度使精度达到了74.9%。在CamVid数据集上与BiSeNetV2算法相比mIoU提升了约3.96个百分点。     

基于改进的Sobel算子最大嫡图像分割研究

研究图像分割精度问题。针对传统的Sobel算子图像分割容易造成图像分割不清晰、对比度不明显、分割精度低等问题缺陷,提出一种改进的Sobel算子的二维最大墒数字图像分割方法。算法首先根据数字图像特征对图像进行初分割,然后应用Sobel算子检测出数字图像真正的边缘,将通过Sobel算法边缘检测获得的阂值应用到二维最大墒分割方法中。对数字图像目标和目标边缘分别使用不同的阂值进行分割,解决由于局部图像叠加而产生的分割不准确的问题。仿真实验表明,提出的算法对图像分割鲁棒性好,分割准确率高,是一种有效适用的算法。     

室内服务机器人的实时场景分割算法

室内场景下的实时场景分割是开发室内服务机器人的一项关键技术,目前关于语义分割的研究已经取得了重大进展,但是多数方法都倾向于设计复杂的网络结构或者高计算成本的模型来提高精度指标,而忽略了实际的部署成本。针对移动机器人算力成本有限的问题,设计一种轻量化的瓶颈结构,并以此为基本元素构建轻量化场景分割网络。该网络通过与特征提取网络级联获得更深层次的语义特征,并且融合浅层特征与深层语义特征获得更丰富的图像特征,其结合深度可分离卷积与多尺度膨胀卷积提取多尺度图像特征,减少了模型的参数量与计算量,同时利用通道注意力机制提升特征加权时的网络分割精度。以512像素×512像素的图像作为输入进行实验,结果表明,该算法在NYUDv2室内场景分割数据集和CamVid数据集上的MIoU分别达到72.7%和59.9%,模型计算力为4.2 GFLOPs,但参数量仅为8.3 Mb,在移动机器人NVIDIA Jetson XavierNX嵌入式平台帧率可达到42 frame/s,其实时性优于DeepLabV3+、PSPNet、SegNet和UNet算法。     

多类别的边缘感知方法在图像分割中的应用

针对图像语义分割方法预测出的目标大多存在边缘模糊和准确度较低的问题,提出多类别边缘感知的图像分割方法.首先设计一种用于多目标分割的Multi-sigmoid损失函数,结合COCO数据集预训练的FCN+CRF网络,建立可优化类别边界的语义分割模型;然后在全局嵌套边缘检测(HED)模型的基础上,增加自底向上的信息解码部分,利用亚像素(subpixel)的图像增强算法实现上采样以及相邻尺度之间的特征融合,构建出可用于边缘检测的深度多尺度编解码模型(MSDF);最后将FCN+CRF提取到的分割信息作为一元势,MSDF检测到的边缘特征作为二元势,设计全局能量函数并计算最小值,实现分割结果的进一步优化.在2个标准数据集Pascal context和SIFT Flow上进行了实验,结果表明,该模型的总体性能较为优越,可应用在图像语义分割和显著性目标检测等相关领域.     

加权核范数的边缘检测在最小化图像去噪中的应用

Sobel算子作为一种经典有效的边缘检测算子,在图像分割等图像处理技术中得到了广泛的应用。该算子在提取图像边缘的速度上具有明显的优势,但也存在对噪声敏感、出现伪边缘或者过度平滑图像等缺点。为了解决这些问题,提出了一种优化的边缘检测方案。该方案将加权核范数最小化(WNNM)图像去噪算法与Sobel边缘检测算法相结合,首先采用加权核范数最小化图像去噪算法的优良去噪性能,去除图像中一些敏感的噪声。经过该方法滤波后的图像,大大提高Sobel算子检测的准确度。该算法采用低秩图像去噪算法对传统的边缘检测算法进行改进。实验结果表明,该优化算法在处理含噪图像时能获得较好的检测效果,并且随着噪声强度的增加,该算法的优势更加明显;在高噪声水平下能够获得清晰连续的边缘信息,从而验证了算法的有效性。     

高精度实时语义分割算法框架: 多通道深度加权聚合网络

近年来随着深度学习技术的不断发展,涌现出各种基于深度学习的语义分割算法,然而绝大部分分割算法都无法实现推理速度和语义分割精度的兼得.针对此问题,提出一种多通道深度加权聚合网络(MCDWA_Net)的实时语义分割框架.\:该方法首先引入多通道思想,构建一种3通道语义表征模型,3通道结构分别用于提取图像的3类互补语义信息:低级语义通道输出图像中物体的边缘、颜色、结构等局部特征;辅助语义通道提取介于低级语义和高级语义的过渡信息,并实现对高级语义通道的多层反馈;高级语义通道获取图像中上下文逻辑关系及类别语义信息.\:之后,设计一种3类语义特征加权聚合模块,用于输出更完整的全局语义描述.\:最后,引入一种增强训练机制,实现训练阶段的特征增强,进而改善训练速度.\:实验结果表明,所提出方法在复杂场景中进行语义分割不仅有较快的推理速度,且有很高的分割精度,能够实现语义分割速度与精度的均衡.     

空洞可分离卷积和注意力机制的实时语义分割

目的 为满足语义分割算法准确度和实时性的要求,提出了一种基于空洞可分离卷积模块和注意力机制的实时语义分割方法。方法 将深度可分离卷积与不同空洞率的空洞卷积相结合,设计了一个空洞可分离卷积模块,在减少模型计算量的同时,能够更高效地提取特征;在网络输出端加入了通道注意力模块和空间注意力模块,增强对特征的通道信息和空间信息的表达并与原始特征融合,以进一步提高特征的表达能力;将融合的特征上采样到原图大小,预测像素类别,实现语义分割。结果 在Cityscapes数据集和CamVid数据集上进行了实验验证,分别取得70.4%和67.8%的分割精度,速度达到71帧/s,而模型参数量仅为0.66 M。在不影响速度的情况下,分割精度比原始方法分别提高了1.2%和1.2%,验证了该方法的有效性。同时,与近年来的实时语义分割方法相比也表现出一定优势。结论 本文方法采用空洞可分离卷积模块和注意力模块,在减少模型计算量的同时,能够更高效地提取特征,且在保证实时分割的情况下提升分割精度,在准确度和实时性之间达到了有效的平衡。     

基于改进的四叉树Sobel算子图像分割研究

研究图像分割精度提高问题,由于图像噪声的干扰,造成图像模糊。传统的Sobel图像分割方法容易造成图像分割不清晰和对比度不明显。为解决上述问题,应用Sobel算子检测出数字图像真正的边缘,并进行边缘提取;最后运用四叉树算法对去噪图像进行多区域目标分割,并对分割的不同区域进行合并,有效地解决了因局部图像的叠加和分割不准确的难题,并且通过仿真实验显示,本文提出的改进型算法,也就是利用四叉树Sobel算子,能够有效地去除图像分割所带来的去除噪声,大大地提高升图像边缘的清晰度,是一种有效地图像分割方法。     

基于改进Zernike方法实现圆形边缘亚像素检测

在图像测量中,图像边缘的精确定位与检测是影响测量精度的关键。为了实现快速、高精度的图像边缘定位与检测,提出了一种改进的Zernike方法,采用四个方向模版Sobel算子对图像初处理,利用被测物的几何信息,只使用零阶矩实现对边缘的亚像素定位。实验结果表明改进算法比原算法具有更高的精度,而运行的时间不到原算法的1/4。该算法具有良好的处理效率,能够满足一般具有几何特征图像边缘实时、亚像素精度定位与检测的要求,具有广阔的应用前景。     

基于VPRS粗糙熵的图像分割

变精度粗糙集是解决模糊决策问题的重要工具，图像边缘信息本身就具有一定的不确定性和模糊性，而图像分割的效果直接依赖于对图像边缘像素的判断精度，因此变精度粗糙集可以更精确地表达图像边缘。将经典图像粗糙集模型扩展到图像变精度粗糙集模型，并将其应用于灰度图像边缘判定问题，利用变精度粗糙集的上下近似定义，构造了变精度灰色形态学算子，依据灰度图像粗糙熵的定义，提出一种基于VPRS粗糙熵的图像分割算法。针对噪声图像，该方法用变精度粗糙集模型判断目标、背景和边界像素集，在不同参数下判断近似集时容忍部分噪声点的存在，从而可获得较好的灰色边缘图像。实验结果说明，由于变精度灰度形态学算子避免了复杂参数优化过程，算法时间执行效率高；同时由于粗糙形态学算子对噪声的优良处理能力，新算法具有较好的噪声鲁棒性。     

边缘增强的EDU-Net遥感影像建筑物提取

针对高空间分辨率遥感影像背景信息复杂，现有语义分割模型提取建筑物轮廓易出现边缘缺失、边界划分不清晰等问题，提出一种边缘增强型EDU-Net深度学习网络。在EDU-Net结构设计中，通过构建边缘特征约束模块，结合Sobel边缘检测图细化建筑物边缘特征；同时，基于二次强化策略提升模型对建筑物边缘信息的表征学习能力。在WHU数据集上，EDU-Net语义分割指标MIoU和F1分别为91.99%和92.37%,相较DoubleU-Net提升0.99%和1.05%;在中国典型城市建筑物数据集上，MIoU达83.12%,同时边缘与边界分割效果更佳，证明了所提出模型具有较好的分割性能和普适性。     

基于多源融合FCN的图像分割

图像分割任务中,传统的基于人工设计特征方法工作量大、复杂度高、分割割精度较低,现有的基于全卷积神经网络(Fully Convolutional Networks,FCN)的方法在分割边缘上不够精细。为了提高图像分割算法的分割精度,提出基于多源融合的全卷积神级网络模型,输入图片经过Sobel算子提取边缘特征获得特征矩阵,与RGB和灰度图像一起作为输入,将传统全卷积网络拓展成具有多种输入源的分割模型。在PASCAL VOC 2012图像分割数据集上进行实验验证,结果显示该模型提高了图像分割的精度,具有良好的实时性和鲁棒性。     

双路径特征融合编解码结构的高速语义分割EI北大核心CSCD

对基于深度学习的高精度图像语义分割模型参数量大、分割速度慢的问题,提出一种基于双路径特征融合编解码结构的语义分割模型.首先,该模型编码器通过对语义路径和空间路径同时进行编码,其能够融合不同的特征信息,弥补了空间信息和语义信息难以两全的弊端,对特征图进行高效的卷积操作;其次,该模型解码器通过融合高层语义信息和低层空间信息,有效地弥补了编码时下采样操作丢失的特征信息.在Cityscapes和Camvid数据集上的实验结果表明,整体模型的参数量仅为3.91×10^(6),在2个数据集上分别取得了67.7%和65.8%的均交并比,分割速度分别为111帧/s和86帧/s.对比其他同类模型,所提模型拥有更少的参数量和更高的精度,其分割速度远远超过实时语义分割的最低要求24帧/s.