融合注意力和多尺度特征的街景图像语义分割

为了解决在街道场景图像语义分割任务中传统U-Net网络在多尺度类别下目标分割的准确率较低和图像上下文特征的关联性较差等问题,提出一种改进U-Net的语义分割网络AS-UNet,实现对街道场景图像的精确分割.首先,在U-Net网络中融入空间通道挤压激励(spatial and channel squeeze&excitation block, scSE)注意力机制模块,在通道和空间两个维度来引导卷积神经网络关注与分割任务相关的语义类别,以提取更多有效的语义信息;其次,为了获取图像的全局上下文信息,聚合多尺度特征图来进行特征增强,将空洞空间金字塔池化(atrous spatial pyramid pooling, ASPP)多尺度特征融合模块嵌入到U-Net网络中;最后,通过组合使用交叉熵损失函数和Dice损失函数来解决街道场景目标类别不平衡的问题,进一步提升分割的准确性.实验结果表明,在街道场景Cityscapes数据集和Cam Vid数据集上AS-UNet网络模型的平均交并比(mean intersection over union, MIo U)相较于传统U-Net网络分别提...     

结合自注意力和特征自适应融合的语义分割算法

针对场景图像语义分割任务中存在多尺度目标以及特征提取网络缺乏对全局上下文信息的获取等问题,设计了一种嵌入改进自注意力机制以及自适应融合多尺度特征的双路径分割算法。在空间路径利用双分支的简易下采样模块进行4倍下采样提取高分辨率的边缘细节信息,使网络对目标边界分割更精确。在语义路径嵌入上下文捕获模块和自适应特征融合模块,为解码阶段提供具有丰富多尺度的高语义上下文信息,并采用类别平衡策略进一步提升分割效果。经过实验验证,该模型在Camvid和Aeroscapes数据集上的MIOU(mean intersection over union)指标分别为59.4％和60.1％,具有较好的分割效果。     

基于语义信息的精细化边缘检测方法

边缘检测是在图像中准确地提取视觉上显著的边缘像素,以得到图像的边缘信息,然而传统基于全卷积网络的边缘检测方法通常存在预测边缘粗糙、模糊等问题。提出一种语义信息指导的精细化边缘检测方法。通过图像分割子网络将学习到的图像语义信息传递给边缘检测子网络,同时利用图像语义信息指导边缘检测子网络,其引入具有注意力机制与残差结构的特征融合模块,以生成精细的图像边缘,增强不同尺度的特征融合。在此基础上,结合图像分割任务和图像边缘检测任务中的代价函数定义新的模型代价函数并进行训练,进一步提高网络边缘检测质量。在BSDS500数据集上的实验结果验证了该方法的有效性,结果表明,该方法的固定轮廓阈值与图像最佳阈值分别达到0.818和0.841,相比HED、RCF等主流边缘检测方法,能够预测更精细的边缘图像,且鲁棒性更优。     

基于特征融合的边缘引导乳腺超声图像分割方法

针对乳腺超声图像边缘模糊、斑点噪声多、对比度低等问题,提出了一种融合多特征的边缘引导多尺度选择性核U-Net(Edge-guided Multi-scale Selective Kernel U-Net, EMSK U-Net)方法。EMSK U-Net采用基于U-Net的对称编解码结构可以适应小数据集医学图像分割的特点,将扩张卷积与传统卷积构成选择性核模块作用于编码路径,并提取下采样过程中的选择性核特征进行边缘检测任务,在丰富图像空间信息的同时细化边缘信息,有效缓解斑点噪声和边缘模糊的问题,在一定程度上可以提升小目标的检测精度。然后在解码路径通过多尺度特征加权聚合获取丰富的深层语义信息,多种信息之间相互补充,从而提升网络的分割性能。在3个公开的乳腺超声图像数据集上的实验结果表明,与其他分割方法相比,EMSK U-Net算法各项指标表现良好,分割性能有显著提升。     

基于改进DeepLabV3与Canny算法的路面裂缝语义分割方法

为准确检测混凝土路面裂缝的形态与分裂程度,避免其结构进一步受损,提出了一种改进的DeepLabV3网络语义分割模型。利用Canny算法优异的检测能力对裂缝边缘进行提取,改进分割网络的上采样层进行残差多层采样;优化空洞卷积的扩张率降低感受野,平衡网络对不同尺度裂缝的敏感度;融合并行注意力模块抑制分割模型易产生的伪影效应,获取更具互补性的裂缝特征。在公开数据集上进行训练与预测,在全卷积网络 (FCN)结合条件随机场(CRF)方法、Deep LabV3方法、Deep LabV3+方法与Lraspp方法中开展了对比实验。实验结果表明,本方法的MPA为98.73%,MIOU为87.53%,有效抑制噪声干扰,分割结果精确且连续。     

面向语义分割模型的外接多尺度投票网络

针对语义分割领域中多尺度共享网络训练复杂度高,以及网络在小目标、长条状目标、目标边缘处拟合效果不佳的问题,提出一种新型外接多尺度投票网络。通过投票网络融合各尺度分割结果,降低网络训练复杂度,并将共享网络中的分割网络与各尺度注意力头剥离开,仅训练各尺度注意力头,以便于网络收敛。在投票网络的结构设计中,使用多类别投票方法扩大投票空间,通过融入混合池化模块聚合近程与远程权值,扩大网络感受野,缓解权值图中长条状目标拟合间断与缺失的问题。在此基础上引入类内、类间投票注意力模块获取权值及类间关系,并采用不规则卷积,改善投票权值图的边缘拟合效果。在Cityscapes数据集上的实验结果表明,相比FCN、PSPNet、DeepLabv3+分割网络,该网络的平均交并比分别提升了0.92、0.88、0.80个百分点,与共享网络相比,其训练复杂度更低,精度更高。     

融合多尺度和边界优化的图像语义分割网络

针对卷积神经网络在多卷积层叠加造成的图像内小尺度目标丢失和类别边界模糊问题,提出一种基于多尺度特征融合和边界优化的阶梯型图像语义分割网络结构。该网络以提升网络模型的准确率为目标,对Deeplab V3+网络中空间池化金字塔模块进行优化,使用针对视觉任务的新激活函数Funnel ReLU(FReLU)替换原有非线性激活函数获取精度补偿,增添优化分支构建阶梯型网络,通过对各类别边界的精确预测提升整体图像分割准确率,减少预测结果中类内误识别和小尺度目标丢失问题。在Cityscapes数据集上的实验结果表明,改进后的网络各类别平均交并比指标均取得明显提升。     

高斯混合函数区域匹配引导的Level Set纹理图像分割

基于高斯混合模型颜色匹配及多尺度图像增强,文中提出了有效的边缘停止函数用于引导level set函数演化,有效地解决了纹理图像的分割问题.文中首先提出基于高斯混合模型颜色分布的边缘停止函数,通过计算level set演化窄带区域与用户给定交互区域的相似性,根据其相似性来引导level set快速演化;然后,提出一个定义在多尺度图像梯度上的边缘停止甬数,使得level set能精确地分割出图像的边缘;最后,结合以上两种边缘停止函数的优点,提出一个边缘停止函数的混合模型,根据图像颜色、边缘特征自适应地引导level set函数演化.实验结果表明,文中提出的算法不仅能有效地检测出纹理目标区域,同时需要计算出纹理区域精确、光滑的边界.     

多尺度融合增强的图像语义分割算法

针对现有的图像语义分割算法存在小尺度目标丢失和分割不连续的问题,提出多尺度融合增强的图像语义分割算法,该算法在DeeplabV3+网络模型的基础上,通过构建多尺度特征提取和融合增强网络提高了对小目标特征的描述能力,使网络在分割大目标的同时也能获得小目标的特征信息,从而解决了语义分割时小尺度目标丢失和分割不连续的问题。在Cityscapes数据集上实验的结果表明,改进后的算法明显提升了小目标分割精度,解决了分割不连续的问题。最后在公开数据集PASCAL VOC 2012上进一步验证了改进算法的泛化性。     

多尺度特征融合工件目标语义分割

目的 目标语义特征提取效果直接影响图像语义分割的精度,传统的单尺度特征提取方法对目标的语义分割精度较低,为此,提出一种基于多尺度特征融合的工件目标语义分割方法,利用卷积神经网络提取目标的多尺度局部特征语义信息,并将不同尺度的语义信息进行像素融合,使神经网络充分捕获图像中的上下文信息,获得更好的特征表示,有效实现工件目标的语义分割。方法 使用常用的多类工件图像定义视觉任务,利用残差网络模块获得目标的单尺度语义特征图,再结合本文提出的多尺度特征提取方式获得不同尺度的局部特征语义信息,通过信息融合获得目标分割图。使用上述方法经多次迭代训练后得到与视觉任务相关的工件目标分割模型,并对训练权重与超参数进行保存。结果 将本文方法和传统的单尺度特征提取方法做定性和定量的测试实验,结果表明,获得的分割网络模型对测试集中的目标都具有较精确的分割能力,与单尺度特征提取方法相比,本文方法的平均交并比mIOU（mean intersection over union）指标在验证集上训练精度提高了4.52%,在测试集上分割精度提高了4.84%。当测试样本中包含的目标种类较少且目标边缘清晰时,本文方法能够得到更精准的分割结果。结论 本文提出的语义分割方法,通过多尺度特征融合的方式增强了神经网络模型对目标特征的提取能力,使训练得到的分割网络模型比传统的单尺度特征提取方式在测试集上具有更优秀的性能,从而验证了所提出方法的有效性。     

基于边缘检测函数尺度变换的水平集图像分割

针对Chan-Vese模型（C-V模型）存在收敛缓慢等缺陷,给出一种基于边缘检测函数尺度变换的水平集图像分割算法。引入边缘检测函数对C-V模型进行改进,在不降低分割质量的前提下,提高图像分割的速度。为了增强改进模型的灵活性,提出对边缘检测函数进行尺度变换的方法。实验结果表明,改进模型有良好的分割效果,尺度变换能有效加快改进模型的演化速度,保持分割过程的稳定性。     

基于可变形卷积技术的街景图像语义分割算法

目前图像语义分割算法中可能会出现分割图像的不连续与细尺度目标丢失的缺陷,故提出可变形卷积融合增强图像的语义分割算法。算法集HRNet网络框架、Xception Module以及可变形的卷积于一体,用轻量级Xception Module优化HRNet原先存在的Bottleneck模块,同时在网络的第一阶段串联融合可变形卷积,通过建立轻量级融合加强网络从而增强针对细尺度目标特征物的辨识精度,从而使得该轻量级融合增强网络在粗尺度目标物被分割时取得相对多的细尺度目标的语义特征信息,进一步缓解语义分割图像的不连续与细尺度的目标丢失。使用Cityscapes数据集,实验结果可以说明,优化后的算法对于细尺度目标分割精度得到了显著的增强,同时解决了图像语义分割导致的分割不连续的问题。然后进行实验使用的是公开数据集PASCAL VOC 2012,实验进一步的验证了优化算法的鲁棒性以及泛化能力。     

基于多路径特征提取的实时语义分割方法

深度学习在图像语义分割领域的应用极大地提升了分割精确度,但由于深度学习网络在速度、内存等方面的限制,其并不能直接应用于嵌入式设备进行实时分割。针对语义分割模型存在的的网络结构复杂和计算开销巨大的问题,提出了结合边缘检测算法的多路径特征提取的实时语义分割算法。模型通过Sobel算子、Scharr算子和Laplacian算子对图像的轮廓信息进行提取。算法设计了空间路径提取图像的空间位置信息、语义路径提取图像高级语义信息,以及通过边缘检测路径提取图像中具有代表性的纹理特征,并采用Ghost轻量化模块来减少模型参数量,提高算法的分割速度。在480像素×360像素的CamVid数据集上的实验结果表明,在3种边缘检测算子上,模型的分割准确率均能得到有效提升,尤其是在加入3×3大小的Sobel算子下算法的性能提升最为明显,在CamVid测试集图像处理速度为349 frames/s的基础上,分割精度达到了42.9%。所提算法在分割精度和分割速度上均取得了较好的效果,在实时性和准确性之间达到了很好的平衡。     

一种用于视频对象分割的仿U形网络

在半监督的分割任务中,单镜头视频对象分割(OSVOS)方法根据第一帧的对象标记掩模进行引导,从视频画面中分离出后续帧中的前景对象。虽然取得了令人印象深刻的分割结果,但其不适用于前景对象外观变化显著或前景对象与背景外观相似的情形。针对这些问题,提出一种用于视频对象分割的仿U形网络结构。将注意力机制加入到此网络的编码器和解码器之间,以便在特征图之间建立关联来产生全局语义信息。同时,优化损失函数,进一步解决了类别间的不平衡问题,提高了模型的鲁棒性。此外,还将多尺度预测与全连接条件随机场(FC/Dense CRF)结合,提高了分割结果边缘的平滑度。在具有挑战性的DAVIS 2016数据集上进行了大量实验,此方法与其他最先进方法相比获得了具有竞争力的分割结果。     

基于超像素分割的多尺度特征融合图像语义分割算法

针对当前图像语义分割Deeplab v3+模型浅层特征分辨率低、遗漏分割等问题,引入全卷积神经网络(FCNN),并在此基础上联合超像素分割实现对物体边缘特殊优势、粗糙分割结果的优化,采用空洞卷积设计多尺度特征融合模块,以提升图像空间信息利用率。为提高网络学习能力与网络性能,引入跳跃连接结构和两个损失函数,经过训练测试,证实该算法具有良好的像素精度,可提升分割准确率提高,鲁棒性强,可改善遗漏分割与错误分割。     

并行多尺度特征融合的热层析图像分割算法

热层析技术应用于医学乳腺肿瘤检测具有重要的应用前景,但是医生在临床应用过程中,通过热层析图像诊断容易出现主观差异性误诊现象,为此,提出了一种智能化分割算法用于辅助诊断。然而,医学热层析图像由于目前数据量匮乏,且病灶区域占比小,依靠经典的分割模型,如FCN、U-Net容易出现分割不连续,边界细节分割不精细等问题。设计了一种基于并行多尺度特征融合的语义分割模型,模型通过并行的多分辨率特征子网之间反复的信息交换,在保证分割结果语义信息准确之外,还能有效地抓取病灶区域的细节特征。该方法在热层析医学图像数据集上取得了0.635?7的均交并比,相较于经典的U-Net分割网络,取得了5.14个百分点的提升,在肿块和血管等小目标区域的细节分割上有着更出色的表现。实验结果表明,该算法对热层析临床用于乳腺癌的辅助诊断具有现实意义。     

基于改进变分水平集的红外图像分割方法

提出一种基于水平集的红外图像偏微分分割方法,通过改进Chan-Vese模型中的能量函数获得偏微分方程,该能量函数将红外图像边缘与区域信息相结合,取得了全局极小值,该能量模型对水平集初始曲线的位置不敏感,并可定位图像边缘。基于该模型的变分水平集分割方法可分割出红外图像目标。实验结果表明,该方法效果良好,便于下一步的红外目标识别与跟踪。     

空洞卷积的多尺度语义分割网络

计算机硬件的发展极大程度地促进了计算机视觉的发展,卷积神经网络在语义分割中取得了令人瞩目的成就,但多卷积层叠加难免造成图像中目标边界信息的丢失。为了尽可能保留边界信息,提高图像分割精度,提出一种多尺度空洞卷积神经网络模型。该模型利用多尺度池化适应图像中不同尺度目标,并利用空洞卷积学习目标特征,在更加准确识别目标的同时,提高目标边界的识别精度,在ISPRS Vaihingen数据集上的实验结果表明,提出的多尺度空洞卷积神经网络对于目标边界的拟合结果较为理想。     

基于Deeplabv3+与CRF的遥感影像典型要素提取方法

为提取高分辨率遥感影像的典型要素(建筑物及道路),基于深度学习,提出一种语义分割与全连接条件随机场(CRF)相结合的提取方法。以Deeplabv3+作为语义分割模型,提取较完整图像分割信息,并将其作为全连接CRF的一元能量函数的输入,利用平均场近似方法进行推理,实现对分割信息边界的优化。通过分析Deeplabv3+模型在噪声样本集数据的训练效果验证其鲁棒性,并基于公开影像及矢量数据源设计大规模遥感训练样本集智能采集系统。采集罗德岛2 000平方公里遥感影像及相对应典型要素标记数据作为样本进行实验,结果表明,该方法分割精度MIoU值达到80.32%,结合形态学滤波处理,要素边界轮廓明显优于初始分割结果。     

基于深度学习的遥感影像语义分割研究

高分辨率遥感图像的语义分割是遥感应用领域中的重要任务之一。针对经典语义分割网络在高分辨率遥感图像语义分割中存在边缘目标分割不准确、多尺度目标分割困难等问题，提出了一种基于改进空洞空间金字塔池的编码器-解码器结构网络(SMANet)。编码部分使用带有注意力机制的残差网络，使得网络充分提取图像的特征信息，其次通过多并行空洞空间金字塔模块（MASPP）获得特征图有关类别和空间上下文的更详细.信息；解码部分以自底向上方式将深层次语义信息逐步融入到低层次高分辨率图像中。使用WHDLD公开数据集对该算法进行实验，获得了6418%的平均交并比，实验结果表明SMANet优于目前主流的语义分割网络。