结合边缘检测的语义分割算法

针对语义分割中目标边缘模糊与分割不准确的问题,提出一种结合边缘检测的语义分割网络。整个网络由边缘检测网络和语义分割网络并行组成。利用边缘检测网络与语义分割网络分别提取图像的边缘特征和初步的语义分割特征,通过特征融合模块将边缘特征和语义分割特征进行融合,得到最终的语义分割结果。在CamVid数据集和Cityscapes数据集上的实验结果表明,与SegNet算法相比,该算法平均交并比分别提升了1.5和1.8个百分点,验证了所提算法的有效性。     

基于语义分割的槟榔内核轮廓检测

针对槟榔去核工序中槟榔内核轮廓检测问题,提出一种基于语义分割的槟榔内核轮廓检测方法。分割模型以VGG16为基础网络,将全连接层替换为卷积层,增加了跳跃结构,将浅层特征经过采样后在同一尺度下与深层特征进行融合,并将常规卷积替换成扩张卷积,减少了学习参数,提升了分割模型的实时性,得到最终的FCN-Dilated-VGG-8s分割模型。该模型对槟榔图像分割的准确率达到98.79%,单张图像分割只需0.071 s,模型大小只有FCN-VGG-8s模型的37.5%。算法表现出良好的鲁棒性,实现了槟榔图像准确、快速分割。通过对分割完后的图像的边界提取,即可得到完整平滑的槟榔内核轮廓线。     

基于改进DeepLabV3与Canny算法的路面裂缝语义分割方法

为准确检测混凝土路面裂缝的形态与分裂程度,避免其结构进一步受损,提出了一种改进的DeepLabV3网络语义分割模型。利用Canny算法优异的检测能力对裂缝边缘进行提取,改进分割网络的上采样层进行残差多层采样;优化空洞卷积的扩张率降低感受野,平衡网络对不同尺度裂缝的敏感度;融合并行注意力模块抑制分割模型易产生的伪影效应,获取更具互补性的裂缝特征。在公开数据集上进行训练与预测,在全卷积网络 (FCN)结合条件随机场(CRF)方法、Deep LabV3方法、Deep LabV3+方法与Lraspp方法中开展了对比实验。实验结果表明,本方法的MPA为98.73%,MIOU为87.53%,有效抑制噪声干扰,分割结果精确且连续。     

结合语义边界信息的道路环境语义分割方法

语义分割是实现道路语义环境解释的重要方法,深度学习语义分割由于卷积、池化及反卷积的作用使分割边界模糊、不连续以及小目标漏分错分,影响了分割效果,降低了分割精度。针对上述问题,提出了一种结合语义边界信息的新的语义分割方法,首先在语义分割深度模型中构建了一个语义边界检测子网,利用网络中的特征共享层将语义边界检测子网络学习到的语义边界信息传递给语义分割网络;然后结合语义边界检测任务和语义分割任务定义了新的模型代价函数,同时完成语义边界检测和语义分割两个任务,提升语义分割网络对物体边界的描述能力,提高语义分割质量。最后在Cityscapes数据集上进行一系列实验证明,结合语义边界信息的语义分割方法在准确率上比已有的语义分割网络SegNet提升了2.9%,比ENet提升了1.3%。所提方法可以改善语义分割中出现的分割不连续、物体边界不清晰、小目标错分漏分、分割精度不高等问题。     

跨层细节感知和分组注意力引导的遥感图像语义分割

目的 语义分割是遥感图像智能解译的关键任务之一,遥感图像覆盖面广,背景交叉复杂,且地物尺寸差异性大。现有方法在复杂背景下的多尺度地物上分割效果较差,且分割区域破碎边界不连续。针对上述问题,提出了一种跨层细节感知和分组注意力引导的语义分割模型用于高分辨率遥感图像解析。方法 首先采用结构新颖的ConvNeXt骨干网络,编码输入图像的各层次特征。其次,设计了分组协同注意力模块,分组并行建模通道和空间维度的特征依赖性,通道注意力和空间注意力协同强化重要通道和区域的特征信息。接着,引入了自注意力机制,构建了跨层细节感知模块,利用低层特征中丰富的细节信息,指导高层特征层学习空间细节,保证分割结果的区域完整性和边界连续性。最后,以山西省太原市为研究区域,自制高分辨率遥感太原市城区土地覆盖数据集（Taiyuan urban land cover dataset,TULCD）,所提方法实现了太原市城区土地覆盖精细分类任务。结果 实验在自制数据集TULCD和公开数据集Vaihingen上与最新的5种算法进行了比较,所提方法在两个数据集上平均像素准确率（mean pixel accuracy,mPA）为74.23%、87.26%,平均交并比（mean intersection over union,mIoU）为58.91%、77.02%,平均得分mF1为72.24%、86.35%,均优于对比算法。结论 本文提出的高分辨率遥感图像语义分割模型具有较强的空间和细节感知能力,对类间差异小的相邻地物也有较强的鉴别能力,模型的整体分割精度较高。     

融合注意力机制的端到端的街道场景语义分割

随着注意力机制的出现,研究人员开始通过对神经网络的特征图中的不同关注角度添加注意力机制来提升图像语义分割准确率.现有融合注意力机制的方法,大多通过计算像素与其它像素之间的关系来求得该像素点的注意力权值,这些方法提升效果具有局限性.针对以上问题,设计了两种不同的注意力模块：空间-条形注意力和通道注意力,提出了一种融合注意力机制的端到端的街道场景语义分割方法.空间-条形注意力采用两种不同条形池化核,捕获条形分布区域之间的长距离依赖关系,可以有效捕获局部和全局上下文信息.在Cityscapes数据集上的实验表明,该算法在验证集和测试集上的分割精度分别为76.89%、77.8%,与现有的算法相比有更好的表现.本文结合人类视觉注意力的特点,提出的两个注意力模型,使得街道场景下的语义分割效果更加准确.     

融合Canny边缘检测的多输出损失肺炎CT图像分割算法

针对肺炎的影像学特征如弥漫、多灶、磨玻璃的特点,提出一种肺部感染CT图像分割算法CEDMO。算法主干网络使用ResNet50,在特征提取中,先利用Canny算子对分割目标边缘进行检测,得到的边缘信息再与ResNet50进行融合计算,边缘信息还在解码器部分的多目标输出计算中作为一个引导值。在解码器部分对PSA注意力机制改进并设计了多输出约束,以获得了更多的细节信息和多个尺度的特征。在多输出中,设计了5个输出路径,每个路径的Loss都参与约束计算,使得训练结果加快收敛,从而提高计算效率。最后通过实验对比基线模型的结果,3个指标优于基线模型,其中Dice系数、灵敏度(SE)、增强对准度量(E_?^m)依次提高了4.7、4.5和1.3个百分点。     

基于全卷积网络的图像语义分割方法综述

自全卷积网络(Fully Convolutional Network,FCN)提出以后,应用深度学习技术在图像语义分割领域受到了许多计算机视觉和机器学习研究者的关注,现在这一方向已经成为人工智能方向的研究热点.FCN的核心思想是搭建一个全卷积网络,输入任意尺寸的图像,经过模型的有效学习和推理得到相同尺寸的输出.FCN的提出给图像语义分割领域提供了新的思路,但也存在很多的缺点,比如特征分辨率低、对象存在多尺度问题等.随着研究者不断的钻研,卷积神经网络在图像分割领域逐渐得到了优化和拓展,基于FCN的主流分割框架也层出不穷.图像语义分割对于场景理解的重要性日渐突出,被广泛应用到无人驾驶技术、无人机领域和医疗影像检测与分析等任务中.因此,对图像语义分割领域的研究将值得深入研究,使其能够更好在实际应用中大放异彩.     

基于神经网络的颗粒图像边缘混合检测方法

针对颗粒图像的特点,提出一种基于神经网络的边缘混合检测方法,该方法包含边界候选象素提取和神经网络边缘检测两部分,神经网络由用于图像信息压缩与图像信息编码的自组织竞争子神经网络（ＡＳＣＳＮＮ）和用于获取图像边缘矢量信息的基于径向函数子神经网络（ＲＢＦＳＮＮ）组成,实验结果表明,该方法分割颗粒图像得到的边缘图像封闭性好,边界描述真实,适用于堆积颗粒物料图像的边缘检测。     

基于弱语义分割的轻量化交通标志检测网络

针对现有网络在检测高分辨率交通标志图片时速度过慢、精确度较低等问题,提出一种轻量化交通标志检测网络。在MobileNetv3-Large基础上对YOLOv4网络的骨干部分进行优化,针对数据集的特点舍弃部分耗时层,更改第8层和第14层的输出通道数,并改进基础模块中通道域注意力网络的注意力机制,使输出的权重数值能更准确地表征特征的重要程度。在检测头前加入基于弱语义分割的动态增强附件,利用其输出作为空间权重分布来矫正激活区域,以避免提取能力下降导致误检、漏检问题,最终构成YOLOv4-SLite网络。采用滑窗剪裁的方法对高分辨率图片进行训练和预测,从而减少训练时间及增加样本的多样性。在TT100K交通标志数据集上的实验结果表明,相较于YOLOv4基准网络,YOLOv4-SLite网络的mAP@0.5仅下降了0.2%,但模型大小减少了96.5%,响应速度提升了227%,精确度与速度的平衡效果达到了预期。     

基于边缘特征和注意力机制的图像语义分割

在语义分割任务中, 编码器的下采样过程会导致分辨率降低, 造成图像空间信息细节的丢失, 因此在物体边缘会出现分割不连续或者错误分割的现象, 进而对整体分割性能产生负面影响. 针对上述问题, 提出基于边缘特征和注意力机制的图像语义分割模型EASSNet. 首先, 使用边缘检测算子计算原始图像的边缘图, 通过池化下采样和卷积运算提取边缘特征. 接着, 将边缘特征融合到经过编码器提取的深层语义特征当中, 恢复经过下采样的特征图像的空间细节信息, 并且通过注意力机制来强化有意义的信息, 从而提高物体边缘分割的准确性, 进而提升语义分割的整体性能. 最后, EASSNet在PASCAL VOC 2012和Cityscapes数据集上的平均交并比分别达到85.9%和76.7%, 与当前流行的语义分割网络相比, 整体分割性能和物体边缘的分割效果都具有明显优势.     

基于图像语义分割和CNN模型的老人跌倒检测

随着老龄化社会的到来,独居老人的安全问题越来越引人关注.其中,跌倒是老人在家中最常见也是危害最大的风险之一.当前已经有许多关于老人跌倒检测的算法,它们大多应用在摄像头固定的场景下,并主要采用前景提取方法来获取人体轮廓.采用固定摄像头意味着需要为家中每一处独立的空间都安装监控设备才能保证对于老人的全面监控,这显然不实用.基于此,本文采用图像语义分割算法和CNN分类模型,提出了一种可用于移动摄像头上的老人跌倒检测算法.首先采用当前流行的全卷积神经网络（fully convolutional network）语义分割算法^[1]分割出图像中的人体,对于满足面积比例条件的情况,直接通过宽高比特征判断人体是否处于跌倒状态;否则,提出一种融合的CNN人体姿态判别模型,将人体区域分成Stand、Fall、Half-Lying三种情况分别进行检测,最后根据三者的分类结果判定图像中是否包含跌倒人体.实验结果显示,文中的算法在具有较高的识别准确率（91.32%）的同时,具有较低的误报率（1.66%）.     

基于增强特征融合解码器的语义分割算法

针对语义分割中全卷积神经网络解码器部分特征融合低效的问题,设计一种增强特征融合的解码器。级联深层特征与降维后的浅层特征,经过卷积运算后引入自身平方项的注意力机制,通过卷积预测自身项与自身平方项各通道的权重,利用乘法增强后对结果进行作和。基于pascal voc2012数据集的实验结果表明,该解码器相比原网络mIoU指标提升2.14%,结合不同特征融合方式的解码结果也验证了其性能优于同一框架下的其他对比方法。     

基于多角度信息交互的文本语义匹配模型

现有的文本语义匹配方法大多基于简单的注意力机制进行交互,较少考虑文本自身结构信息和文本之间原始信息的的交互。针对2个中文文本的语义匹配问题,构建一个多角度信息交互的文本匹配模型MAII。分别从颗粒、局部、全局3个角度计算2个文本深层次的语义交互矩阵,同时考虑语序信息之间和结构信息之间的交互以及文本内部的依赖关系,从而得到含有丰富信息的语义向量,并通过语义推理计算出两文本之间的语义匹配度。实验结果表明,相比在英文数据集上表现良好的DSSM、ESIM和DIIN模型,MAII模型在CCKS 2018问句匹配大赛的中文数据集上达到77.77%的准确率,表现出更好的匹配性能。     

基于PCNN的灰度图像边缘检测方法

脉冲耦合神经网络(PCNN)最初由Eckhorn根据猫大脑中视觉皮层神经元的同步脉冲(SynchronousBurst)现象而提出。由于具有一系列良好的特性,PCNN在图像处理、模式识别等领域获得了广泛的应用。文献[6]根据PCNN的传播特性提出了一种利用PCNN检测二值图像边缘的有效方法,但这种方法并不能直接用于对灰度图像的边缘进行检测。由于实际处理的图像大部分为灰度图像,因而其方法的适用性是很有限的。该文提出了一种基于PCNN的灰度图像边缘检测方法,从而直接对256色灰度图像的边缘进行提取,具有较好的适用性。实验结果表明该方法是有效的。     

基于CNN跨层融合结构的边缘检测算法

传统边缘检测算法难以处理复杂的图像, 而现有基于深度的边缘检测模型, 其检测结果往往存在边缘定位错误和信息丢失等现象. 针对此类问题, 提出一种基于RCF的高精度的边缘检测算法RCF-CLF. 首先, 引入HDC结构设计用于避免因叠加相同膨胀卷积而引起的网格效应; 其次, 设计了一种特征增强结构, 旨在融合多尺度信息、扩大感受野; 然后, 设计了跨层融合结构, 将高层信息和低层信息融合, 用于提取准确的边缘信息; 最后, 引入注意力机制CBAM, 通过聚焦物体边缘区域, 抑制非边缘区域, 从而提高网络对边缘信息的提取能力. 本文在BSDS500和BIPED数据集上评估所提出的方法, 与RCF算法相比, 在BIPED数据集上, 主要指标ODS、OIS和AP分别达到了0.893、0.901和0.945, 提高了近5个百分点, 在BSDS500数据集上, 主要指标也有所提升. 此外, 与其他同类算法相比, 本文算法也具有一定的优势, 可以实现更加准确的边缘定位.     

基于边缘增强的遥感图像弱监督语义分割方法

随着弱监督学习被应用于遥感图像语义分割,大大降低了模型训练的数据成本。然而,由于监督信息不足,类激活图难以准确激活出遥感图像中不同尺度大小的目标,这使得基于类激活图获得的伪分割掩码边缘粗糙,从而导致最终的分割结果不准确。此外,大部分的弱监督语义分割方法都是基于可视化的两阶段方法,模型复杂繁琐。针对上述问题,设计了一种基于边缘增强的端到端弱监督语义分割网络。在特征空间边缘增强模块中,以自监督方式引导网络学习遥感图像中尺寸不一的目标,并且,细化伪分割掩码的边缘;在输出空间边缘增强模块中,通过端到端训练提升分割精度,同时降低模型训练的繁琐度。在ISPRS 2D数据集上的实验结果表明,该方法在仅使用图像级标签的情况下MIoU分别为57.72%和59.45%,与其他方法相比,效果较好。     

基于边缘计算的疲劳驾驶检测方法

现有疲劳驾驶检测方法通常将驾驶过程中采集的数据传输至云端进行分析,然而在车辆移动过程中网络覆盖范围、响应速度等因素会造成检测实时性差。为在车载嵌入式设备上对驾驶人疲劳状态进行准确预警,提出一种基于边缘计算的疲劳驾驶检测方法。通过改进的多任务卷积神经网络确定人脸区域,根据人脸的面部比例关系定位驾驶人的眼部与嘴部区域,利用基于Ghost模块的轻量化AlexNet分类检测眼部与嘴部的开闭状态,并结合PERCLOS和PMOT指标值实现疲劳检测。在NHTU-DDD数据集上的实验结果表明,该方法在树莓派4B开发板上的检测准确率达到93.5%且单帧平均检测时间为180 ms,在保障检测准确率的同时大幅降低了计算量,能较好地满足疲劳驾驶的实时检测需求。