DECANet：基于改进DeepLabv3+的图像语义分割方法

在图像的语义分割任务中,不同对象之间像素值存在差异,导致现有的网络模型在图像语义分割过程中丢失图像局部细节信息。针对上述问题,提出一种图像语义分割方法（DECANet）。首先,引入通道注意力网络模块,通过对所有通道的依赖关系进行建模提高网络的表达能力,选择性地学习并强化通道特征,提取有用信息,抑制无用信息。其次,利用改进的空洞空间金字塔池化（ASPP）结构,对提取到的图像卷积特征进行多尺度融合,减少图像细节信息丢失,且在权重参数不改变的情况下提取语义像素位置信息,加快模型的收敛速度。最后,DECANet在PASCAL VOC2012和Cityscapes数据集上的平均交并比分别达81.08%和76%,与现有的先进网络模型相比,检测性能更优,可以有效地捕获局部细节信息,减少图像语义像素分类错误。     

基于全卷积神经网络的非对称并行语义分割模型

针对RGB图像具有丰富的色彩细节特征,红外图像对目标轮廓、尺寸、边界等外形特征有较高敏感度的特点,提出了一种非对称并行语义分割模型APFCN（Asymmetric Parallelism Fully Convolutional Networks）.APFCN上路设计了一个卷积核尺寸非统一的五层空洞卷积网络来提取红外图像目标高层轮廓特征;下路沿用卷积加池化网络提取RGB图像三个尺度上的细节特征;后端将红外图像高层特征与RGB图像三个尺度的细节特征进行融合,并将4倍上采样后的融合特征作为语义分割输出.结果表明,APFCN在像素精度和交并比等方面均优于FCN（输入为RGB图像或红外图像）,适用于背景一致下地面目标的语义分割任务.     

基于语义分割的多目标违禁品识别算法

基于深度学习的语义分割算法可以实现安检违禁品自动识别,并获得违禁品的位置、类别及形状信息。但传统的语义分割算法在面对违禁品尺寸不一且目标多样的识别任务时表现较差。针对该问题,本文提出了一种基于语义分割技术的多目标违禁品识别算法。编码阶段,设计使用空洞空间金字塔卷积模块（Atrous Spatial Pyramid Convolution Block, ASPC）,提升网络对于特征图多尺度信息的挖掘能力。同时引入注意力机制,对ASPC模块的特征提取过程进行监督,进一步提升模块的特征提取能力。解码阶段,受U-Net模型启发,采用逐级上采样操作,同时加入1×1卷积实现通道降维,减少计算量,提升模型运行速度。实验结果显示,本文提出的算法在多目标违禁品识别任务中表现良好,平均交并比（mIoU）得分78.62,处理单张图片用时（Time）68ms。      

基于实景数据增强和双路径融合网络的实时街景语义分割算法

街景图像的分割在工业运用中具有十分重要的作用,但是街景图像具有种类繁多、光照多变等特点,此外,街景分割任务在追求准确性的同时要兼顾实时性,以上特点使得该任务具有很大的挑战性.本文针对这一挑战性任务提出了一个由空间路径和细节路径组成的双路径网络（Dual-path Fusion Network,DFNet）,其中细节路径利用高分辨率的输入得到丰富的边界信息,空间路径利用细节路径产生的高质量特征图获得足够多的语义信息;网络的开始嵌入了一个可训练的图像预处理模块（Image Preprocessing Module,IPM）,该模块可以使光照不同的图像进入网络正式训练之前在RGB通道上具有方差和均值的一致性;经过预处理模块之后的特征图会分别输入到细节路径和空间路径;本文提出了一个条状注意力细化模块（Attention Refinement Module,ARM）,并将其放到空间路径的最后,可以将通道级信息和局部条状信息有效结合起来;在网络的最后,利用图像融合模块（Feature Fusion Module,FFM）对两条路径的特征信息进行融合,得到最后的分割结果 .同时,本文还提出了一种基于...     

基于图像分割网络的深度假脸视频篡改检测

随着深度学习技术的快速发展,利用深度神经网络模型伪造出的深度假脸(deepfake)视频越来越逼真,假脸视频造成的威胁也越来越大。文献中已出现一些基于卷积神经网络的换脸视频检测算法,他们在库内获得较好的检测效果,但跨库检测性能急剧下降,存在泛化能力不足的问题。该文从假脸篡改的机制出发,将视频换脸视为特殊的拼接篡改问题,利用流行的神经分割网络首先预测篡改区域,得到预测掩膜概率图,去噪并二值化,然后根据换脸主要发生在人脸区域的前提,提出一种计算人脸交并比的新方法,并进一步根据换脸处理的先验知识改进人脸交并比的计算,将其作为篡改检测的分类准则。所提出方法分别在3个不同的基础分割网络上实现,并在TIMIT, FaceForensics++, FFW数据库上进行了实验,与文献中流行的同类方法相比,在保持库内检测的高准确率同时,跨库检测的平均错误率显著下降。在近期发布的合成质量较高的DFD数据库上也获得了很好的检测性能,充分证明了所提出方法的有效性和通用性。

     

改进多图谱配准的三维医学图像分割算法

为提高海马体分割精度与时间效率,在多图谱分割(Multi-Atlas Segmentation, MAS)脑部图像的配准阶段提出可变形配准网络EDUNet。针对浮动图像与固定图像,进行数据预处理,使其受到外界的影响最小,在配准阶段,用ANTs代替传统“粗”配准,利用卷积神经网络(Convolutional Newral Nerwork, CNN)改进“精”配准,对配准场进行估计,并引入注意力机制及空洞卷积模块。注意力机制用于自动学习和优化注意力特征,加强特征表达能力;空洞卷积扩大感受野,获取多尺度信息;配准中使用端到端网络,减少配准时间、提高配准效率。算法在OASIS数据集与LBPA40数据集进行了验证,配准精度可达0.786 3,使用基于局部二元模式的特征提取方法进行标签融合后,最终分割精度较其他方法提升3%～10%,验证了算法的有效性和准确性。     

基于图像分割网络的深度假脸视频篡改检测

随着深度学习技术的快速发展,利用深度神经网络模型伪造出的深度假脸(deepfake)视频越来越逼真,假脸视频造成的威胁也越来越大.文献中已出现一些基于卷积神经网络的换脸视频检测算法,他们在库内获得较好的检测效果,但跨库检测性能急剧下降,存在泛化能力不足的问题.该文从假脸篡改的机制出发,将视频换脸视为特殊的拼接篡改问题,利用流行的神经分割网络首先预测篡改区域,得到预测掩膜概率图,去噪并二值化,然后根据换脸主要发生在人脸区域的前提,提出一种计算人脸交并比的新方法,并进一步根据换脸处理的先验知识改进人脸交并比的计算,将其作为篡改检测的分类准则.所提出方法分别在3个不同的基础分割网络上实现,并在TIMIT,FaceForensics++,FFW数据库上进行了实验,与文献中流行的同类方法相比,在保持库内检测的高准确率同时,跨库检测的平均错误率显著下降.在近期发布的合成质量较高的DFD数据库上也获得了很好的检测性能,充分证明了所提出方法的有效性和通用性.     

基于多尺度特征融合和注意力机制的医学图像分割网络

针对传统编解码结构的医学图像分割网络存在特征信息利用率低、泛化能力不足等问题,该文提出了一种结合编解码模式的多尺度语义感知注意力网络(multi-scale semantic perceptual attention network,MSPA-Net) 。首先,该网络在解码路径加入双路径多信息域注意力模块(dual-channel multi-information domain attention module,DMDA) ,提高特征信息的提取能力;其次,网络在级联处加入空洞卷积模块(dense atrous convolution module,DAC) ,扩大卷积感受野;最后,借鉴特征融合思想,设计了可调节多尺度特征融合模块 (adjustable multi-scale feature fusion,AMFF) 和双路自学习循环连接模块(dual self-learning recycle connection module,DCM) ,提升网络的泛化性和鲁棒性。为验证网络的有效性,在CVC-ClinicDB、ETIS-LaribPolypDB、COVID-19 CHEST X-RAY、Kaggle_3m、ISIC2017和Fluorescent Neuronal Cells等数据 集上进行验证,实验结果表明,相似系数分别达到了94.96%、92.40%、99.02%、90.55%、92.32%和75.32%。因此,新的分割网络展现了良好的泛化能力,总体性能优于现有网络,能够较好实现通用医学图像的有效分割。     

基于高度有效驱动注意力与多层级特征融合的城市街景语义分割北大核心CSCD

针对DeepLabv3+网络在进行城市街景图像分割任务时,没有充分利用到网络中多层级特征信息,导致分割结果存在大目标有孔洞、边缘目标分割不够精细等不足;并且考虑到城市街景数据具有天然的空间位置特殊性,本文提出在DeepLabv3+网络的基础上引入高度有效驱动注意力机制(height-driven efficient attention model,HEAM)与多层级特征融合模块(multi-stage feature fusion model,MFFM),将HEAM嵌入特征提取网络与空洞空间金字塔池化(atrous spatial pyramid pooling,ASPP)结构中,使其对目标关注更多垂直方向上的空间位置信息;MFFM通过融合多层特征图,在网络中形成多条融合支路依次连接到网络解码端,采用逐次上采样提高解码时像素上的连续性。将改进的网络通过CamVid城市街景数据集验证测试,实验结果表明,该网络能有效改善DeepLabv3+的不足,并且合理运用了数据集的位置先验性,增强了分割效果,在CamVid测试集上平均交并比(mean intersection over union,MIoU)达到了68.2%。     

基于DeepLab V3+改进的图像语义分割模型

针对DeepLab V3+模型的解码器部分对于特征图的多尺度连接不够充分,会使最终的语义分割图的分割精细度较低的问题,本文在DeepLab V3+模型的编码器部分增加输出一个中级语义特征图,在解码器部分对所得的特征图进行了 concat融合,进而提高了分割精度.在公开数据集上进行验证,实验结果表明改进的DeepLab ...     

基于多尺度空洞分离卷积的U-Net分割前列腺图像

前列腺核磁共振(magnetic resonance,MR)影像切片后发现有些影像 没有有效的边缘信息,这导致无法明 确定位边缘位置,进而无法分割出前列腺。同时,传统的卷积网络需要参数量庞大占用模型 的存储空间过多。本文提出了一种结合多尺度空洞可分离卷积和通道注意力的U-Net来分 割 前列腺的方法。首先,对50个3维(three-dimensional,3D)前列腺样品进行切片并对切片后图像 进行对比度增强。随 后,将处理后数据输入到残差U-Net中,使用多尺度空洞卷积和通道注意力作为编码-解 码 单元来提取特征信息。最后,使用Dice系数和豪斯多夫距离(Housdorff distance, HD)来评估分割结果。实验 在PROMISE12挑战赛数据集验证,最终Dice系数和HD分别为88.13%、14.17 mm,参数量和 存储空间降低57%。结果表明,本文方法不仅可以分割出没有有效边缘 的前列腺区域提高其分 割精度而且能有效的降低参数量和存储空间,能够应用于模糊边缘的医学图像中。     

基于U-Net的遥感图像语义分割

遥感图像由于包含的地物尺度差别大、地物边界复杂等原因,造成准确提取遥感图像特征具有一定难度,精确分割遥感图像比较困难。针对这一问题,提出了一种编码-解码器的AFU-Net网络。在U-Net基础上使用一个自下而上、自上而下的结构,并引入密集跳跃连接得到融合不同层次的多尺度特征。使用非对称卷积块强化水平和垂直方向的平方卷积核,并采用残差单元加深网络深度。利用FReLU激活函数提升网络解析能力,从而提高遥感图像语义分割精度。在ISPRS的Vaihingen数据集实验结果表明,AFU-Net结构的性能要优于FCN,U-Net等算法。     

基于3D全卷积网络的腹部动脉CTA分割算法

目前卷积神经网络已成为腹部动脉血管分割领域的研究热点,但经典的卷积网络存在分割精度低和分割血管不连续的问题。为此,文中提出了基于改进3D全卷积网络的腹部动脉血管分割算法。该方法在网络的编码路径上构造不同尺度的侧输入,并将侧输入卷积后的图像与下采样卷积后的图像进行融合,提取更多的特征信息。同时,网络中嵌入了新的多尺度特征提取模块,该模块将通道注意力与密集扩张卷积进行了融合,有效地捕获了更高层次的特征信息。对腹部动脉血管进行分割的结果表明,与其他分割方法相比,所提方法在直观性和定量性上均有提高,证明了该方法能够提升血管分割精度。     

基于深度网络的图像语义分割综述

图像语义分割不仅预测一幅图像中的不同类别,同时还定位不同语义类别的位置,具有重要的研究意义和应用价值.本文阐述了图像语义分割最新的研究成果和方法,从三个角度综述了基于深度卷积神经网络的图像语义分割模型,分别是基于候选区域模型、基于全卷积网络模型和基于弱监督学习的语义分割模型,对这三类模型的方法和结构进行了详细的研究和分析.并在PASCAL VOC 2012数据集上对一些代表性的语义分割算法的性能进行了比较分析.     

基于改进U-Net网络的甲状腺结节超声图像分割方法

针对甲状腺结节尺寸多变、超声图像中甲状腺结节边缘模糊导致难以分割的问题,该文提出一种基于改进U-net网络的甲状腺结节超声图像分割方法。该方法首先将图片经过有残差结构和多尺度卷积结构的编码器路径进行降尺度特征提取;然后,利用带有注意力模块的跳跃长连接部分对特征张量进行边缘轮廓保持操作;最后,使用带有残差结构和多尺度卷积结构的解码器路径得到分割结果。实验结果表明,该文所提方法的平均分割Dice值达到0.7822,较传统U-Net方法具有更优的分割性能。