结合密集连接块和自注意力机制的腺体细胞分割方法

针对目前常用的细胞分割方法在对腺体细胞进行分割时易出现误分割和分割不精细的问题,提出一种以U-Net为基本框架,结合密集连接块和自注意力机制的腺体细胞分割模型.首先将U-Net结构中卷积层组合构建成密集连接块,以不同尺度从图像中提取信息;然后在解码端引入自注意力机制,通过对局部特征建立丰富的上下文依赖模型,抑制不必要的...     

基于深度学习高分辨率遥感影像语义分割

高分辨率遥感影像含有丰富的地理信息. 目前基于传统神经网络的语义分割模型不能够对遥感影像中小物体进行更高维度的特征提取, 导致分割错误率较高. 本文提出一种基于编码与解码结构特征连接的方法, 对DeconvNet网络模型进行改进. 模型在编码时, 通过记录池化索引的位置并应用于上池化中, 能够保留空间结构信息; 在解码时, 利用编码与解码对应特征层连接的方式使模型有效地进行特征提取. 在模型训练时, 使用设计的预训练模型, 可以有效地扩充数据, 来解决模型的过拟合问题. 实验结果表明, 在对优化器、学习率和损失函数适当调整的基础上, 使用扩充后的数据集进行训练, 对遥感影像验证集的分割精确度达到95%左右, 相对于DeconvNet和UNet网络模型分割精确度有显著提升.     

基于3D路径聚合高分辨率网络的胰腺分割

目的 胰腺的准确分割是胰腺癌识别和分析的重要前提。现有基于深度学习的主流胰腺分割网络大多是编码—解码结构,对特征图采用先降低再增加分辨率的方式,严重丢失了胰腺位置和细节信息,导致分割效果不佳。针对上述问题,提出了基于3D路径聚合高分辨率网络的胰腺分割方法。方法 首先,为了捕获更多3D特征上下文信息,将高分辨率网络中的2D运算拓展为3D运算;其次,提出全分辨特征路径聚合模块,利用连续非线性变换缩小全分辨率输入图像与分割头网络输出特征语义差异的同时,减少茎网络下采样丢失的位置和细节信息对分割结果的影响;最后,提出多尺度特征路径聚合模块,利用渐进自适应特征压缩融合方式,避免低分辨率特征通道过度压缩导致的信息内容损失。结果 在公开胰腺数据集上,提出方法在Dice系数（Dice similarity coefficient,DSC）、Jaccard系数（Jaccard index,JI）、精确率（precision）和召回率（recall）上相比3D高分辨率网络（3D high-resolution net,3DHRNet）分别提升了1.41%、2.09%、2.35%和0.49%,相比具有代表性编码—解码结构的胰腺分割方法,取得了更高的分割精度。结论 本文提出的3D路径聚合高分辨率网络（3D pathaggregation high-resolution network,3DPAHRNet）具有更强的特征位置和细节信息的保留能力,能够显著改善在腹部CT（computed tomography）图像中所占比例较小的胰腺器官的分割结果。开源代码可在https：//github.com/qiuchengjian/PAHRNet3D获得。     

基于二维隐Markov模型的图像分割新算法

提出了一种新的二维隐Markov模型解码准则,利用贪心法求得次最优解,在一些假设的基础上推导出计算上可行的递归形式;并将新的解码准则应用于图像分割,实现了一种迭代的图像分割算法.每一次迭代中,解码过程按照自上而下、自左向右的顺序进行.此外,还针对基于二维隐Markov模型的图像分割方法存在的常见问题,给出了简单有效的后处理方案,消除了孤立点,取得了较好的分割效果.     

多注意力机制网络卫星图像分割算法

针对深度学习的语义分割法,在卫星图像分割中对半岛、小岛和湖泊细小支流的边缘信息提取丢失问题,提出了多注意力机制网络（MA-Net）卫星图像分割算法,弥补了边缘信息提取丢失问题。该算法的框架采用了端到端的对称结构,由编码和解码两部分组成。编码部分采用改进的VGG16网络提取湖泊的纹理特征,解码部分引入全局平均池化注意力融合机制（GPA）,能够有效融合编码部分提取的纹理特征,得到高分辨率的卫星图像特征图。在网络的输出端加入注意力机制模块（Attention）,充分提取湖泊边缘信息,有效分割出半岛、小岛和湖泊细小支流。实验结果表明,该模型相比现有语义分割算法,具有更好的分割精度,各项分割指标都有提升,并且在公共数据集City Scapes上验证了模型具有通用性。     

基于全融合网络的三维点云语义分割

为提高室内场景的点云语义分割精度,设计了一个全融合点云语义分割网络。网络由特征编码模块、渐进式特征解码模块、多尺度特征解码模块、特征融合模块和语义分割头部组成。特征编码模块采用逆密度加权卷积作为特征编码器对点云数据进行逐级特征编码,提取点云数据的多尺度特征;然后通过渐进式特征解码器对高层语义特征进行逐层解码,得到点云的渐进式解码特征。同时,多尺度特征解码器对提取的点云多尺度特征分别进行特征解码,得到点云多尺度解码特征。最后将渐进式解码特征与多尺度解码特征融合,输入语义分割头部实现点云的语义分割。全融合网络增强了网络特征提取能力的鲁棒性,实验结果也验证了该网络的有效性。     

基于卷积神经网络的语义分割算法研究

针对语义分割中残差网络并不能完好地提取图像信息和分割效果差的问题,提出一种联合特征金字塔模型(JFP)用来融合残差网络的输出特征,并结合暗黑空间金字塔池化模型(ASPP)进一步提取特征。在解码部分应用简单的解码结构,恢复图像尺寸完成语义分割;同时引入注意力模型作为辅助语义分割网络,辅助神经网络进行训练。该方法分别在Pascal VOC 2012数据集和增强的Pascal VOC 2012数据集上对网络进行训练,并在Pascal VOC 2012的验证集上进行测试,其平均交并集之比(mIoU)分别达到了78.55%和80.14%,表明该方法具有良好的语义分割性能。     

融合全局推理和MLP架构的甲状腺结节分割模型

针对甲状腺结节分割中存在的超声图像噪声干扰较大、结节尺寸多变和现有模型计算复杂度较高的问题,文中构建融合全局推理和多层感知机(Multi-layer Perception, MLP)架构的甲状腺结节分割模型.模型以轴向移位MLP模块为基础架构,以更小的计算复杂度实现不同空间位置特征之间的交互.在编码部分,融合端到端的全局推理单元,基于图卷积对图像全局信息进行交互,缓解图像噪声干扰较大的影响.在解码部分,引入金字塔特征层,完成多尺度特征交互,应对结节尺寸多变的问题.在DDIT数据集上的实验表明,文中模型性能较优,此外,文中模型还适用于乳腺结节分割、视网膜血管分割等其它医学图像分割任务.     

多尺度特征自适应融合的图像语义分割算法

为解决Deeplab v3+网络在解码过程中仅融合一个尺度编码特征,导致部分细节信息丢失,从而造成最终分割结果较为粗糙等问题,提出多尺度特征自适应融合的图像语义分割算法.该算法在Deeplab v3+的解码过程中使用自适应空间特征融合结构,给不同尺度的编码特征分配自适应的融合权重,通过融合编码过程中的多尺度特征进行特征...     

基于多级特征融合的伪装目标分割

在伪装目标分割任务中,如何提取深度模型下高分辨率的目标语义特征是构建目标分割模型的关键。针对此问题,提出了一种基于多级特征融合的伪装目标分割方法。在特征编码过程中,引入多级门控模块对Res2Net-50的多级中间层特征进行选择性融合,有效过滤各级特征图的干扰信息;在解码过程中,通过自交互残差模块驱动不同尺度的编码特征实现交叉融合,获得更准确的目标表示信息。此外,在交叉熵损失的基础上加入Dice损失形成联合损失函数,帮助模型更精准地分割伪装目标。实验结果证明,在背景复杂的迷彩伪装数据集以及三个常用自然伪装数据集上,相比其他典型模型,该模型表现出更好的分割效果。     

一种融合多级特征信息的图像语义分割方法

卷积神经网络因为其强大的学习能力,已经在语义分割任务中取得了显著的效果,但是如何有效地利用网络在浅层次的视觉特征和深层次的语义特征一直是研究的热点,以此为出发点,提出了一种融合多级特征信息的图像语义分割方法。通过空洞卷积提取各层级的特征,并不断迭代深层特征来丰富低级视觉信息,最后与高级语义特征合并融合,得到精细的语义分割结果。实验在PASCAL VOC 2012数据集上与主流的五种方法进行了比较,在GTX1080Ti的环境下该方法与其中性能第二的模型mIoU（mean intersection-over-union）值相比提高了2.1%,与其中性能第一的模型mIoU值仅相差0.4%,表明该方法能有效利用多层级的特征信息,实现了图像语义分割的目的。     

分级特征融合的图像语义分割

在图像语义分割中,利用卷积神经网络对图像信息进行特征提取时,针对卷积神经网络没有有效利用各层级间的特征信息而导致图像语义分割精度受损的问题,提出分级特征融合的图像语义分割方法.该方法利用卷积结构分级提取含有像素级的浅层低级特征和含有图像级的深层语义特征,进一步挖掘不同层级间的特征信息,充分获取浅层低级特征和深层语义特征...     

基于RGB-D的反向融合实例分割算法

RGB-D 图像在提供场景 RGB 信息的基础上添加了 Depth 信息,可以有效地描述场景的色彩及 三维几何信息。结合 RGB 图像及 Depth 图像的特点,提出一种将高层次的语义特征反向融合到低层次的边缘 细节特征的反向融合实例分割算法。该方法通过采用不同深度的特征金字塔网络(FPN)分别提取 RGB 与 Depth 图像特征,将高层特征经上采样后达到与最底层特征同等尺寸,再采用反向融合将高层特征融合到低层,同时 在掩码分支引入掩码优化结构,从而实现 RGB-D 的反向融合实例分割。实验结果表明,反向融合特征模型能 够在 RGB-D 实例分割的研究中获得更加优异的成绩,有效地融合了 Depth 图像与彩色图像 2 种不同特征图像 特征,在使用 ResNet-101 作为骨干网络的基础上,与不加入深度信息的 Mask R-CNN 相比平均精度提高 10.6%, 比直接正向融合 2 种特征平均精度提高 4.5%。     

高精度实时语义分割算法框架: 多通道深度加权聚合网络

近年来随着深度学习技术的不断发展,涌现出各种基于深度学习的语义分割算法,然而绝大部分分割算法都无法实现推理速度和语义分割精度的兼得.针对此问题,提出一种多通道深度加权聚合网络(MCDWA_Net)的实时语义分割框架.\:该方法首先引入多通道思想,构建一种3通道语义表征模型,3通道结构分别用于提取图像的3类互补语义信息:低级语义通道输出图像中物体的边缘、颜色、结构等局部特征;辅助语义通道提取介于低级语义和高级语义的过渡信息,并实现对高级语义通道的多层反馈;高级语义通道获取图像中上下文逻辑关系及类别语义信息.\:之后,设计一种3类语义特征加权聚合模块,用于输出更完整的全局语义描述.\:最后,引入一种增强训练机制,实现训练阶段的特征增强,进而改善训练速度.\:实验结果表明,所提出方法在复杂场景中进行语义分割不仅有较快的推理速度,且有很高的分割精度,能够实现语义分割速度与精度的均衡.     

改进Deeplab v3+网络的手术器械分割方法

针对当前国内手术器械管理耗费人力,智能化程度低的问题,提出一种动态学习特征的改进Deeplab v3+网络模型语义分割算法。为了加强相关任务有效特征学习,在Deeplab v3+模型编码端嵌入注意力机制CBAM模块并通过密集深度分离卷积和扩张卷积提取图像高层特征;在解码端增加两路低层特征来源,保留了重要特征信息,提高了分割准确率。实验结果表明,改进后网络在手术器械数据集上MIoU、PA、Recall、[F]值分别为0.854、0.874、0.872和0.873。相较于其他语义分割网络,改进网络分割性能更优,有极大的工程实用价值。     

多尺度多阶段特征融合的带噪图像语义分割

在图像的采集过程中,图像往往会带有一定的噪声信息,这些噪声信息会破坏图像的纹理结构,进而干扰语义分割任务.现有基于带噪图像的语义分割方法,大都是采取先去噪再分割的模型.然而,这种方式会导致在去噪任务中丢失语义信息,从而影响分割任务.为了解决该问题,提出了一种多尺度多阶段特征融合的带噪图像语义分割的方法,利用主干网络中各阶段的高级语义信息以及低级图像信息来强化目标轮廓语义信息.通过构建阶段性协同的分割去噪块,迭代协同分割和去噪任务,进而捕获更准确的语义特征.在PASCAL VOC 2012和Cityscapes数据集上进行了定量评估,实验结果表明,在不同方差的噪声干扰下,模型依旧取得了较好的分割结果.     

多层感知分解的全参考图像质量评估

目的 图像质量评估是计算机视觉、图像处理等领域的基础研究课题之一,传统评估方法常基于图像低层视觉特征而忽略了高层语义信息,这也在一定程度上影响了客观指标和主观视觉质量的一致性。近年来,感知损失被广泛应用于图像风格化、图像复原等研究中,通过使用预训练的深度网络对图像进行多层语义分解,在相关问题上取得了较好的效果。受感知损失启发,提出一种多层感知分解的全参考图像质量评估方法。方法 首先使用预训练的深度网络对图像进行多层语义分解,获取多层特征图,再计算失真图像与参考图像之间的相似度,以及它们的不同层级特征图之间的相似度,最终得出兼顾了高层语义信息的图像质量分数。结果 针对传统方法PSNR（peak signal-to-noise ratio）、SSIM（structure similarity）、MS-SSIM（multi-scale structure similarity）及FSIM（feature similarity）进行实验,结果表明,本文方法能够有效提升传统图像质量评估方法的性能,在SRCC（Spearman rank order correlation coefficient）、KRCC（Kendall rank order correlation coefficient）、PLCC（Pearson linear correlation coefficient）和RMSE（root mean squared error）客观指标上均有相应提升。通过使用本文框架,PSNR、SSIM、MS-SSIM、FSIM方法在TID2013数据库上SRCC指标分别获得0.02、0.07、0.06和0.04的提升。结论 本文提出的一种多层感知分解的全参考图像质量评估方法,结合传统方法与深度学习方法,兼顾了图像低层视觉特征和高层语义信息,从而有效地提升了传统方法的评估性能,使客观评估结果更加符合主观视觉感受,同时,本文提出的评估框架能够适用于多种传统方法的性能提升。     

残差密集空间金字塔网络的城市遥感图像分割

目的 遥感图像语义分割是根据土地覆盖类型对图像中每个像素进行分类,是遥感图像处理领域的一个重要研究方向。由于遥感图像包含的地物尺度差别大、地物边界复杂等原因,准确提取遥感图像特征具有一定难度,使得精确分割遥感图像比较困难。卷积神经网络因其自主分层提取图像特征的特点逐步成为图像处理领域的主流算法,本文将基于残差密集空间金字塔的卷积神经网络应用于城市地区遥感图像分割,以提升高分辨率城市地区遥感影像语义分割的精度。方法 模型将带孔卷积引入残差网络,代替网络中的下采样操作,在扩大特征图感受野的同时能够保持特征图尺寸不变;模型基于密集连接机制级联空间金字塔结构各分支,每个分支的输出都有更加密集的感受野信息;模型利用跳线连接跨层融合网络特征,结合网络中的高层语义特征和低层纹理特征恢复空间信息。结果 基于ISPRS （International Society for Photogrammetry and Remote Sensing） Vaihingen地区遥感数据集展开充分的实验研究,实验结果表明,本文模型在6种不同的地物分类上的平均交并比和平均F₁值分别达到69.88%和81.39%,性能在数学指标和视觉效果上均优于SegNet、pix2pix、Res-shuffling-Net以及SDFCN （symmetrical dense-shortcut fully convolutional network）算法。结论 将密集连接改进空间金字塔池化网络应用于高分辨率遥感图像语义分割,该模型利用了遥感图像不同尺度下的特征、高层语义信息和低层纹理信息,有效提升了城市地区遥感图像分割精度。     

融合高低层语义信息的自然语言句子匹配方法

针对目前自然语言句子匹配方法未能融合公共语义信息以及难以捕获深层次语义信息的问题,提出了一种融合高低层语义信息的自然语言句子匹配算法。该算法首先采用预训练词向量GloVe和字符级别的词向量获取句子P和句子Q的词嵌入表示;其次,使用双向LSTM(long-short term memory)对P和Q进行编码,再初步融合P和Q获取低层语义信息;然后,计算P与Q的双向注意力,拼接得到语义表征,再计算其自注意力获取高层语义信息;最后,采用启发式的融合函数将低层语义信息和高层语义信息进行融合,得到最终的语义表征,使用卷积神经网络预测得到答案。在文本蕴涵识别和释义识别两个任务上评估了该模型。在文本蕴涵识别任务SNLI数据集和释义识别任务Quora数据集上进行了实验,实验结果表明该算法在SNLI测试集上的准确率为87.1%,在Quora测试集上的准确率为86.8%,验证了算法在自然语言句子匹配任务上的有效性。     

基于多尺度卷积特征融合的肺结节图像检索方法

为了解决肺结节图像检索中特征提取难度大、检索精度低下的问题,提出了一种深度网络模型——LMSCRnet用于提取图像特征。首先采用多种不同尺寸滤波器卷积的特征融合方法以解决肺结节大小不一引起的局部特征难以获取的问题,然后引入SE-ResNeXt块来得到更高级的语义特征同时减少网络退化,最后得到肺结节图像的高级语义特征表示。为满足现实中大数据量检索任务的需求,将距离计算及排序过程部署到Spark分布式平台上。实验结果表明,基于LMSCRnet的特征提取方法能够更好地提取图像高级语义信息,在肺结节预处理数据集LIDC上能够达到84.48%的准确率,检索精度高于其他检索方法,而且使用Spark分布式平台完成相似度匹配及排序过程使得检索方法能够满足大数据量检索任务需求。