融合注意力和多尺度特征的街景图像语义分割

为了解决在街道场景图像语义分割任务中传统U-Net网络在多尺度类别下目标分割的准确率较低和图像上下文特征的关联性较差等问题,提出一种改进U-Net的语义分割网络AS-UNet,实现对街道场景图像的精确分割.首先,在U-Net网络中融入空间通道挤压激励(spatial and channel squeeze&excitation block, scSE)注意力机制模块,在通道和空间两个维度来引导卷积神经网络关注与分割任务相关的语义类别,以提取更多有效的语义信息;其次,为了获取图像的全局上下文信息,聚合多尺度特征图来进行特征增强,将空洞空间金字塔池化(atrous spatial pyramid pooling, ASPP)多尺度特征融合模块嵌入到U-Net网络中;最后,通过组合使用交叉熵损失函数和Dice损失函数来解决街道场景目标类别不平衡的问题,进一步提升分割的准确性.实验结果表明,在街道场景Cityscapes数据集和Cam Vid数据集上AS-UNet网络模型的平均交并比(mean intersection over union, MIo U)相较于传统U-Net网络分别提...     

基于全局多尺度特征融合的伪装目标检测网络

在伪装目标检测中,由于伪装目标的外观与背景相似度极高,很难精确分割伪装目标.针对上下文感知跨级融合网络中,高层次语义信息在向浅层网络融合传递时因被稀释及丢失而导致精度降低的问题,文中提出基于全局多尺度特征融合的伪装目标检测网络.先设计全局增强融合模块,捕捉不同尺度下的上下文信息,再通过不同的融合增强分支,将高层次语义信息输送至浅层网络中,减少多尺度融合过程中特征的丢失.在高层网络中设计定位捕获机制,对伪装目标进行位置信息提取与细化.在浅层网络中对较高分辨率图像进行特征提取与融合,强化高分辨率特征细节信息.在3个基准数据集上的实验表明文中网络性能较优.     

改进U-Net的高分辨率遥感图像轻量化分割

针对传统图像分割方法分割效率低下,遥感图像特征复杂多样,复杂场景下分割性能受到限制等问题,在基于U-Net网络架构的基础上,提出一种能够较好提取遥感图像特征并兼顾效率的改进U-Net模型.首先,以EfficientNetV2作为U-Net的编码网络,增强特征提取能力,提高训练和推理效率,然后在解码部分使用卷积结构重参数化方法并结合通道注意力机制,几乎不增加推理时间的前提下提升网络性能,最后结合多尺度卷积融合模块,提高网络对不同尺度目标的特征提取能力和更好地结合上下文信息.实验表明,改进的网络在遥感图像分割性能提升的同时分割效率也提高.     

基于卷积胶囊编码器和多尺度局部特征共现的图像分割网络

U-Net在图像分割领域取得了巨大成功,然而卷积和下采样操作导致部分位置信息丢失,全局和长距离的语义交互信息难以被学习,并且缺乏整合全局和局部信息的能力。为了提取丰富的局部细节和全局上下文信息,提出了一个基于卷积胶囊编码器和局部共现的医学图像分割网络MLFCNet (network based on convolution capsule encoder and multi-scale local feature co-occurrence)。在U-Net基础上引入胶囊网络模块,学习目标位置信息、局部与全局的关系。同时利用提出的注意力机制保留网络池化层丢弃的信息,并且设计了新的多尺度特征融合方法,从而捕捉全局信息并抑制背景噪声。此外,提出了一种新的多尺度局部特征共现算法,局部特征之间的关系能够被更好地学习。在两个公共数据集上与九种方法进行了比较,相比于性能第二的模型,该方法的mIoU在肝脏医学图像中提升了4.7%,Dice系数提升了1.7%。在肝脏医学图像和人像数据集上的实验结果表明,在相同的实验条件下,提出的网络优于U-Net和其他主流的图像分割网络。     

基于特征融合的边缘引导乳腺超声图像分割方法

针对乳腺超声图像边缘模糊、斑点噪声多、对比度低等问题,提出了一种融合多特征的边缘引导多尺度选择性核U-Net(Edge-guided Multi-scale Selective Kernel U-Net, EMSK U-Net)方法。EMSK U-Net采用基于U-Net的对称编解码结构可以适应小数据集医学图像分割的特点,将扩张卷积与传统卷积构成选择性核模块作用于编码路径,并提取下采样过程中的选择性核特征进行边缘检测任务,在丰富图像空间信息的同时细化边缘信息,有效缓解斑点噪声和边缘模糊的问题,在一定程度上可以提升小目标的检测精度。然后在解码路径通过多尺度特征加权聚合获取丰富的深层语义信息,多种信息之间相互补充,从而提升网络的分割性能。在3个公开的乳腺超声图像数据集上的实验结果表明,与其他分割方法相比,EMSK U-Net算法各项指标表现良好,分割性能有显著提升。     

基于渐进式嵌套特征的融合网络

显著目标检测是指通过引入人类视觉注意力机制,使计算机能检测视觉场景中人们最感兴趣的区域或对象.针对显著性目标检测中存在检测边缘不清晰、检测目标不完整及小目标漏检的问题,文中提出基于渐进式嵌套特征的融合网络.网络采用渐进式压缩模块,将较深层特征不断向下传递融合,在降低模型参数量的同时也充分利用高级语义信息.先设计加权特征融合模块,将编码器的多尺度特征聚合成可访问高级信息和低级信息的特征图.再将聚合的特征分配到其它层,充分获取图像上下文信息及关注图像中的小目标对象.同时引入非对称卷积模块,进一步提高检测准确性.在6个公开数据集上的实验表明文中网络取得较优的检测效果.     

基于多尺度特征融合的遥感影像语义分割

针对传统的遥感影像语义分割方法存在分类能力差和分割效果不精细的问题,设计并实现一种基于U-Net的多尺度特征融合网络。网络通过多尺度跳跃连接组合不同层级的语义特征;结合通道注意力机制增强跳跃连接中关键特征的表达能力;利用空洞空间金字塔池化结构融合深层特征,进一步加强网络在复杂背景中的分类性能。在公开数据集Vaihingen上进行的实验表明,多尺度特征融合网络相比通用分割网络具有更高的表现性能和更好的实用价值。     

基于多尺度高阶注意力机制的视网膜血管分割

视网膜血管分割对于辅助医生诊断糖尿病性视网膜病变、黄斑萎缩、青光眼等眼科疾病具有重要意义.注意力机制被广泛用于U-Net及其变体中以提高血管分割模型的性能.为进一步提高视网膜血管的分割精度,挖掘视网膜图像中的高阶及全局上下文信息,本文提出基于多尺度高阶注意力机制的模型(multi-scale high-order attention network, MHA-Net).首先,多尺度高阶注意力(multi-scale high-order attention, MHA)模块从深层特征图中提取多尺度和全局特征计算初始化注意力图,从而改进模型处理医学图像分割时尺度不变的缺陷.接下来,该模块通过图的传递闭包构建注意力图,进而提取高阶的深层特征.通过将多尺度高阶注意力模块应用于编码器-解码器结构中,在彩色眼底图像数据集DRIVE上进行血管分割,实验结果表明,基于多尺度高阶注意力机制的视网膜血管分割方法有效地提高了分割的精度.     

基于改进U-Net的低质量文本图像二值化

文本图像二值化是光学字符识别的关键步骤,但低质量文本图像背景噪声复杂,且图像全局上下文信息以及深层抽象信息难以获取,使得最终的二值化结果中文字区域分割不精确、文字的形状和轮廓等特征表达不足,从而导致二值化效果不佳。为此,提出一种基于改进U-Net网络的低质量文本图像二值化方法。采用适合小数据集的分割网络U-Net作为骨干模型,选择预训练的VGG16作为U-Net的编码器以提升模型的特征提取能力。通过融合轻量级全局上下文块的U-Net瓶颈层实现特征图的全局上下文建模。在U-Net解码器的各上采样块中融合残差跳跃连接,以提升模型的特征还原能力。从上述编码器、瓶颈层和解码器3个方面分别对U-Net进行改进,从而实现更精确的文本图像二值化。在DIBCO 2016—2018数据集上的实验结果表明,相较Otsu、Sauvola等方法,该方法能够实现更好的去噪效果,其二值化结果中保留了更多的细节特征,文字的形状和轮廓更精确、清晰。     

基于注意力与金字塔融合的医学图像分割仿真

针对现有的U-Net编解码结构网络的边缘模糊以及上下文信息提取能力弱等问题,提出了在编解码结构网络基础上融合反向注意力和金字塔模块的图像分割网络。网络以Res2Net50作为特征编码器提取特征,在编码器与解码器中引入尺度感知金字塔融合模块,加强网络对上下文信息的提取能力,然后在跳跃连接处加入反向注意力模块,用以提取边缘结构信息,最后使用特征拼接融合特征信息,提升网络模型分割性能。实验结果证明,改进的网络在Liver CT、Finding lungs in CT以及CHAOS数据集上的分割精度均有一定的提升,可以有效改善分割图像边缘模糊等问题。     

用于图像分割的强制召回特征注意力网络

为解决医学图像中前景背景比例严重失衡及小目标区域难以分割的问题,该文提出了一种 基于高斯图像金字塔的注意力网络。具体地,首先在特征解码阶段将空间信息与抽象信息进行特征融 合;其次,设计了一个特征召回器以强制编码器减少遗漏感兴趣区域的特征;最后,引入分类精度和 全局区域重叠项组成的混合损失函数来处理医学图像前景背景严重不平衡问题。所提出的方法在膝关 节软骨数据集和 COVOID-19 胸部 CT 数据集中进行了验证,其分割区域分别占 2.08% 和 10.73%。与 U-Net 及其主流变体相比,该方法在两个数据集上都得到了最佳的 Dice 系数,分别为 0.884±0.032 和 0.831±0.072。     

SAG-Net：用于联合视盘和视杯分割的新型跳过注意力指导网络

学习特征图语义信息和位置信息对于在视网膜图像分割中产生理想的结果至关重要。最近,卷积神经网络在提取特征图有效信息方面已经表现出了强大的能力,然而,卷积和池化操作会过滤掉一些有用的信息。提出了一种新型跳过注意力指导网络SAG-Net来保存特征图语义和位置信息并指导扩展工作。在SAG-Net中,首先引入了跳过注意力门SAtt模块,将其用作敏感的扩展路径来传递先前特征图的语义信息和位置信息,不仅有助于消除噪声,还进一步减小了背景的负面影响。其次,通过合并图像金字塔保留上下文特征来进一步优化SAG-Net。在Drishti-GS1数据集上,联合视盘和视杯分割任务表明了SAG-Net的有效性。综合结果表明,SAG-Net优于原始的U-Net方法以及其他用于视盘和视杯分割的最新的方法。     

基于改进U-Net网络的齿轮点蚀测量

针对U-Net存在的小目标分割精度低、计算复杂度高、收敛慢的问题,构建基于空洞卷积和重构采样单元的U-Net网络(DSU-Net).在DSU-Net中,为增大图像特征提取的感受野并融合多尺度信息,设计具有不同膨胀率的空洞卷积层;针对池化过程丢失大量语义信息的缺点,构建将池化与卷积相结合的采样单元,并运用深度可分离卷积进行特征提取,从而增强神经网络的特征提取能力并降低计算成本.两个公开医学图像数据集的实验结果表明,在IoU、Dice Coeff和F1 Score三个评价指标上,DSU-Net较U-Net、ResU-Net、R2U-Net和U-Net++有着更好的分割性能.最后,将DSU-Net应用于齿轮点蚀的视觉测量,结果表明所提出方法能够更加精确地计算出齿轮点蚀面积率,从而解决了齿轮接触疲劳试验中高效准确检测齿轮失效的难题.     

并行多尺度特征融合的热层析图像分割算法

热层析技术应用于医学乳腺肿瘤检测具有重要的应用前景,但是医生在临床应用过程中,通过热层析图像诊断容易出现主观差异性误诊现象,为此,提出了一种智能化分割算法用于辅助诊断。然而,医学热层析图像由于目前数据量匮乏,且病灶区域占比小,依靠经典的分割模型,如FCN、U-Net容易出现分割不连续,边界细节分割不精细等问题。设计了一种基于并行多尺度特征融合的语义分割模型,模型通过并行的多分辨率特征子网之间反复的信息交换,在保证分割结果语义信息准确之外,还能有效地抓取病灶区域的细节特征。该方法在热层析医学图像数据集上取得了0.635?7的均交并比,相较于经典的U-Net分割网络,取得了5.14个百分点的提升,在肿块和血管等小目标区域的细节分割上有着更出色的表现。实验结果表明,该算法对热层析临床用于乳腺癌的辅助诊断具有现实意义。     

改进U-Net型网络的遥感图像道路提取

目的 遥感图像道路提取在城市规划、交通管理、车辆导航和地图更新等领域中发挥了重要作用,但遥感图像受光照、噪声和遮挡等因素以及识别过程中大量相似的非道路目标干扰,导致提取高质量的遥感图像道路有很大难度。为此,提出一种结合上下文信息和注意力机制的U-Net型道路分割网络。方法 使用Resnet-34预训练网络作为编码器实现特征提取,通过上下文信息提取模块对图像的上下文信息进行整合,确保对道路的几何拓扑结构特征的提取;使用注意力机制对跳跃连接传递的特征进行权重调整,提升网络对于道路边缘区域的分割效果。结果 在公共数据集Deep Globe道路提取数据集上对模型进行测试,召回率和交并比指标分别达到0.847 2和0.691 5。与主流方法U-Net和CE-Net（context encoder network）等进行比较,实验结果表明本文方法在性能上表现良好,能有效提高道路分割的精确度。结论 本文针对遥感图像道路提取中道路结构不完整和道路边缘区域不清晰问题,提出一种结合上下文信息和注意力机制的遥感道路提取模型。实验结果表明该网络在遥感图像道路提取上达到良好效果,具有较高的研究和应用价值。     

基于3D深度残差网络与级联U-Net的缺血性脑卒中病灶分割算法

为了解决人工勾画缺血性脑卒中病灶费时费力且易引入主观差异的问题,提出了一种基于三维（3D）深度残差网络与级联U-Net的自动分割算法。首先,为了有效利用图像的3D上下文信息并改善类不平衡现象,将脑卒中核磁共振图像（MRI）采样成图像块作为网络输入;然后,利用基于3D深度残差网络与级联U-Net的分割模型对图像块进行特征提取,获得粗分割结果;最后,对粗分割结果进行精分割处理。在ISLES数据集上的实验结果表明,该算法的Dice系数可达到0.81,精确度可达到0.81,灵敏度可达到0.81,平均对称表面距离（ASSD）距离系数为1.32,HD为22.67。所提算法与3D U-Net算法、基于水平集算法、基于模糊C均值（FCM）算法和基于卷积神经网络（CNN）算法相比分割性能更好。     

基于深度迁移学习的肺结节分割方法

针对U-Net分割小体积肺结节效果较差的问题,提出一种基于深度迁移学习的分割方法,利用分块式叠加微调（BSFT）策略辅助分割肺结节。首先,利用卷积神经网络学习自然图像大数据集的特征信息;然后,将所学特征迁移到进行肺结节图像小数据集分割的网络,从该网络最后一个下采样层开始逐块释放、微调训练,直到网络完成最后一层的叠加;最后,定量分析Dice相似性系数,以确定最佳分割网络。实验结果表明,BSFT在LUNA16肺结节公开数据集上的Dice值达到0.917 9,该策略的性能明显优于主流肺结节分割算法。     

基于多尺度特征融合的改进臂丛神经分割方法

臂丛神经超声影像信噪比（SNR）低、边缘模糊且人工分割难度较大。现有的分割模型虽然取得了一些成果,但碍于臂丛神经结构目标区域小、形状不规则,分割效果欠佳。针对上述问题,设计基于多尺度特征融合的臂丛神经分割模型,即针对神经部位分割的特征金字塔网络（Ner-FPN）。在特征提取阶段,设计一种仿Xception的结构进行多尺度特征提取;在预测分割阶段,采用双向FPN结构进行特征融合预测。在Kaggle臂丛神经超声影像分割竞赛的BP数据集上的实验结果表明,Ner-FPN模型对臂丛神经分割的Dice相似系数（DSC）可达0.703,与主流的深度学习分割模型U-Net、SegNet相比,分别提高了10.7个百分点和14.5个百分点,对比相同数据集中的其他改进模型QU-Net和Efficient+U-Net,DSC分别提高了5.5个百分点和3.4个百分点,可见所提模型能够起到辅助诊断的效果。     

基于深度学习的高分辨率遥感图像建筑物识别

为解决当前深度学习方法在高分辨率遥感图像中存在识别结果过度分割,以及小物体识别差的问题,提出一种基于SegNet架构改进的网络模型AA-SegNet,增加了增强的空间金字塔池化模块和空间注意力融合模块。该网络可以加强特征传播并能够有效传递更高级别的特征信息以抑制低级特征的噪声,并且可以增强小目标特征学习。基于高分二号遥感影像制作数据集并进行实验,AA-SegNet网络总体识别准确率为96.61%,在识别率、[F1]分数以及训练时间等方面也都优于SegNet、U-Net、DeepLab-V3网络。