基于BiLevelNet的实时语义分割算法

针对语义分割网络参数量过大导致其难以部署在内存受限的边缘设备等问题,本文提出一种基于BiLevelNet的轻量级实时语义分割算法。首先,利用空洞卷积扩大感受野,并结合特征复用策略增强网络的区域感知能力。接着,嵌入两阶段的PBRA注意力机制,建立远距离相关物体之间的依赖关系以增强网络的全局感知能力。最后,引入结合浅层特征的FADE算子以改善图像上采样效果。实验结果表明,在输入图像分辨率为 512×1024的情况下,本文网络在Cityscapes数据集上以121 f/s的速率获得了75.1%的平均交并比,模型大小仅为0.7 M。同时在输入图像分辨率为360×480的情况下,在Camvid数据集上取得68.2%的平均交并比。同当前其他实时语义分割方法相比,该网络性能取得速度与精度的均衡,符合自动驾驶应用场景对实时性的要求。

     

基于多尺度特征增强的高效Transformer语义分割网络

针对现有基于Transformer的语义分割网络存在的多尺度语义信息利用不充分、处理图像时生成冗长序列导致的高计算成本等问题,本文提出了一种基于多尺度特征增强的高效语义分割主干网络MFE-Former。该网络主要包括多尺度池化自注意力模块(multi-scale pooling self-attention, MPSA)和跨空间前馈网络模块(cross-spatial feed-forward network, CS-FFN)。其中,MPSA利用多尺度池化操作对特征图序列进行降采样,在减少计算成本的同时还高效地从特征图序列中提取多尺度的上下文信息,增强Transformer对多尺度信息的建模能力;CS-FFN通过采用简化的深度卷积层替代传统的全连接层,减少前馈网络初始线性变换层的参数量,并在前馈网络中引入跨空间注意力(cross-spatial attention, CSA),使模型更有效地捕捉不同空间的交互信息,进一步增强模型的表达能力。MFE-Former在数据集ADE20K、Cityscapes和COCO-Stuff上的平均交并比分别达到44.1%、80.6%和38.0%,与主流分割算法相比,MFE-Former能够以更低的计算成本获得具有竞争力的分割精度,有效改善了现有方法多尺度信息利用不足和计算成本高的问题。

     

基于语义分割的实时车道线检测方法

车道线识别是自动驾驶环境感知的一项重要任务。近年来,基于卷积神经网络的深度学习方法在目标检测和场景分割中取得了很好的效果。本文借鉴语义分割的思想,设计了一个基于编码解码结构的轻量级车道线分割网络。针对卷积神经网络计算量大的问题,引入深度可分离卷积来替代普通卷积以减少卷积运算量。此外,提出了一种更高效的卷积结构LaneConv和LaneDeconv来进一步提高计算效率。为了获取更好的车道线特征表示能力,在编码阶段本文引入了一种将空间注意力和通道注意力串联的双注意力机制模块(CBAM)来提高车道线分割精度。在Tusimple车道线数据集上进行了大量实验,结果表明,本文方法能够显著提升车道线的分割速度,且在各种条件下都具有良好的分割效果和鲁棒性。与现有的车道线分割模型相比,本文方法在分割精度方面相似甚至更优,而在速度方面则有明显提升。

     

基于DeepLabv3+的图像语义分割优化方法

目的为了实现良好的图像语义分割精度,同时尽可能降低网络的参数量,加快网络训练速度,提出基于DeepLabv3+的图像语义分割优化方法。方法编码器主干网络增加注意力机制模块,并采用更密集的特征池化模块有效聚合多尺度特征,同时使用深度可分离卷积降低网络计算复杂度。结果基于CamVid数据集的对比实验显示,优化后网络的MIoU分数达到了71.03%,在像素精度、平均像素精度等其他方面的评价指标上较原网络有小幅提升,并且网络参数量降低了12%。在Cityscapes的测试数据集上的MIoU分数为75.1%。结论实验结果表明,优化后的网络能够有效提取图像特征信息,提高语义分割精度,同时降低模型复杂度。文中网络使用城市道路场景数据集进行测试,可以为今后的无人驾驶技术的应用提供参考,具有一定的实际意义。     

面向智能维护的通信机房机柜图像语义分割技术

通信机房机柜的智能维护是实现设备无人化、智能化监管的核心工作之一,结合语义分割技术实现设备图像识别、位置检测、检修操作点确定,形成泛用性强的人工智能方法。该文从深度学习语义分割方法入手,提出基于Mask R-CNN的机房机柜设备图像语义分割技术方案,实现不同视野、存在物体遮挡条件下的机房机柜图像识别与分割。通过模拟不同语义分割算法在通信机房机柜检测场景的应用效果,表明基于Mask R-CNN的语义分割技术准确性良好,Top-1错误率为7.1%、像素级分割准确性mIOU达82.3%。     

基于注意力机制的轻量级RGB-D图像语义分割网络

目的针对卷积神经网络在RGB-D(彩色-深度)图像中进行语义分割任务时模型参数量大且分割精度不高的问题,提出一种融合高效通道注意力机制的轻量级语义分割网络。方法文中网络基于RefineNet,利用深度可分离卷积(Depthwiseseparableconvolution)来轻量化网络模型,并在编码网络和解码网络中分别融合高效的通道注意力机制。首先RGB-D图像通过带有通道注意力机制的编码器网络,分别对RGB图像和深度图像进行特征提取;然后经过融合模块将2种特征进行多维度融合;最后融合特征经过轻量化的解码器网络得到分割结果,并与RefineNet等6种网络的分割结果进行对比分析。结果对提出的算法在语义分割网络常用公开数据集上进行了实验,实验结果显示文中网络模型参数为90.41 MB,且平均交并比(mIoU)比RefineNet网络提高了1.7%,达到了45.3%。结论实验结果表明,文中网络在参数量大幅减少的情况下还能提高了语义分割精度。     

基于点云与图像交叉融合的道路分割方法

道路检测是车辆实现自动驾驶的前提。近年来,基于深度学习的多源数据融合成为当前自动驾驶研究的一个热点。本文采用卷积神经网络对激光雷达点云和图像数据加以融合,实现对交通场景中道路的分割。本文提出了像素级、特征级和决策级多种融合方案,尤其是在特征级融合中设计了四种交叉融合方案,对各种方案进行对比研究,给出最佳融合方案。在网络构架上,采用编码解码结构的语义分割卷积神经网络作为基础网络,将点云法线特征与RGB图像特征在不同的层级进行交叉融合。融合后的数据进入解码器还原,最后使用激活函数得到检测结果。实验使用KITTI数据集进行评估,验证了各种融合方案的性能,实验结果表明,本文提出的融合方案E具有最好的分割性能。与其他道路检测方法的比较实验表明,本文方法可以获得较好的整体性能。     

基于语义信息的场景识别方法研究

在场景识别任务中,由于场景图像类内变化大,类间相似度高,不同场景类别之间表现出相似的外观和对象分布,从而容易导致场景识别任务的失败.为解决该问题,本文提出一种基于语义分割及高效网络相结合的场景识别模型.该模型由语义分支和RGB分支两部分组成,语义分支在语义分割基础上进一步提取图像上下文信息,RGB分支采用高效网络来提取图像的全局特征,通过注意力机制将两个分支的输出特征进行融合,最终输入线性分类器以实现场景识别的预测.将提出的网络模型在ADE20K,MIT Indoor 67和SUN3973个数据集进行训练与测试,实验结果表明,提出的模型可以显著减少网络参数数量,同时提高场景识别的准确率.     

基于改进BiSeNet的室内场景语义分割方法

室内场景的语义分割一直是深度学习语义分割领域的一个重要方向.室内语义分割主要存在的问题有语义类别多、很多物体类会有相互遮挡、某些类之间相似性较高等.针对这些问题,提出了一种用于室内场景语义分割的方法.该方法在BiSeNet(bilateral segmentation network)的网络结构基础上,引入了一个空洞金...     

旅游场景下的基于深度学习的文本方面级细粒度情感分类

方面级细粒度情感分类是指针对文本数据,分析其在指定方面的情感极性.由于获取到的评论样本往往涉及不同的方面,导致各个方面的情感极性不平衡.为了减少不平衡数据对模型训练的影响,本文提出了一种新的数据平衡方法——批处理平衡方法(BB),用来平衡多标签多类别数据.同时,由于评论文本蕴含多个方面,传统模型结构往往每次只能预测一个...     

引入反馈注意力的并行式多分辨率语义分割算法

目的 为了进一步提升语义分割精度,解决当前语义分割算法中特征图分辨率低下,低级信息特征随意丢弃,以及上下文重要信息不能顾及等问题,文中尝试提出一种融合反馈注意力模块的并行式多分辨率语义分割算法。方法 该算法提出一种并行式网络结构,在其中融合了高低分辨率信息,尽可能多地保留高维信息,减少低级信息要素的丢失,提升分割图像的分辨率。同时还在主干网络中嵌入了带反馈机制的感知注意力模块,从通道、空间、全局3个角度获得每个样本的权重信息,着重加强样本之间的特征重要性。在训练过程中,还使用了改进的损失函数,降低训练和优化难度。结果 经实验表明,文中的算法模型在PASCAL VOC2012、Camvid上的MIOU指标分别为77.78%、58.67%,在ADE20K上的也有42.52%,体现了出较好的分割性能。结论 文中的算法模型效果相较于之前的分割网络有一定程度的提升,算法中的部分模块嵌入别的主干网络依旧表现出较好的性能,展现了文中算法模型具备一定的有效性和泛化能力。     

基于双分支特征提取的轻量级图像分割算法

目的 为了提升彩色图像的分割精度,解决彩色图像分割中存在庞大计算成本和冗余参数的问题,本文提出一种双分支特征提取网络来解决上述问题。方法 双分支特征提取网络主要由语义信息分支和空间细节分支组成。语义信息分支通过在非对称残差模块中设置不同的空洞卷积率来获取输入图像不同尺度的上下文信息。空间细节分支是一个浅层且简单的网络,用于建立每个像素间的局部依赖关系以保留细节。在双分支之后连接一个特征聚合模块来有效地结合这2个分支的输出。结果 在没有任何预训练和后处理的情况下,在单块RTX2080Ti GPU上仅用0.91 M参数在Cityscapes数据集上以97帧/s的速度实现75.1%的分割准确性,在Camvid数据集上以107帧/s的推理速度取得了70.5%的分割效果。结论 通过大量实验证明,本文模型在分割准确性和效率之间取得了较好的平衡。     

基于注意力机制改进残差神经网络的轴承故障诊断方法EI北大核心CSCD

针对滚动轴承在不同工况环境中故障诊断训练时间长、准确率低和泛化性能弱的问题,提出了基于注意力机制改进残差神经网络的轴承故障诊断方法。为了提高ResNet模型的准确率和泛化性,提出了基于注意力机制的SE-ResNet模型和CBAM-ResNet模型,并在凯斯西储大学数据集上进行了试验,在同工况有训练集的情况下ResNet模型测试的准确率为97.28%,在不同工况下模型直接迁移的准确率为94.14%~96.86%,CBAM-ResNet模型在不同工况下模型直接迁移的准确率为97.14%~98.86%,SE-ResNet模型在不同工况下模型直接迁移的准确率为97.86%~99.71%,两种改进模型的准确率都明显优于原ResNet模型,表明提出的优化模型提高了ResNet模型的准确率和泛化性。     

基于注意力机制的艾德莱斯绸纹饰图案分割研究

目的 由于艾德莱斯绸具有丰富的色彩和复杂的纹饰图案,在对其进行图案分割时难度较大,容易出现错分割和漏分割的情况。为此,提出了基于注意力机制的艾德莱斯绸纹饰图案分割算法。方法 采用FCN模型对艾德莱斯绸纹饰图像进行卷积训练,突出图像的语义特征信息。利用通道注意力模块和位置注意力模块,分别对艾德莱斯绸纹饰图像展开学习,得到维度完全相同的特征图。将两个模块特征图融合后与FCN模型输出图像再次融合,得到艾德莱斯绸纹饰图像的特征提取结果,选取图像中的感兴趣区域,完成对艾德莱斯绸纹饰图案的分割。结论 实验结果表明,所提方法取得了精准度较高的分割结果,分割图像边缘清晰,没有出现错分割和漏分割的情况,分割结果总体上较为理想。     

基于下采样的特征融合遥感图像语义分割

本文提出了一种基于下采样的特征融合遥感图像语义分割模型,该模型在编解码结构基础上,将高分辨率原始图像引入"下采样"模块提取低级语义特征,在此基础上,将输出的低级语义特征通过MobileNetV2和空间金字塔池化进一步提取多尺度高级语义细节特征,然后,将这些高级语义特征和直接从下采样模块提取的低级语义特征融合并进行特征图分割.最后,在"CCF卫星影像的AI分类与识别竞赛"的数据集上取得了93%的训练准确率以及91%的预测准确率.     

融合多尺度特征和注意力机制的超声甲状腺结节分割

针对目前超声影像下甲状腺结节分割不够精准的问题,提出一种融合多尺度特征和注意力机制的超声甲状腺结节分割方法。该模型编码设计了多感受野通道选择模块,通过核心选择注意力对多个不同感受野的特征进行自适应加权组合,使包含目标的感受野通道占据主导。同时,设计自适应全局上下文模块自适应地提取瓶颈层多个尺度的全局上下文特征,以实现对瓶颈层高级语义的有效编码。此外,设计双注意力引导模块增强编解码器对等层之间的特征融合,以减少上采样过程中的信息损失。在公开的超声甲状腺结节数据集上进行实验,结果表明,文中所提方法优于其他对比网络,能更加精准地分割出甲状腺结节,有效提升了甲状腺结节的分割性能。     

基于条件生成对抗网络的交通环境多任务语义分割方法研究

道路交通环境具有复杂、强干扰、多遮挡、检测物体尺度变化大、光线不均匀、难以预测的特点,传统基于全卷积神经网络的分割方法,由于采用单一的检测结果评价标准,缺乏对分割结果一致性的检验,忽略了像素与像素的相互关系,造成误识别很可能导致交通事故发生。本文在传统交并比评价指标的基础之上,采用交通环境语义分割复合评价指标,提出基于条件生成对抗网络的交通环境多任务语义分割方法,采用对抗损失拟合语义分割结果像素之间的作用关系,使得结果更具备一致性和可用性,更利于实际应用,同时对比了三种典型交通环境检测任务,验证了算法的有效性,并对三种任务进行多任务学习,在不增加计算开销的基础上,获得相近的性能。     

基于双分支多尺度融合网络的毫米波SAR图像多目标语义分割方法

在毫米波合成孔径雷达(SAR)安检成像违禁品的检测与识别中,存在着目标尺寸过小、目标被部分遮挡和多目标之间重叠等复杂情况,不利于违禁品的准确识别。针对这些问题,提出了一种基于双分支多尺度融合网络(DBMFnet)的违禁品检测方法。该网络使用Encoder-Decoder的结构,在Encoder阶段,提出一种双分支并行特征提取网络(DBPFEN)来增强特征提取;在Decoder阶段,提出一种多尺度融合模块(MSFM)来提高对目标的检测能力。实验结果表明,该方法的均交并比(mIoU)均优于现有的语义分割方法,降低了漏检与错检率。

     

融合注意力机制和语义关联性的多标签图像分类

卷积神经网络在单标签图像分类中表现出了良好的性能,但是,如何将其更好地应用到多标签图像分类仍然是一项重要的挑战。本文提出一种基于卷积神经网络并融合注意力机制和语义关联性的多标签图像分类方法。首先,利用卷积神经网络来提取特征;其次,利用注意力机制将数据集中的每个标签类别和输出特征图中的每个通道进行对应;最后,利用监督学习的方式学习通道之间的关联性,也就是学习标签之间的关联性。实验结果表明,本文方法可以有效地学习标签之间语义关联性,并提升多标签图像分类效果。     

基于图神经网络的WSI癌症生存预测方法

全切片图像(Whole slide imaging, WSI)是癌症诊断和预后的关键依据,具有尺寸庞大、空间关系复杂以及风格各异等特点。由于其缺乏细节注释,传统的计算病理学方法难以处理肿瘤组织环境中的空间关系。本文提出了一种新型的基于图神经网络的WSI生存预测模型BC-GraphSurv。首先,采用迁移学习的预训练策略,构建WSI的病理关系拓扑结构,实现了对病理学图像特征和空间关系信息的有效提取。然后,采用GAT-GCN双分支结构进行预测,在图注意力网络中加入边属性和全局连接模块,同时引入图卷积网络分支补充局部细节,增强了对WSI风格差异的适应能力,能够有效利用拓扑结构处理空间关系,区分微病理环境。在WSI数据集TCGA-BRCA和TCGA-KIRC上进行的实验表明,BC-GraphSurv模型的一致性指数为0.7950和0.7458,相比于当前先进的生存预测模型提升了0.0409,充分证明了模型的有效性。