基于全局上下文注意力的点云语义分割

点云语义分割是三维环境感知的基础，直接基于点的语义分割方法避免了因点云结构化处理所造成的信息损失，但大多数深度学习模型的研究主要集中在提取局部几何特征，没有考虑点云不同局部结构之间的上下文关系，并且忽略了低级与高级特征之间的语义差距，限制了特征表示的能力，影响了点云语义分割的精度。因此，文中提出一种基于全局上下文注意力的点云语义分割方法，该方法主要由基于外部注意力的全局上下文特征聚合和基于后向竞争性注意力的邻近尺度特征融合两部分组成。通过外部注意力学习不同局部结构之间的长距离依赖关系，从而获得丰富的全局上下文信息。为了进一步增强模型的上下文感知能力，设计基于后向竞争性注意力的邻近尺度特征融合模块，学习低级与高级语义特征之间的相似度，重新为中间特征通道分配权重。在S3DIS大规模室内点云数据集上对所提方法进行评估，结果表明，所提方法的平均交并比在Area5上达到了65.2%，相比于RandLA-Net提高了2.5%，在6折交叉验证上的平均交并比达到了71.4%，相比于RandLA-Net提高了1.4%。证明了所提方法能够有效提取全局上下文特征，提高了语义分割的精度。     

基于语义信息补偿全局特征的物体点云分类分割

3D点云数据处理在物体分割、医学图像分割和虚拟现实等领域起到了重要作用。然而现有3D点云学习网络全局特征提取范围小,难以描述局部高级语义信息,进而导致点云特征表述不完整。针对这些问题,提出一种基于语义信息补偿全局特征的物体点云分类分割网络。首先,将输入的点云数据对齐到规范空间,进行数据的输入转换预处理。然后,利用扩张边缘卷积模块提取转换后数据的每一层特征,并叠加生成全局特征。而在局部特征提取时,利用提取到的低级语义信息来描述高级语义信息和有效几何特征,用于补偿全局特征中遗漏的点云特征。最后,融合全局特征和局部高级语义信息得到点云的整体特征。实验结果表明,文中方法在分类和分割性能上优于目前经典和新颖的算法。     

融合多尺度信息的道路场景实时语义分割

道路场景语义分割是自动驾驶车辆实现环境感知的重要技术。针对道路场景实时语义分割中存在目标区域尺度不一、变化迅速的问题,在DABNet语义分割网络的基础上进行优化改进提出一种融合多尺度信息的道路场景实时语义分割网络。对于网络设计：首先引入带有自适应卷积核的卷积层优化DAB模块,自适应地引导网络学习最合适的特征图感受野,提高网络获取多尺度语义信息的能力;然后在编码阶段后引入了金字塔池化PSP模块来聚合特征图中不同尺度子区域的上下文信息,提高网络获取全局信息的能力。本网络提高了对大目标区域完整分割,避免小目标区域漏分割的能力,保证较高的道路场景实时语义分割精度。     

融合多尺度深度卷积的轻量级Transformer交通场景语义分割算法

针对交通场景语义分割算法中存在的易融入周围背景的纤细条状目标分割不连续、模型参数量大等问题,提出一种融合多尺度深度卷积的轻量级Transformer交通场景语义分割算法。首先,基于深度卷积构建多尺度条形特征提取模块,在不同尺度下增强对纤细条状目标特征的表示能力。其次,在浅层网络中利用卷积归纳偏置特性设计空间细节辅助模块,以弥补深层空间细节信息的丢失来优化目标边缘分割。最后,提出基于Transformer-CNN框架的非对称编解码网络,编码器结合Transformer与CNN减少细节信息丢失并降低模型参数量;而解码器采用轻量级的多级特征融合设计来进一步建模全局上下文。所提算法在Cityscapes和Cam Vid交通场景公开数据集上分别取得的平均交并比为78.63%和81.06%,能够在交通场景语义分割中实现分割精度和模型大小之间的权衡,具备良好的应用前景。     

基于类特征注意力机制融合的语义分割算法

针对DeepLabv3+模型对图像目标边缘分割不准确、不同类目标分割不一致等问题，提出一种基于类特征注意力机制融合的语义分割算法。该算法在DeepLabv3+模型编码端先设计一个类特征注意力模块增强类别间的相关性，更好地提取和处理不同类别的语义信息。然后采用多级并行的空间金字塔池化结构增强空间之间的相关性，更好地提取图像不同尺度的上下文信息。最后在解码端利用通道注意力模块的特性对多层融合特征重新校准，抑制冗余信息，加强显著特征来提高网络的表征能力。在Pascal Voc2012和Cityscapes数据集上对改进模型进行了有效性和泛化性实验，平均交并比分别达到了81.34%和76.27%，使图像边缘分割更细致，类别更清晰，显著优于本文对比算法。     

基于自适应多尺度与轮廓梯度的遥感图像分割网络

遥感图像分割算法易受环境因素干扰，如物体遮挡、光照不均匀等。现有的深度学习遥感图像语义分割方法通常采取端到端的编解码结构，但针对相似度较高物体的结构和轮廓，仍存在分割不准确的问题。为了提高算法鲁棒性、分类准确率，提出一种基于轮廓梯度学习的深度卷积神经网络遥感图像语义分割算法。为了提高预测特征图的质量，首先基于SegNet模型，提出自适应注意力的多通道多尺度特征融合网络（D-MMA Net），其中D-MA block采用基于注意力的自适应多尺度模块，根据学习到的权重自适应地对不同尺度特征进行提取，以获得更多有效的高级语义特征。为进一步细化提取物体的边界，基于Sobel边缘检测算子原理提出可学习的轮廓提取模块。最后将轮廓信息与多尺度语义特征相结合，以增强对图像空间分辨率的鲁棒性。实验结果表明，所提算法提高分割的准确率，对于不规则物体边界，能有良好的分割效果。     

基于深度学习的语义分割网络

提出了一种基于深度学习的语义分割网络。该网络通过多孔卷积设计了一个能提取图像多尺度信息的空间金字塔模块,并通过大量实验探索了空间金字塔模块中多孔采样率和多尺度分支对于网络场景解析能力的影响。讨论了网络训练中不同超参数对于网络性能的影响。在SUN RGB-D数据集上的测试结果显示,与其它state-of-the-art的语义分割网络相比,本文设计的网络性能突出。最后,还对基于红外图像的语义分割进行了初步探索。     

DECANet：基于改进DeepLabv3+的图像语义分割方法

在图像的语义分割任务中，不同对象之间像素值存在差异，导致现有的网络模型在图像语义分割过程中丢失图像局部细节信息。针对上述问题，提出一种图像语义分割方法（DECANet）。首先，引入通道注意力网络模块，通过对所有通道的依赖关系进行建模提高网络的表达能力，选择性地学习并强化通道特征，提取有用信息，抑制无用信息。其次，利用改进的空洞空间金字塔池化（ASPP）结构，对提取到的图像卷积特征进行多尺度融合，减少图像细节信息丢失，且在权重参数不改变的情况下提取语义像素位置信息，加快模型的收敛速度。最后，DECANet在PASCAL VOC2012和Cityscapes数据集上的平均交并比分别达81.08%和76%，与现有的先进网络模型相比，检测性能更优，可以有效地捕获局部细节信息，减少图像语义像素分类错误。     

边缘信息引导多级尺度特征融合的显著性目标检测方法

针对基于FCN和U型网络架构的深度学习显著性目标检测方法提取的显著性图存在边界不清晰和结构不完整的问题,文中提出了一种基于边缘信息引导多级尺度特征融合网络(EGMFNet)。EGMFNet使用多通道融合残差块(RCFBlock)以嵌套的U型网络架构作为主干模型。同时,在网络的较低层级引入具有边缘信息引导的全局空间注意力模块(EGSAM)以增强空间特征及边缘特征。此外,在损失函数中引入了图像边界损失,用于提升显著性图的质量并在学习过程中保留更加清晰的边界。在四个基准数据集上进行实验,实验结果表明,文中方法的F值较典型方法提升1.5%、2.7%、1.8%和1.6%,验证了EGMFNet网络模型的有效性。     

多尺度特征对齐聚合的语义分割方法

卷积神经网络在对图像进行语义分割时，高层特征经过降采样和padding操作和低层特征之间容易产生错位。为了解决高低层特征之间的错位问题，更好地聚合多尺度特征信息，提出了一种带有多尺度特征对齐聚合（MFAA）模块的语义分割方法。MFAA模块采用一种可学习插值策略来学习像素的变换偏移，可以有效缓解不同尺度特征聚合的特征不对齐问题，同时模块内的注意力机制提高了解码器恢复重要细节特征的能力。该方法利用高层特征的语义信息和低层特征的空间信息，通过多个MFAA模块将高低层特征对齐之后聚合到一起，从而实现图像更加精细的语义分割效果。将所提网络结构在语义分割数据集PASCAL VOC 2012上进行了验证，使用ResNet-50作为骨干网络时在验证集上的平均交并比值达到了78.4%。实验结果表明，该方法与几种主流分割方法相比在评价指标方面存在优越性，可以有效提高图像分割的效果。     

语义增强引导特征重建的遮挡行人检测

行人被严重遮挡导致无法提取有效特征是行人检测中出现漏检的一个主要原因。为了解决该问题,提出一种语义增强引导特征重建的遮挡行人检测算法。首先,利用空间和通道之间的依赖性设计了语义特征增强模块,建立全局上下文信息用以增强遮挡行人特征。其次,为关注行人的可见区域,通过自适应特征重建模块生成语义分割图,自适应调整通道的有效权重,增强行人和背景的可判别性。最后,通过多层次级联语义特征增强和自适应特征重建两个模块得到多层次特征图,融合多特征用以最终的行人解析。实验结果表明,该方法在具有挑战性的行人检测基准CityPersons和Caltech上,对严重遮挡目标的漏检率分别实现了47.28%和44.04%,在遮挡行人的检测上相较于其他方法具有较好的鲁棒性。     

一种有效融合多尺度特征的图像语义分割方法

卷积神经网络在高级计算机视觉任务中展现出强 大的特征学习能力,已经在图像语义 分割任务 中取得了显著的效果。然而,如何有效地利用多尺度的特征信息一直是个难点。本文提出一 种有效 融合多尺度特征的图像语义分割方法。该方法包含4个基础模块,分别为特征融合模块(feature fusion module,FFM)、空 间信息 模块(spatial information module,SIM)、全局池化模块(global pooling module,GPM)和边界细化模块(boundary refinement module,BRM)。FFM采用了注意力机制和残差结构,以提高 融合多 尺度特征的效率,SIM由卷积和平均池化组成,为模型提供额外的空间细节信息以 辅助定 位对象的边缘信息,GPM提取图像的全局信息,能够显著提高模型的性能,BRM以残差结构为核心,对特征图进行边界细化。本文在全卷积神经网络中添加4个基础模块, 从而有 效地利用多尺度的特征信息。在PASCAL VOC 2012数据集上的实验结 果表明该方法相比全卷积神 经网络的平均交并比提高了8.7%,在同一框架下与其他方法的对比结 果也验证了其性能的有效性。     

基于双解码路径DD-UNet的脑肿瘤图像分割算法

针对医学图像中病灶区域尺度不一、边界模糊和周围组织强度不均匀所导致的分割精度降低问题,提出了一种基于双解码器的脑肿瘤图像分割模型。为了增强特征的表征力,提出了高阶微分残差模块并使用不同空洞率的扩张卷积用于提取特征编码,提高了网络模型的分割性能;引入上下文语义信息感知模块(multi scale dilation, MSD),从不同的目标尺度中提取更多的精细信息,提高了对结构细节信息的捕获能力,同时减少了编解码器之间的特征差异;在空间解码路径中使用选择性聚合空间注意力模块(spatial aggregation attention module, SAAM),增加了对有效空间特征的权重比例,减少了无效的特征干扰。在脑肿瘤数据集上进行了实验验证,实验结果表明,所提算法的Dice系数、平均交并比、敏感性、特异性、准确率等指标分别为：93.35%、90.71%、91.15%、99.94%、96.75%。     

基于多尺度融合注意力改进UNet的遥感图像水体分割

针对遥感图像水体分割任务，提出了一种多尺度融合注意力模块改进的UNet网络——A-MSFAM-UNet，该方法在GF-2遥感图像水体分割任务中实现了端到端高分辨率遥感图像水体分割。首先，针对以往注意力模块全局池化操作带来的局部信息不敏感问题，设计了一种多尺度融合注意力模块（MSFAM），该模块使用点卷积融合通道全局信息、深度可分离卷积弥补全局池化造成的信息丢失。MSFAM用于UNet跳跃连接后的特征融合部分重新分配特征点权重以提高特征融合效率，增强网络获取不同尺度信息的能力。其次，空洞卷积用于VGG16主干网络扩展感受野，在不损失分辨率的情况下聚合全局信息。结果表明，A-MSFAM-UNet优于其他通道注意力（SENet、ECANet）改进的UNet，在GF-2水体分割数据集上平均交并比（MIoU）、平均像素精度（MPA）和准确率（Acc）分别达到了96.02%、97.98%和99.26%。     

特征信息增强的无人机车辆实时检测算法

针对无人机视角下车辆由于尺度小分辨率低等问题而难以精确分类定位,本文设计了一个轻量级特征提取网络用于提供车辆的多尺度中低层信息,并分别将其融入到主干神经网络中,实现中低层特征信息的传递;同时利用主干网络提取有利于车辆与背景或其他类别分类的高级语义信息,然后将深层高级语义特征与浅层特征进行融合实现高级语义信息的传递,因此类似引入双向网络能够有效地传递不同层次的信息,增强车辆的特征信息表示。此外,采用多路空洞卷积进行特征提取,使得中低层信息更加丰富多样性;并设计了一种灵活有效的融合模块,能够将中低层信息较好地融入到主干网络中增强目标车辆的判别性特征。实验结果表明,该算法能够在无人机数据集上取得很好的检测效果,同样满足实时的应用需求。      

基于残差神经网络的道路提取算法研究

针对遥感图像道路提取信息丢失问题,提出了一种基于残差神经网络的道路提取算法。首先构建编码器 解码器网络,结合预编码器以及空洞卷积模块进行训练,提取更多的语义信息;其次并联设计的空洞卷积模块加在编码器 解码器结构的中间部分,它可以对不同感受野的特征图进行特征提取;最后编码器 解码器之间采用跳连的方式进行多尺度的特征融合,学习更多低维和高维的特征。实验结果表明,在Massachusetts道路数据集上,该方法相比其他算法在Preci sion、Recall和F1 score性能指标上分别有11%、0.3%和7.4%的提升;同时在Accuracy指标上也达到了97.9%,相比于其他算法,该算法有一定的应用价值。     

融合自监督和自注意力的输电线语义分割网络

要解决无人机在空中飞行过程中遭遇输电线时存在的避障难的问题,关键之一是要解决对输电线的语义分割中存在的长距离图像分割不连续的问题.为此,提出了一种添加自注意力模块来改进U-Net的语义分割算法,用于输电线的语义分割.通过自注意力模块提取U-Net不同尺度上的全局特征,提高对跨越全局的输电线特征的捕捉能力.为进一步优化训练过程,提出最大池化标签下采样,增强对不平衡类别输电线的学习能力;提出卷积神经网络图像掩码建模自监督预训练,提高预训练权重的质量.此外,为在大规模的输电线数据集上进行验证,对TTPLA输电线输电塔数据集实例分割标签进行处理,制作了TTPLA输电线语义分割数据集.实验表明,改进的网络通过捕捉全局特征的自注意力机制、优化的深度监督过程和自监督预训练,对比原版U-Net具有更高的分割精度.在TTPLA输电线语义分割数据集的测试中,与原版U-Net相比,其IoU指标提高了2.32%,达到了71.45%.证明算法增强了图像中长距离输电线语义特征之间的联系,提高了输电线语义分割的完整性,提升了无人机的避障能力.     

基于增强多尺度特征解码器的图像语义分割

针对语义分割模型SegFormer在进行图像分割时存在多尺度语义信息利用不充分、细节特征丢失等问题,提出了一种改进的轻量级的语义分割算法,并设计了一个新的解码器来增强多尺度特征表示.采用新提出的瓶颈空间金字塔池化模块（BoSPP）以获得丰富且准确的多尺度信息,所提出模型采用拉普拉斯金字塔来获得编码阶段更精确的高分辨率细节特征,并将其应用于解码阶段来解决细节特征丢失的问题;最后对特征进行逐步融合,以避免上采样率过大导致细节损失,极大地保留丰富的细节特征进而增强最终的语义分割效果. ADE20K数据集的实验结果表明,使用改进后的解码器进行语义分割,在精度和运算量方面都有所改善.以使用MiT-B0编码器的实验为例,其mIoU指标相比原网络提升了1.36%,浮点运算量仅为原网络的51%.实验结果表明,改进后的模型在不增加大量计算成本的情况下提升了模型的分割精度,且浮点运算量更少,改进后的语义分割模型优于原模型,在增强多尺度特征和图像边界细节特征方面有更好的分割效果.     

基于字符注意力的自然场景文本识别

自然场景文本识别中采用固定大小的卷积核提取视觉特征,后仅进行字符分类的方法,其全局建模能力弱且忽视了文本语义建模的重要性,因此,本文提出一种基于字符注意力的自然场景文本识别方法。首先构建不同于卷积网络的多级efficient Swin Transformer提取特征,其可使不同窗口的特征进行信息交互;其次设计了字符注意力模块(character attention module, CAM),使网络专注于字符区域的特征,以提取识别度更高的视觉特征;并设计语义推理模块(semantic reasoning module, SRM),根据字符的上下文信息对文本序列进行建模,获得语义特征来纠正不易区分或模糊的字符;最后融合视觉和语义特征,分类得到字符识别结果。实验结果表明,在规则文本数据集IC13上识别准确率达到了95.2%,在不规则的弯曲文本数据集CUTE上达到了85.8%,通过消融及对比实验证明了本文提出的方法可行。     

基于RGB-T图像的双流残差扩张网络人群计数算法

在人群计数中，针对尺度变化、行人分布不均以及夜间较差成像条件，提出了一种基于RGBT(RGB-Thermal)图像的多模态人群计数算法，称为双流残差扩张网络，它由前端特征提取网络、多尺度的残差扩张卷积模块和全局注意力模块所构成。其中，前端网络用来提取RGB特征和热特征，扩张卷积模块进一步提取不同尺度的行人特征信息，全局注意力模块用来建立全局特征之间的依赖关系。此外，还引入了一种新的多尺度差异性损失，以提高网络的计数性能。为评估该方法，在RGBTCC(RGBT Crowd Counting)数据集和DroneRGBT数据集上进行了对比实验。实验结果表明，在RGBTCC数据集上与CMCRL(Cross-modal Collaborative Representation Learning)算法相比该算法的GAME(0)(Grid Average Mean absolute Errors)和RMSE(Root Mean Squared Error)分别降低了0.8和3.49，在DroneRGBT数据集上与MMCCN(Multi-Modal Crowd Counting Network)算法比...