融合特征增强和自注意力的SSD小目标检测算法

SSD是一种多尺度目标检测算法,由于浅层特征图缺乏语义信息,导致小目标的检测准确率低.针对这个问题,提出一种融合特征增强和自注意力的SSD小目标检测算法FA-SSD.该算法在SSD基础上构建一条自深向浅的递归反向路径,此路径包含三个模块:深层特征增强模块利用路径深层多尺度特征图生成的上下文信息和最深层特征图的语义信息,...     

基于注意力机制和特征融合的道路目标检测算法

针对道路检测目标小、模型特征融合不充分等问题,提出了一种基于注意力机制和多尺度特征融合的道路目标检测算法MFFDM。该算法将Resnext50网络与注意力模块进行融合形成新的主干特征提取网络;其次,新增具有空间位置信息的底层检测层来匹配对小物体的检测;另外,利用反卷积模块及特征纹理提取模块设计多尺度特征融合网络DEFTFN。实验表明,与FCOS算法相比,该算法在KITTI数据集上的平均精度提升了9.3%,对道路行人目标的检测精度提升明显,提升幅度达14.6%。     

融合注意力机制的深层次小目标检测算法

骨干网络特征提取不充分以及浅层卷积层缺乏语义信息等往往导致了对于小目标检测的效果不佳,为提高小目标检测的精确性与鲁棒性,提出一种融合注意力机制的深层次小目标检测算法.首先,针对骨干网络特征提取能力不足的问题,选用Darknet-53作为特征提取网络,通过构建新的分组残差连接来替换原Darknet-53中的残差连接结构,...     

基于注意力与特征融合的改进SSD目标检测算法

针对目标检测中检测精度低且小目标检测较难的问题,提出了一种基于注意力机制与特征融合的改进SSD目标检测算法。在标准SSD目标检测模型基础上,使用深层特征提取网络ResNet50作为主干网络,在特征提取网络中引入通道-空间注意力机制增强特征图语义信息,计算特征图中像素点之间的影响。最后,将低层特征与高层语义信息进行Concat特征融合,充分利用不同特征图之间的关联信息。此外,使用GIOU代替传统IOU来计算框间的交并比,同时考虑正负样本不均衡的情况,选择Focal损失函数,重新定义了损失函数。实验采用PASCALVOC开源数据集进行仿真验证,并与传统SSD目标检测算法进行对比,准确率得到了一定的提高,验证了该算法对目标检测的有效性。     

基于注意力机制的多模态融合谣言检测方法

谣言会对社会生活造成不利影响,同时具有多种模态的网络谣言比纯文字谣言更容易误导用户和传播,这使得对多模态的谣言检测不可忽视。目前关于多模态谣言检测方法没有关注词与图片区域对象之间的特征融合,因此提出了一种基于注意力机制的多模态融合网络AMFNN应用于谣言检测,该方法在词-视觉对象层面进行高级信息交互,利用注意力机制捕捉与关键词语相关的视觉特征;提出了基于自注意力机制的自适应注意力机制Adapive-SA,通过增加辅助条件来约束内部的信息流动,使得模态内的关系建模更有目标性和多样性。在两个多模态谣言检测数据集上进行了对比实验,结果表明,与目前相关的多模态谣言检测方法相比,AMFNN能够合理地处理多模态信息,从而提高了谣言检测的准确性。     

面向多模态情感分析的双模态交互注意力

针对现有多模态情感分析方法中存在情感分类准确率不高,难以有效融合多模态特征等问题,通过研究分析相邻话语之间的依赖关系和文本、语音和视频模态之间的交互作用,建立一种融合上下文和双模态交互注意力的多模态情感分析模型.该模型首先采用双向门控循环单元(BiGRU)捕获各模态中话语之间的相互依赖关系,得到各模态的上下文信息.为了...     

注意力特征融合的快速遥感图像目标检测算法

针对遥感图像背景复杂、小目标多、特征提取难等问题，提出了一种注意力特征融合的快速遥感图像目标检测算法——YOLO-Aff。该算法设计了一种带通道注意力的主干网络模块（ECALAN）以及模糊池（BP）模块来减小下采样带来的损失。此外，采用了一种无跨步卷积的特征金字塔网络（SPD-FPN）结合SimAM注意力特征融合模块（CBSA）来增强特征的跨尺度融合能力。最后，通过使用Wise-IoU作为网络的坐标损失来优化样本不均衡问题。实验结果表明，改进的YOLO-Aff算法在NWPU VHR-10数据集上的mAP值达到96%，较原算法mAP提高了2.9个百分点，为遥感图像的快速、高精度目标检测提供了新的解决方案。     

空间约束下自相互注意力的RGB-D显著目标检测

针对RGB-D显著目标检测问题,提出空间约束下自相互注意力的RGB-D显著目标检测方法.首先,引入空间约束自相互注意力模块,利用多模态特征的互补性,学习具有空间上下文感知的多模态特征表示,同时计算两种模态查询位置与周围区域的成对关系以集成自注意力和相互注意力,进而聚合两个模态的上下文特征.然后,为了获得更互补的信息,进一步将金字塔结构应用在一组空间约束自相互注意力模块中,适应不同空间约束下感受野不同的特征,学习到局部和全局的特征表示.最后,将多模态融合模块嵌入双分支编码-解码网络中,解决RGB-D显著目标检测问题.在4个公开数据集上的实验表明,文中方法在RGB-D显著目标检测任务上具有较强的竞争性.     

引入独立融合分支的双模态语义分割网络

基于可见光、红外双模态数据的场景语义分割在多种复杂环境下较单模态分割显现出更好的性能,然而,获取较好分割效果的前提条件是可见光相机和红外热像仪的成像均清晰。真实场景中存在较多不利的环境因素,如恶劣的光照和天气会对可见光或红外产生不同程度的干扰,从而限制了基于双模态语义分割方法的性能表现。为解决该问题,建立一种改进的双模态语义分割模型。在双流网络架构的基础上增加红外与可见光的像素级融合模块,将其作为一个独立的分支网络并与可见光、红外2个已有分支进行特征级融合,从而实现双模态的像素级和特征级融合。此外,在融合分支中增加空间、通道注意力机制,以挖掘双模态在像素级上的互补特征。实验结果表明,在MF和FR-T这2个公开数据集上,该模型的mIoU指标相比性能表现次优的RTFNet-50模型分别提高6.5和0.6个百分点,且在双模态图像降质和失效时依然具有良好的分割性能。     

双元双模态下二次门控融合的多模态情感分析

为了平衡情感信息在不同模态中分布的不均匀性,获得更深层次的多模态情感表征,提出了一种基于双元双模态二次门控融合的多模态情感分析方法。对文本、视觉模态,文本、语音模态分别融合,充分考虑文本模态在三个模态中的优势地位。同时为了获得更深层次的多模态交互信息,使用二次融合。在第一次融合中,使用融合门决定向主模态添加多少补充模态的知识,得到两个双模态混合知识矩阵。在第二次融合中,考虑到两个双模态混合知识矩阵中存在冗余、重复的信息,使用选择门从中选择有效、精简的情感信息作为双模态融合后的知识。在公开数据集CMU-MOSEI上,情感二分类的准确率和F1值分别达到了86.2%、86.1%,表现出良好的健壮性和先进性。     

RGB-D双模态特征融合语义分割

针对复杂室内场景中,现有RGB图像语义分割网络易受颜色、光照等因素影响以及RGB-D图像语义分割网络难以有效融合双模态特征等问题,提出一种基于注意力机制的RGB-D双模态特征融合语义分割网络AMBFNet(attention mechanism bimodal fusion network)。该网络采用编-解码器结构,首先搭建双模态特征融合结构（AMBF）来合理分配编码支路各阶段特征的位置与通道信息,然后设计双注意感知的上下文（DA-context）模块以合并上下文信息,最后通过解码器将多尺度特征图进行跨层融合,以减少预测结果中类间误识别和小尺度目标丢失问题。在SUN RGB-DNYU和NYU Depth v2(NYUDV2)两个公开数据集上的测试结果表明,相较于残差编解码（RedNet）、注意力互补网络（ACNet）、高效场景分析网络（ESANet）等目前较先进的RGB-D语义分割网络,在同等硬件条件下,该网络具有更好的分割性能,平均交并比（MIoU）分别达到了47.9%和50.0%。     

基于注意力与多模态混合融合的谣言检测方法

社交媒体内容结构具有复杂性,大量虚假信息掺杂在真实内容中,或者在真实图片上配以杜撰的文字内容,导致基于单个模态的方法难以有效检测谣言。提出基于注意力机制与Dempster’s组合规则的混合融合方法。通过新增用户模态,提取文本、视觉和用户3个模态的特征向量,利用注意力机制对词语和视觉进行双向匹配,给予对谣言检测具有更多贡献的词语和视觉神经元更大的权值。在前后期融合均加入注意力机制,实现特征和决策的自动加权,并使用Dempster's组合规则实现混合融合。在真实的中文Weibo数据集和外文Twitter数据集上的实验结果表明,该方法准确率分别达到97.44%和92.35%,准确率和F1-score指标均高于基准方法和多模态方法。     

多尺度通道注意力融合网络的小目标检测算法

当前小目标检测算法的实现方式主要是设计各种特征融合模块,检测效果和模型复杂度很难达到平衡.此外,与常规目标相比,小目标信息量少,特征难以提取.为了克服这两个问题,采用了一种不降维局部跨通道交互策略的通道注意力模块,实现通道间的信息关联,通过对每个通道的特征进行权重分配来学习不同通道间特征的相关性.同时,加入改进的特征融合模块,使网络可以使用低层和高层的特征进行多尺度目标检测,提升了以低层特征为主要检测依据的小目标检测精度.骨干网络采用特征表达能力强和速度快的ResNet,在获取更多网络特征的同时保证了网络的收敛性.损失函数采用Focal Loss,减少易分类样本的权重,使得模型在训练时更关注于难分类样本的分类.该算法框架在VOC数据集上的mAP为82.7％,在航拍数据集上的mAP为86.8％.     

结合注意力机制的乳腺双模态超声分类网络

目的 影像学医师通常通过观察乳腺B型超声(brightness-mode ultrasound)肿瘤区域进行良恶性分析,针对难以辨别的病例则融合其对应的超声造影(contrast-enhanced ultrasound, CEUS)特征进一步判别。由于超声图像灰度值范围变化小、良恶性表现重叠,特征提取模型如果不能关注到病灶区域将导致分类错误。为增强网络模型对重点区域的分析,本文提出一种基于病灶区域引导的注意力机制,同时融合双模态数据,实现乳腺超声良恶性的精准判别。方法 通过对比实验,选取一个适合超声图像特征提取的主干分类模型ResNet34;为学习到更有分类意义的特征,以分割结节的掩膜图(region of interest, ROI-mask)作为引导注意力来修正浅层空间特征;将具有分类意义的超声造影各项评价特征向量化,与网络提取的深层特征进行融合分类。结果 首先构建一个从医院收集的真实病例的乳腺超声数据集BM-Breast(breast ultrasound images dataset),与常见分类框架ResNet、Inception等进行对比实验,并与相关最新乳腺分类研究成果对...     

基于运动注意力融合模型的目标检测与提取算法

针对全局运动场景下目标检测与提取方法的局限性,文中根据运动注意力形成机理,构建一种运动注意力时-空融合模型用于运动目标的检测与提取。该算法首先对运动矢量场进行叠加和滤波等预处理。然后根据运动矢量在时间和空间上的变化特点定义运动注意力融合模型,并采用该模型检测运动目标区域。最后利用形态学和边界跟踪方法对目标区域进行精确化提取。根据多个不同全局运动视频场景的测试结果,显示该算法比其它算法具有更好的准确性和实时性。     

注意力与多尺度有效融合的SSD目标检测算法

针对传统的SSD目标检测算法在进行多尺度目标检测时,存在特征图有效信息弱和困难目标漏检率大等问题,提出一种改进的SSD目标检测算法.首先,在网络特征图输出处引入即插即用的轻量级注意力机制,通过不降维、局部跨通道交互以及核大小自适应选择等操作,在保持网络原始计算量的同时有效突出特征图中关键信息.该模块有利于增强背景信息和...     

基于YOLO的多模态加权融合行人检测算法

在夜间光照不足、目标被遮挡导致信息缺失以及行人目标多尺度的情况下,可见光单模态行人检测算法的检测效果较差.为了提高行人检测器的鲁棒性,基于YOLO提出一种可见光与红外光融合的行人检测算法.使用Darknet53作为特征提取网络,分别提取2个模态的多尺度特征.对传统多模态行人检测算法所使用的concat融合方式进行改进,...     

多层特征融合和并行自注意力的孪生网络目标跟踪算法

目标跟踪是计算机视觉方向上的一项重要课题,其中尺度变化、形变和旋转是目前跟踪领域较难解决的问题。针对以上跟踪中所面临的具有挑战性的问题,基于已有的孪生网络算法提出多层特征融合和并行自注意力的孪生网络目标跟踪算法(MPSiamRPN)。首先,用修改后的ResNet50对模板图片和搜索图片进行特征提取,为处理网络过深而导致目标部分特征丢失,提出多层特征融合模块(multi-layer feature fusion module, MLFF)将ResNet后三层特征进行融合;其次,引入并行自注意力模块(parallel self-attention module, PSA),该模块由通道自注意力和空间自注意力组成,通道自注意力可以选择性地强调对跟踪有益的通道特征,空间自注意力能学习目标丰富的空间信息;最后,采用区域提议网络(regional proposal network, RPN)来完成分类和回归操作,从而确定目标的位置和形状。实验显示,提出的MPSiamRPN在OTB100、VOT2018两个测试数据集上取得了具有可竞争性的结果。     

基于注意力的毫米波-激光雷达融合目标检测

针对自动驾驶中使用激光雷达进行目标检测时漏检被遮挡目标、远距离目标和复杂天气场景下目标的问题,提出一种基于注意力机制的毫米波-激光雷达特征融合的目标检测方法.首先,将毫米波和激光雷达各自的扫描帧数据分别聚合到它们的标注帧上,并将毫米波和激光雷达的数据点进行空间对齐;其次,对两者进行聚合和空间对齐后的数据分别进行Poin...