基于区域特征强化的多尺度伪装目标检测方法

伪装目标检测(COD)能够在复杂环境下探测出与背景相似度极高的伪装目标,在军事侦查和工业检测等领域具有重要的应用价值。针对现有伪装目标检测方法对区域级特征信息利用率低的问题,提出一种基于区域特征强化的多尺度伪装目标检测网络(RFE-Net)方法,实现可见光条件下伪装目标的准确探测。RFE-Net主要包含弱语义特征增强模块、空间信息交互模块和上下文信息聚合模块。首先弱语义特征增强模块引入了条状池化和非对称卷积,通过优化网络的感受野来动态调整搜索区域,从而加强长距离弱语义特征间的联系;然后将级联的U型块结构组合为空间信息交互模块,消除错误预测样本的干扰;最后设计上下文信息聚合模块,通过充分融合深层语义信息和浅层细粒度信息以精细化处理目标边缘细节,从而提升预测准确度。实验结果表明,所提方法能够加强目标内部的弱语义关联,提高目标与背景的区分度,在最大测试集NC4K上的结构性度量、增强对准度量、加权F1值和平均绝对误差4个指标上均取得最优值,其中结构性度量和平均绝对误差高于第2名方法1.1%和7.7%。     

一种上下文信息融合的安全帽识别算法

为了预防人员防护缺失导致的生产事故,着力探究复杂施工场景下人员安全帽佩戴情况的智能化识别。在一阶段目标检测算法的基础上,针对安全帽识别问题中的小目标和安全帽纹理信息缺失的问题,提出提取并融合上下文信息,以增强模型的表征学习能力。首先,为解决特征鉴别力不足的问题,提出局部上下文感知模块和全局上下文融合模块。局部上下文感知模块能够融合人体头部信息和安全帽信息获取具有鉴别力的特征表示;全局上下文融合模块将高层的语义信息与浅层特征融合,提升浅层特征的抽象能力。其次,为了解决小目标识别问题,提出使用多个不同的目标检测模块分别识别不同大小的目标。在构建的复杂施工场景下的安全帽识别数据集上的实验结果表明：提出的2个模块将mAP提高了11.46个百分点,安全帽识别的平均精度提高了10.55个百分点。本文提出的方法具有速度快、精度高的特点,为智慧工地提供了有效的技术解决方案。     

面向交通场景解析的局部和全局上下文注意力融合网络

为解决交通场景解析中局部和全局上下文信息自适应聚合的问题,提出3模块架构的局部和全局上下文注意力融合网络（LGCAFN）。前端的特征提取模块由基于串联空洞空间金字塔池化（CASPP）单元改进的ResNet-101组成,能够更加有效地提取物体的多尺度局部特征;中端的结构化学习模块由8路长短期记忆（LSTM）网络分支组成,可以更加准确地推理物体邻近8个不同方向上场景区域的空间结构化特征;后端的特征融合模块采用基于注意力机制的3阶段融合方式,能够自适应地聚合有用的上下文信息并屏蔽噪声上下文信息,且生成的多模态融合特征能够更加全面且准确地表示物体的语义信息。在Cityscapes标准和扩展数据集上的实验结果表明,相较于逆变换网络（ITN）和对象上下文表示网络（OCRN）等方法,LGCAFN实现了最优的平均交并比（mIoU）,达到了84.0%和86.3%,表明LGCAFN能够准确地解析交通场景,有助于实现车辆自动驾驶。     

层级语义融合的场景文本检测

目的 场景文本检测是场景理解和文字识别领域的重要任务之一,尽管基于深度学习的算法显著提升了检测精度,但现有的方法由于对文字局部语义和文字实例间的全局语义的提取能力不足,导致缺乏文字多层语义的建模,从而检测精度不理想。针对此问题,提出了一种层级语义融合的场景文本检测算法。方法 该方法包括基于文本片段的局部语义理解模块和基于文本实例的全局语义理解模块,以分别引导网络关注文字局部和文字实例间的多层级语义信息。首先,基于文本片段的局部语义理解模块根据相对位置将文本划分为多个片段,在细粒度优化目标的监督下增强网络对局部语义的感知能力。然后,基于文本实例的全局语义理解模块利用文本片段粗分割结果过滤背景区域并提取可靠的文字区域特征,进而通过注意力机制自适应地捕获任意形状文本的全局语义信息并得到最终分割结果。此外,为了降低边界区域的预测噪声对层级语义信息聚合的干扰,提出边界感知损失函数以降低边界区域特征的歧义性。结果 算法在3个常用的场景文字检测数据集上实验并与其他算法进行了比较,所提方法在性能上获得了显著提升,在Totoal-Text数据集上,F值为87.0%,相比其他模型提升了1.0%;在MSRA-TD500（MSRA text detection 500 database）数据集上,F值为88.2%,相比其他模型提升了1.0%;在ICDAR 2015（International Conference on Document Analysis and Recognition）数据集上,F值为87.0%。结论 提出的模型通过分别构建不同层级下的语义上下文和对歧义特征额外的惩罚解决了层级语义提取不充分的问题,获得了更高的检测精度。     

基于特征感知和更新的显著物体检测

为了解决显著物体检测方法中浅层特征未能有效利用深层语义信息的目标定位优势进行细节特征定位和学习问题，提出一种基于特征感知和更新的显著物体检测模型。采用卷积组提升不同层级侧输出特征性能和降低特征维度，设计全局信息感知模块提取和融合多尺度的全局特征，在每侧直接融合深层的语义特征和浅层的细节特征，并通过计算空间注意力进行显著性特征更新。通过在4个公开基准数据集上与12种近3年发表的具有代表性的主流模型对比，实验结果表明，所提模型面对各种复杂场景均具有较强的鲁棒性，得到具有均匀内部和清晰边界的检测结果。     

基于全局多尺度特征融合的伪装目标检测网络

在伪装目标检测中,由于伪装目标的外观与背景相似度极高,很难精确分割伪装目标.针对上下文感知跨级融合网络中,高层次语义信息在向浅层网络融合传递时因被稀释及丢失而导致精度降低的问题,文中提出基于全局多尺度特征融合的伪装目标检测网络.先设计全局增强融合模块,捕捉不同尺度下的上下文信息,再通过不同的融合增强分支,将高层次语义信息输送至浅层网络中,减少多尺度融合过程中特征的丢失.在高层网络中设计定位捕获机制,对伪装目标进行位置信息提取与细化.在浅层网络中对较高分辨率图像进行特征提取与融合,强化高分辨率特征细节信息.在3个基准数据集上的实验表明文中网络性能较优.     

基于Transformer的跨尺度交互学习伪装目标检测

伪装目标检测(COD)旨在精确且高效地检测出与背景高度相似的伪装物体, 其方法可为物种保护、医学病患检测和军事监测等领域提供助力, 具有较高的实用价值. 近年来, 采用深度学习方法进行伪装目标检测成为一个比较新兴的研究方向. 但现有大多数COD算法都是以卷积神经网络(CNN)作为特征提取网络, 并且在结合多层次特征时, 忽略了特征表示和融合方法对检测性能的影响. 针对基于卷积神经网络的伪装目标检测模型对被检测目标的全局特征提取能力较弱问题, 提出一种基于Transformer的跨尺度交互学习伪装目标检测方法. 该模型首先提出了双分支特征融合模块, 将经过迭代注意力的特征进行融合, 更好地融合高低层特征; 其次引入了多尺度全局上下文信息模块, 充分联系上下文信息增强特征; 最后提出了多通道池化模块, 能够聚焦被检测物体的局部信息, 提高伪装目标检测准确率. 在CHAMELEON、CAMO以及COD10K数据集上的实验结果表明, 与当前主流的伪装物体检测算法相比较, 该方法生成的预测图更加清晰, 伪装目标检测模型能取得更高精度.     

基于多尺度注意力机制的道路场景语义分割模型

通过对道路场景进行语义分割可以辅助车辆感知周边环境,达到避让行人、车辆以及各类小目标物体障碍的目的,提高行驶的安全性。针对道路场景语义分割中小目标物体识别精度不高、网络参数量过大等问题,提出一种基于多尺度注意力机制的语义分割模型。利用小波变换的多尺度多频率信息分析特性,设计一种多尺度小波注意力模块,并将其嵌入到编码器结构中,通过融合不同尺度及频率的特征信息,保留更多的边缘轮廓细节。使用编码器与解码器之间的层级连接,以及改进的金字塔池化模块进行多方面特征提取,在保留上下文特征信息的同时获得更多的图像细节。通过设计多级损失函数训练网络模型,从而加快网络收敛。在剑桥驾驶标注视频数据集上的实验结果表明,该模型的平均交并比为60.21%,与DeepLabV3+和DenseASPP模型相比参数量减少近30%,在不额外增加参数量的前提下提升了模型的分割精度,且在不同场景下均具有较好的鲁棒性。     

基于点云补全和多分辨Transformer的弱感知目标检测方法

针对远距离或遮挡场景中形状缺失的弱感知目标的检测精确率低下的问题,提出一种基于点云补全和多分辨Transformer的弱感知目标检测方法（WP-CMT）。首先,考虑到目标检测网络中的下采样卷积操作会导致部分关键信息的丢失,选取具有反卷积上采样结构的部分感知聚合（Part-A2）方法作为基础网络以生成初始候选框;然后,为增强初始候选框中的弱感知目标形状及位置特征,采用点云补全模块重构弱感知目标表面的密集点集,并构建新颖的多分辨Transformer特征编码模块来聚合弱感知目标的补全形状特征和原始空间位置信息,通过逐步编码不同分辨率局部坐标点集上的聚合特征的上下文语义相关性来捕获弱感知目标增强的局部特征,最终生成精细化的目标检测框。实验结果表明：对于KITTI和Waymo数据集中的弱感知困难级别目标,WP-CMT的平均精确率和平均精确率均值分别比基准方法 Part-A2提升了2.51和1.59个百分点,验证了该方法对弱感知目标检测的有效性。同时,消融实验结果表明WP-CMT中的点云补全和多分辨Transformer特征编码模块对于不同类型的区域候选网络（RPN）结构均能有效提升弱感知目标的...     

采用特征引导机制的显著性检测网络

近年来,基于全卷积网络的显著性物体检测方法较手工选取特征的方法已经取得了较大的进展,但针对复杂场景图像的检测仍存在一些问题需要解决。提出了一种新的基于全局特征引导的显著性物体检测模型,研究深层语义特征在多尺度多层次特征表达中的重要作用。以特征金字塔网络的编解码结构为基础,在自底而上的路径中,设计了全局特征生成模块（GGM）,准确提取显著性物体的位置信息;构建了加强上下文联系的残差模块（RM）,提取各侧边输出的多尺度特征;采用特征引导流（GF）融合全局特征生成模块和残差模块,利用深层语义特征去引导浅层特征提取,高亮显著目标的同时抑制背景噪声。实验结果表明,在5个基准数据集上与11种主流方法相比,该模型具有优越性。     

基于几何适应与全局感知的遥感图像目标检测算法

针对遥感图像目标尺寸小、目标方向任意和背景复杂等问题，在YOLOv5算法的基础上，提出一种基于几何适应与全局感知的遥感图像目标检测算法。首先，将可变形卷积与自适应空间注意力模块通过密集连接交替串联堆叠，在充分利用不同层级的语义和位置信息基础上，构建一个能够建模局部几何特征的密集上下文感知模块（DenseCAM）；其次，在骨干网络末端引入Transformer，以较低的开销增强模型的全局感知能力，实现目标与场景内容的关系建模。在UCAS-AOD和RSOD数据集上与YOLOv5s6算法相比，所提算法的平均精度均值（mAP）分别提高1.8与1.5个百分点。实验结果表明，所提算法能够有效提高遥感图像目标检测的精度。     

目标语义概率模型在类目标识别和地物场景分析中的算法研究

基于文本分析统计模型提出了图像类目标的语义概率模型,并且将这种概率模型应用于目标识别和复杂场景下的地物分析.首先将图像表示成多个特征局部区域的集合,然后根据目标语义概率模型得到图像、特征局部和目标语义之间的概率关系,通过计算后验概率可以实现目标语义类别的识别.目标概率模型通过EM算法获得模型估计参数.实验结果显示,在识别复杂背景中的目标达到了很好的效果.场景分析中根据图像中各局部区域与目标语义的概率分布可以实现场景中感兴趣区域的标注,实验结果说明此方法有可行性.     

面向多模态交互式融合与渐进式优化的三维视觉理解

三维视觉理解旨在智能地感知和解释三维场景,实现对物体、环境和动态变化的深入理解与分析。三维目标检测作为其核心技术,发挥着不可或缺的作用。针对当前的三维检测算法对于远距离目标和小目标检测精度较低的问题,提出了一种面向多模态交互式融合与渐进式优化的三维目标检测方法MIFPR。在特征提取阶段,首先引入自适应门控信息融合模块。通过把点云的几何特征融入图像特征中,能够获取对光照变化更有辨别力的图像表示。随后提出基于体素质心的可变形跨模态注意力模块,以驱使图像中丰富的语义特征和上下文信息融合到点云特征中。在目标框优化阶段,提出渐进式注意力模块,通过学习、聚合不同阶段的特征,不断增强模型对于精细化特征的提取与建模能力,逐步优化目标框,以提升对于远距离、小目标的检测精度,进而提高对于视觉场景理解的能力。在KITTI数据集上,所提方法对于Pedestrian和Cyclist等小目标的检测精度较最优基线有明显提升,证实了该方法的有效性。     

基于移位窗口金字塔Transformer的遥感图像目标检测

目标检测任务是计算机视觉领域中基础且备受关注的工作,遥感图像目标检测任务因在交通、军事、农业等方面具有重要应用价值,也成为研究的一大热点。相比自然图像,遥感图像由于受到复杂背景的干扰,以及天气、小型和不规则物体等诸多因素的影响,遥感图像目标检测任务要实现较高的精度是极具挑战性的。文中提出了一种新颖的基于移位窗口Transformer的目标检测网络。模型应用了移位窗口式Transformer模块作为特征提取的骨干,其中,Transformer的自注意力机制对于检测混乱背景下的目标十分有效,移位窗口式的模式则有效避免了大量的平方级复杂度计算。在获得骨干网络提取的特征图之后,模型使用了金字塔架构以融合不同尺度、不同语义的局部和全局特征,有效地减少了特征层之间的信息丢失,并捕捉到固有的多尺度层级关系。此外,文中还提出了自混合视觉转换器模块和跨层视觉转换器模块。自混合视觉转换器模块重新渲染了深层特征图以增强目标特征识别和表达,跨层视觉转换器模块则依据特征上下文交互等级重新排列各特征层像素的信息表达。模块融入到自下而上和自上而下双向特征路径之中,以充分利用包含不同语义的全局和局部信息。所提网络模型...     

高精度实时语义分割算法框架: 多通道深度加权聚合网络

近年来随着深度学习技术的不断发展,涌现出各种基于深度学习的语义分割算法,然而绝大部分分割算法都无法实现推理速度和语义分割精度的兼得.针对此问题,提出一种多通道深度加权聚合网络(MCDWA_Net)的实时语义分割框架.\:该方法首先引入多通道思想,构建一种3通道语义表征模型,3通道结构分别用于提取图像的3类互补语义信息:低级语义通道输出图像中物体的边缘、颜色、结构等局部特征;辅助语义通道提取介于低级语义和高级语义的过渡信息,并实现对高级语义通道的多层反馈;高级语义通道获取图像中上下文逻辑关系及类别语义信息.\:之后,设计一种3类语义特征加权聚合模块,用于输出更完整的全局语义描述.\:最后,引入一种增强训练机制,实现训练阶段的特征增强,进而改善训练速度.\:实验结果表明,所提出方法在复杂场景中进行语义分割不仅有较快的推理速度,且有很高的分割精度,能够实现语义分割速度与精度的均衡.     

自适应上下文特征的多尺度目标检测算法

识别多尺度目标是检测任务中的一项挑战,针对检测中的多尺度问题,提出自适应上下文特征的多尺度目标检测算法。针对不同尺度的目标需要不同大小感受野特征进行识别的问题,构建了一种多感受野特征提取网络,通过多分支并行空洞卷积,从高层语义特征中挖掘标签中的上下文信息;针对不同尺度目标的语义特征出现在不同分辨率特征图中的问题,基于改进的通道注意力机制,提出自适应的特征融合网络,通过学习不同分辨率特征图之间的相关性,在全局语义特征中融合局部位置特征;利用不同尺度的特征图识别不同尺度的物体。在PASCAL VOC数据集上对本文算法进行验证,本文方法的检测精度达到了85.74%,相较于Faster R-CNN检测精度提升约8.7%,相较于基线检测算法YOLOv3+提升约2.06%。     

一种基于多层语义特征的图像理解方法

视觉场景理解包括检测和识别物体、推理被检测物体之间的视觉关系以及使用语句描述图像区域.为了实现对场景图像更全面、更准确的理解,将物体检测、视觉关系检测和图像描述视为场景理解中3种不同语义层次的视觉任务,提出一种基于多层语义特征的图像理解模型,并将这3种不同语义层进行相互连接以共同解决场景理解任务.该模型通过一个信息传递图将物体、关系短语和图像描述的语义特征同时进行迭代和更新,更新后的语义特征被用于分类物体和视觉关系、生成场景图和描述,并引入融合注意力机制以提升描述的准确性.在视觉基因组和COCO数据集上的实验结果表明,所提出的方法在场景图生成和图像描述任务上拥有比现有方法更好的性能.     

结合密度图回归与检测的密集计数研究

针对基于检测以及基于密度图两种主流的密集计数方法中，基于检测的方法召回率较低、基于密度图的方法缺失目标物体位置信息的问题，将检测任务与回归任务相结合后提出一种基于密度图回归的检测计数方法，可以实现对密集场景中目标物体的计数以及定位，对两种方法进行优势互补，在提高召回率的同时，实现标定所有目标物体的位置信息。为提取出更加丰富的特征信息以面对复杂的数据场景，网络提出特征金字塔优化模块，该模块纵向融合底层高分辨特征与顶层抽象语义特征，横向融合同尺寸的特征，丰富目标物体的语义表达；考虑到密集计数场景中目标物体所占像素比例较低的问题，提出一种针对小目标的注意力机制，通过对输入图像构建掩膜以增强网络对目标物体的注意力，从而提高网络的检测敏感性。实验结果表明，所提出方法在保持准确率基本不变的情况下，大幅度提高了召回率，同时可准确标定目标物体位置，有效提供输入目标图像的计数以及定位信息，在工业以及生态等各种领域具有广泛的应用前景。     

基于渐进式嵌套特征的融合网络

显著目标检测是指通过引入人类视觉注意力机制,使计算机能检测视觉场景中人们最感兴趣的区域或对象.针对显著性目标检测中存在检测边缘不清晰、检测目标不完整及小目标漏检的问题,文中提出基于渐进式嵌套特征的融合网络.网络采用渐进式压缩模块,将较深层特征不断向下传递融合,在降低模型参数量的同时也充分利用高级语义信息.先设计加权特征融合模块,将编码器的多尺度特征聚合成可访问高级信息和低级信息的特征图.再将聚合的特征分配到其它层,充分获取图像上下文信息及关注图像中的小目标对象.同时引入非对称卷积模块,进一步提高检测准确性.在6个公开数据集上的实验表明文中网络取得较优的检测效果.     

多尺度上下文信息增强的显著目标检测全卷积网络

针对目前基于深度学习的显著目标检测算法存在的目标完整性和区域平滑度的不足,基于非局部深度特征提出一种多尺度上下文信息增强的全卷积网络算法,包含多级别特征提取、多尺度上下文特征增强、对比度特征提取和局部-全局信息融合预测4个模块.首先从VGG16模型提取多级别局部特征,利用多尺度上下文实现特征信息增强;然后设计组合的损失函数进行网络训练以学习对比度特征;最后用局部-全局融合的方式实现显著图的预测.与已有算法在ECSSD,HKU-IS和DUT-OMRON数据集上进行实验的结果表明,该算法在复杂场景图像上的鲁棒性更好,对背景噪声具有更有效的抑制作用,得到的显著目标区域更加连续和完整.