基于阶梯型特征空间分割与局部注意力机制的行人重识别

为了让网络捕捉到更有效的内容来进行行人的判别,该文提出一种基于阶梯型特征空间分割与局部分支注意力网络(SLANet)机制的多分支网络来关注局部图像的显著信息。首先,在网络中引入阶梯型分支注意力模块,该模块以阶梯型对特征图进行水平分块,并且使用了分支注意力给每个分支分配不同的权重。其次,在网络中引入多尺度自适应注意力模块,该模块对局部特征进行处理,自适应调整感受野尺寸来适应不同尺度图像,同时融合了通道注意力和空间注意力筛选出图像重要特征。在网络的设计上,使用多粒度网络将全局特征和局部特征进行结合。最后,该方法在3个被广泛使用的行人重识别数据集Market-1501,DukeMTMC-reID和CUHK03上进行验证。其中在Market-1501数据集上的mAP和Rank-1分别达到了88.1%和95.6%。实验结果表明,该文所提出的网络模型能够提高行人重识别准确率。     

基于关系融合和特征分解的车辆重识别算法

在车辆重识别(re-identification,Re-ID) 任务中,通过对全局及局部信息的联合提取已成为目前主流的方法,是许多重识别模型在提取局部信息时只关注了丰富程度而忽略了完整性。针对该问题,提出了一种基于关系融合和特征分解的算法。该算法从空间与通道维度出发,设计对骨干网络所提取的特征沿垂直、水平、通道3维度分割,首先,为了更好地凸显车辆的前景区域,提出一种混合注意力模块(mixed attention module,MAM) ,之后,为了在空间维度上挖掘丰富特征信息的同时使得网络关注更完整的感兴趣区域,设计对垂直及水平方向的分割后的特征实现基于图的关系融合。为了赋予网络捕捉更具判别性信息的能力,在通道方向上对分割后的局部特征实现特征分解。最后,在全局分支特征与局部分支下所提取的鲁棒性特征的共同作用下实现车辆重识别。实验结果表明,本文算法在两个主流车辆重识别数据集上取得了更先进的性能。     

引入全局上下文特征模块的DenseNet孪生网络目标跟踪

近年来,采用孪生网络提取深度特征的方法由于其较好的跟踪精度和速度,成为目标跟踪领域的研究热点之一,但传统的孪生网络并未提取目标较深层特征来保持泛化性能,并且大多数孪生网络只提取局部领域特征,这使得模型对于外观变化是非鲁棒和局部的.针对此,该文提出一种引入全局上下文特征模块的DenseNet孪生网络目标跟踪算法.该文创新性地将DenseNet网络作为孪生网络骨干,采用一种新的密集型特征重用连接网络设计方案,在构建更深层网络的同时减少了层之间的参数量,提高了算法的性能,此外,为应对目标跟踪过程中的外观变化,该文将全局上下文特征模块(GC-Model)嵌入孪生网络分支,提升算法跟踪精度.在VOT2017和OTB50数据集上的实验结果表明,与当前较为主流的算法相比,该文算法在跟踪精度和鲁棒性上有明显优势,在尺度变化、低分辨率、遮挡等情况下具有良好的跟踪效果,且达到实时跟踪要求.     

双金字塔结构引导的多粒度行人重识别方法北大核心CSCD

针对杂乱场景下难以有效地提取行人关键信息和局部遮挡时全局特征方法失效的问题,提出了一种双金字塔结构引导的多粒度行人重识别(person re-identification,ReID)方法。首先在ResNet50中嵌入注意力金字塔,引导网络由粗到细依次挖掘不同粒度的特征,使网络更倾向于关注复杂环境中行人的显著区域;其次通过结构不对称的双重注意力特征金字塔分支(double attention feature pyramid branch,DFP branch)提取多尺度的行人特征,丰富特征的多样性,同时双重注意力机制可使分支从浅层信息中捕获高细粒度的局部特征;最后将粒度较粗的全局特征与多层级细粒度的局部特征融合,两种金字塔相互作用,以此获得更多具有鉴别性的多粒度特征,改善行人遮挡问题。在多个数据集上进行了实验,结果表明,各项评价指标均高于目前大多数主流模型,其中在DukeMTMC-reID数据集上,Rank-1、mAP和平均逆负处罚(mean inverse negative penalty,mINP)分别达到了91.6%、81.9%、48.1%。     

引入全局上下文特征模块的DenseNet孪生网络目标跟踪

近年来,采用孪生网络提取深度特征的方法由于其较好的跟踪精度和速度,成为目标跟踪领域的研究热点之一,但传统的孪生网络并未提取目标较深层特征来保持泛化性能,并且大多数孪生网络只提取局部领域特征,这使得模型对于外观变化是非鲁棒和局部的。针对此,该文提出一种引入全局上下文特征模块的DenseNet孪生网络目标跟踪算法。该文创新性地将DenseNet网络作为孪生网络骨干,采用一种新的密集型特征重用连接网络设计方案,在构建更深层网络的同时减少了层之间的参数量,提高了算法的性能,此外,为应对目标跟踪过程中的外观变化,该文将全局上下文特征模块(GC-Model)嵌入孪生网络分支,提升算法跟踪精度。在VOT2017和OTB50数据集上的实验结果表明,与当前较为主流的算法相比,该文算法在跟踪精度和鲁棒性上有明显优势,在尺度变化、低分辨率、遮挡等情况下具有良好的跟踪效果,且达到实时跟踪要求。     

多粒度跨模态行人重识别算法研究

针对当前跨模态行人重识别算法大多聚类能力不强、且难以提取高效辨别性特征的问题,提出了一种多粒度跨模态行人重识别算法。首先,在骨干网络Resnet50中加入非局部注意力机制模块,关注长距离像素之间的关系,保留细节信息;其次,采用多分支网络提取不同细粒度特征信息,增强模型的辨别性特征提取能力;最后,联合基于样本的三元组损失和基于中心的三元组损失监督训练,加速模型收敛。所提算法在SYSU-MM01数据集的全搜索模式下Rank-1和mean average precision分别达到62.83%和58.10%,在RegDB数据集的可见光到红外模式下Rank-1和mAP分别达到87.78%和76.22%。     

基于多粒度特征融合网络的行人重识别

行人重识别旨在跨监控设备下检索出特定的行人目标.为捕捉行人图像的多粒度特征进而提高识别精度,基于OSNet基准网络提出一种多粒度特征融合网络(Multi-granularity Feature Fusion Network for Person Re-Identi-fication,MFN)进行端对端的学习.MFN由全局分支、特征擦除分支和局部分支组成,其中特征擦除分支由双通道注意力擦除模型构成,此模型包含通道注意力擦除模块(Channel Attention-based Dropout Moudle,CDM)和空间注意力擦除模块(Spatial Attention-based Dropout Moudle,SDM).CDM对通道的注意力强度排序并擦除低注意力通道,SDM在空间维度上以一定概率擦除最具有判别力的特征,两者通过并联方式相互作用,提高模型的识别能力.全局分支采用特征金字塔结构提取多尺度特征,局部分支将特征均匀切块后级联成一个单一特征,提取关键局部信息.大量实验结果表明了本文方法的有效性,在Market1501、DukeMTMC-reID和CUHK03-Labeled(Detected)数据集上,mAP/Rank-1分别达到了90.1％/95.8％、81.8％/91.4％和80.7％/82.3％(78.7％/81.6％),大幅优于其他现有方法.     

基于跨模态特征融合的RGB-D显著性目标检测

显著性目标检测(SOD)作为目前计算机视觉以及计算机图形学领域中研究的基本课题之一,是许多其他复杂任务的预处理阶段的任务,对例如图像理解与解释、视觉追踪、语义分割,视频分析等对象级应用的发展起到了极大的推动作用。随着深度传感器的普及,深度图像中蕴含的空间信息线索在显著性检测研究中提供了与RGB图像中蕴含的不同模态的辅助补充特征信息,这对于检测精度的提升来说愈发重要,因此如何有效地融合RGB与深度图像中的不同模态间的特征信息成为了RGB-D显著性目标检测课题中研究的重要问题。针对RGB与Depth模态间的特征融合问题,本文设计了一种基于跨模态特征信息融合的双流RGB-D显著目标检测网络模型,通过使用设计的跨模态特征融合模块去除某些低质量深度图带入的冗余与噪音,随后提取放大被优化改良过后的深度特征线索与RGB特征线索间的相似性与差异性,完成跨模态特征信息的有效融合。除此之外在网络编码结构的顶端增加了改良的非局部模块,通过自注意力机制更好地捕捉了的上下文信息以及像素间的长距离依赖。通过使用的两个数据集上的实验表明,这一模型在4个评价指标上取得了较好的表现。     

基于堆叠交叉注意力的图像文本跨模态匹配方法

图像文本跨模态匹配是计算机视觉与自然语言处理交叉领域的一项重要任务,然而传统的图像文本跨模态匹配方法要么只考虑到全局图像与全局文本匹配,要么只考虑到局部图像与局部文本匹配,无法全面有效的考虑局部和全局信息,导致提取出来的特征信息不完善.或者只是简单的对全局图像与全局文本特征进行提取,局部细节信息无法凸显,导致全局特征无...     

基于多模态遥感影像的边缘感知引导显著性检测

针对多模态遥感影像显著性检测鲁棒性差和检测精确度不佳等问题,提出一种基于多模态边缘感知引导的显著性检测方法,该方法主要由多模态遥感影像显著检测主干网络、跨模态特征共享模块和边缘感知引导网络构成。通过在特征提取主干网络中加入跨模态特征共享模块,使得不同模态间特征通过共享交互实现协同增强,并且抑制具有缺陷的特征信息。基于边缘感知引导网络,通过边缘图监督模块来检测边缘特征的有效性,从而生成准确边界。在3种显著目标检测遥感图像数据集上进行实验,平均的F_β、平均绝对误差(MAE)、S_m分数分别为0.917 6,0.009 5和0.919 9。实验结果表明,提出的多模态边缘感知引导网络(MEGNet)适用于在多模态场景中进行显著性检测。     

Global and local information aggregation network for edge-aware salient object detection

Aggregation of local and global contextual information by exploiting multi-level features in a fully convolutional network is a challenge for the pixel-wise salient object detection task. Most existing methods still suffer from inaccurate salient regions and blurry boundaries. In this paper, we propose a novel edge-aware global and local information aggregation network (GLNet) to fully exploit the integration of side-output local features and global contextual information and utilization of contour information of salient objects. The global guidance module (GGM) is proposed to learn discriminative multi-level information with the direct guidance of global semantic knowledge for more accurate saliency prediction. Specifically, the GGM consists of two key components, where the global feature discrimination module exploits the inter-channel relationship of global semantic features to boost representation power, and the local feature discrimination module enables different side-output local features to selectively learn informative locations by fusing with global attentive features. Besides, we propose an edge-aware aggregation module (EAM) to employ the correlation between salient edge information and salient object information for generating estimated saliency maps with explicit boundaries. We evaluate our proposed GLNet on six widely-used saliency detection benchmark datasets by comparing with 17 state-of-the-art methods. Experimental results show the effectiveness and superiority of our proposed method on all the six benchmark datasets.     

Dual-branch vision transformer for blind image quality assessment

Blind image quality assessment (BIQA) has always been a challenging problem due to the absence of reference images. In this paper, we propose a novel dual-branch vision transformer for BIQA, which simultaneously considers both local distortions and global semantic information. It first extracts dual-scale features from the backbone network, and then each scale feature is fed into one of the transformer encoder branches as a local feature embedding to consider the scale-variant local distortions. Each transformer branch obtains the context of global image distortion as well as the local distortion by adopting content-aware embedding. Finally, the outputs of the dual-branch vision transformer are combined by using multiple feed-forward blocks to predict the image quality scores effectively. Experimental results demonstrate that the proposed BIQA method outperforms the conventional methods on the six public BIQA datasets.     

基于语义信息补偿全局特征的物体点云分类分割

3D点云数据处理在物体分割、医学图像分割和虚拟现实等领域起到了重要作用。然而现有3D点云学习网络全局特征提取范围小,难以描述局部高级语义信息,进而导致点云特征表述不完整。针对这些问题,提出一种基于语义信息补偿全局特征的物体点云分类分割网络。首先,将输入的点云数据对齐到规范空间,进行数据的输入转换预处理。然后,利用扩张边缘卷积模块提取转换后数据的每一层特征,并叠加生成全局特征。而在局部特征提取时,利用提取到的低级语义信息来描述高级语义信息和有效几何特征,用于补偿全局特征中遗漏的点云特征。最后,融合全局特征和局部高级语义信息得到点云的整体特征。实验结果表明,文中方法在分类和分割性能上优于目前经典和新颖的算法。     

基于双重注意力机制的遥感图像场景分类特征表示方法

针对遥感图像场景分类面临的类内差异性大、类间相似性高导致的部分场景出现分类混淆的问题,该文提出了一种基于双重注意力机制的强鉴别性特征表示方法。针对不同通道所代表特征的重要性程度以及不同局部区域的显著性程度不同,在卷积神经网络提取的高层特征基础上,分别设计了一个通道维和空间维注意力模块,利用循环神经网络的上下文信息提取能力,依次学习、输出不同通道和不同局部区域的重要性权重,更加关注图像中的显著性特征和显著性区域,而忽略非显著性特征和区域,以提高特征表示的鉴别能力。所提双重注意力模块可以与任意卷积神经网络相连,整个网络结构可以端到端训练。通过在两个公开数据集AID和NWPU45上进行大量的对比实验,验证了所提方法的有效性,与现有方法对比,分类准确率取得了明显的提升。     

CCFNet: Cross-Complementary fusion network for RGB-D scene parsing of clothing images

Schemes to complement context relationships by cross-scale feature fusion have appeared in many RGB-D scene parsing algorithms; however, most of these works conduct multi-scale information interaction after multi-modal feature fusion, which ignores the information loss of the two modes in the original coding. Therefore, a cross-complementary fusion network (CCFNet) is designed in this paper to calibrate the multi-modal information before feature fusion, so as to improve the feature quality of each mode and the information complementarity ability of RGB and the depth map. First, we divided the features into low, middle, and high levels, among which the low-level features contain the global details of the image and the main learning features include texture, edge, and other features. The middle layer features contain not only some global detail features but also some local semantic features. Additionally, the high-level features contain rich local semantic features. Then, the feature information lost in the coding process of low and middle level features is supplemented and extracted through the designed cross feature enhancement module, and the high-level features are extracted through the feature enhancement module. In addition, the cross-modal fusion module is designed to integrate multi-modal features of different levels. The experimental results verify that the proposed CCFNet achieves excellent performance on the RGB-D scene parsing dataset containing clothing images, and the generalization ability of the model is verified by the dataset NYU Depth V2.     

基于双分支特征融合的无锚框目标检测算法

针对无锚框目标检测算法CenterNet中,目标特征利用程度不高、检测结果不够准确的问题,该文提出一种双分支特征融合的改进算法。在算法中,一个分支包含了特征金字塔增强模块和特征融合模块,以对主干网络输出的多层特征进行融合处理。同时,为利用更多的高级语义信息,在另一个分支中仅对主干网络的最后一层特征进行上采样。其次,对主干网络添加了基于频率的通道注意力机制,以增强特征提取能力。最后,采用拼接和卷积操作对两个分支的特征进行融合。实验结果表明,在公开数据集PASCAL VOC上的检测精度为82.3%,比CenterNet算法提高了3.6%,在KITTI数据集上精度领先其6%,检测速度均满足实时性要求。该文提出的双分支特征融合方法将不同层的特征进行处理,更好地利用浅层特征中的空间信息和深层特征中的语义信息,提升了算法的检测性能。     

结合局部增强与反向残差的点云语义分割网络北大核心CSCD

激光点云是3D传感器的输出,且对它的语义分割任务是理解真实世界的基础。基于图卷积的点云分割网络在许多场景下都展现了优异的性能。然而,现有的图卷积方法存在部分问题:点云局部表示的能力未得到加强,忽略了全局几何信息,并且聚合操作只保留局部最大响应值信息,而次最大值信息丢失。为了处理这些问题,本文提出GRes-Net网络。利用局部几何加强(Local Geometry Augment,LGA)模块,使网络对Z轴具有旋转不变性,以便加强点云局部信息表示;采用全局几何特征(Global Geometry Feature,GGF)模块,计算局部与全局的球体体积比,将其与坐标特征X进行连接,使全局几何信息特征得以保留;通过多个对称聚合操作将局部信息多方面地保留;网络中每层都使用残差操作,将上一层信息传递到下一层,以及利用反向残差模块(Reversed Residual MLP,RevResMLP)挖掘更深层次的语义信息。本文在S3DIS数据集上进行语义场景分割实验,验证网络分割的性能。实验结果表明该方法在分割精度上达到61%,相比于基准网络DGCNN提高14%,有效地提高了模型性能。     

基于GLNet和HRNet的高分辨率遥感影像语义分割

在GLNet（Global-Local Network）中,全局分支采用ResNet（Residual Network）作为主干网络,其侧边输出的特征图分辨率较低,而且表征能力不足,局部分支融合全局分支中未充分学习的特征图,造成分割准确率欠佳。针对上述问题,提出了一种基于GLNet和HRNet（High-Resolution Network）的改进网络用于高分辨率遥感影像语义分割。首先,利用HRNet取代全局分支中原有的ResNet主干,获取表征能力更强,分辨率更高的特征图。然后,采用多级损失函数对网络进行优化,使输出结果与人工标记更为相似。最后,独立训练局部分支,以消除全局分支中特征图所带来的混淆。在高分辨率遥感影像数据集上,对所提出的改进网络进行训练和测试,实验结果表明,改进网络在全局分支和局部分支上的平均绝对误差（Mean Absolute Error,MAE）分别为0.0630和0.0479,在分割准确率和平均绝对误差方面均优于GLNet。