基于特征融合的遮挡行人重识别方法

行人重识别是一项解决跨场景跨摄像头下的行人识别问题的技术。当障碍物遮挡行人的某些部位时，人物结构的完整性会被破坏，影响识别效果或难于识别。针对行人重识别的遮挡问题，提出了一种新的遮挡行人重识别方法，引入关系感知全局注意力机制，融合全局特征和局部特征来进行行人重识别。识别方法的主要组成部分包括局部分支、全局分支和特征融合分支等。局部分支通过遍历局部特征来增强鲁棒性；全局分支通过利用关系感知全局注意力来挖掘行人显著性的信息；特征融合分支通过自适应地生成特征权重，利用加权求和的方式来融合全局特征和局部特征。实验验证了所提方法的有效性，并且有效提升了行人重识别的效果。     

多任务金字塔重叠匹配的行人重识别方法

针对基于局部特征的行人重识别方法在行人错位和姿态变化时识别精度较低的问题,提出一种采用多任务金字塔重叠匹配特征的重识别方法。在训练阶段,使用改进的ResNes50作为主干网络提取特征图,将其切分组合形成金字塔重叠匹配网络,获得全局特征向量并经全局平均池化得到包含多尺度特征的多个局部特征向量,联合使用Softmax损失函数、三元组损失函数和中心损失函数学习全局和局部特征向量,并利用特征归一化层减少损失函数学习目标冲突的影响。在推理阶段,将多个局部特征向量融合为一个新特征向量进行相似性匹配,以获取更好的匹配结果。在Market1501、DukeMTMC-reID和CUHK03数据集上的实验结果表明,与PSE、MultiScale等主流重识别方法相比,该方法重识别精度更高,提取的特征具有较好的鲁棒性和识别度。     

基于非局部关注和多重特征融合的视频行人重识别

现有视频行人重识别方法无法有效地提取视频连续帧之间的时空信息,因此提出一种基于非局部关注和多重特征融合的行人重识别网络来提取全局与局部表征特征和时序信息。首先嵌入非局部关注模块来提取全局特征;然后通过提取网络的低中层特征和局部特征实现多重特征融合,从而获得行人的显著特征;最后将行人特征进行相似性度量并排序,计算出视频行人重识别的精度。在大数据集MARS和DukeMTMC-VideoReID上进行实现,结果显示所提出的模型较现有的多尺度三维卷积（M3D）和学习片段相似度聚合（LCSA）模型的性能均有明显提升,平均精度均值（mAP）分别达到了81.4%和93.4%,Rank-1分别达到了88.7%和95.3%;同时在小数据集PRID2011上,所提模型的Rank-1也达到94.8%。     

基于全局特征改进的行人重识别

由于行人重识别面临姿态变化、遮挡干扰、光照差异等挑战, 因此提取判别力强的行人特征至关重要. 本文提出一种在全局特征基础上进行改进的行人重识别方法, 首先, 设计多重感受野融合模块充分获取行人上下文信息, 提升全局特征辨别力; 其次, 采用GeM池化获取细粒度特征; 最后, 构建多分支网络, 融合网络不同深度的特征预测行人身份. 本文方法在Market1501和DukeMTMC-ReID两大数据集上的mAP指标分别达到83.8%和74.9%. 实验结果表明, 本文方法有效改进了基于全局特征的模型, 提升了行人重识别的识别准确率.     

基于增强特征融合网络的行人再识别

针对行人再识别问题,目前多数方法将行人的局部或全局特征分开考虑,从而忽略了行人整体之间的关系,即行人全局特征和局部特征之间的联系。本文提出一种增强特征融合网络(enhanced feature convergent network,EFCN)。在全局分支中,提出适用于获取全局特征的注意力网络作为嵌入特征,嵌入在基础网络模型中以提取行人的全局特征;在局部分支中,提出循环门单元变换网络(gated recurrent unit change network,GRU-CN)得到代表性的局部特征;再使用特征融合方法将全局特征和局部特征融合成最终的行人特征;最后借助损失函数训练网络。通过大量的对比实验表明,该算法网络模型在标准的Re-ID数据集上可以获得较好的实验结果。提出的增强特征融合网络能提取辨别性较强的行人特征,该模型能够应用于大场景非重叠多摄像机下的行人再识别问题,具有较高的识别能力和识别精度,且对背景变化的行人图像能提取具有较强的鲁棒性特征。     

多分支融合局部特征的行人重识别算法

大部分结合深度学习的行人重识别算法主要以单分支的网络结构为主,且大多利用图片的全局特征信息,这样易错失关键行人信息,导致度量学习效果、算法精度下降。因此,为使网络获取到更多的关键行人信息,减少对行人局部、细节信息的错失,加强网络对行人特征的学习。基于ResNet-50的骨干网络,采取多分支的网络结构设计,综合考虑训练难易、运算量,选择融合三个独立分支的结构设计：随机擦除分支、全局学习分支、局部学习分支,并在此基础上根据实验数据进行调整优化,最后再结合最小二乘法分配损失函数权重使模型更具鲁棒性,实验结果表明,三个分支具有互补性,使用融合分支特征做算法测试时,相比基础的单分支、多分支网络,该算法使得行人重识别精度提升。     

基于多尺度多粒度融合的行人重识别方法

行人重识别是指利用计算机视觉技术在给定监控的图像中识别目标行人,受拍摄场景视角和姿势变化、遮挡等因素的影响,现有基于局部特征的行人重识别方法所提取的特征辨别力差,从而导致重识别精度较低。为有效地利用特征信息,提出一种多尺度多粒度融合的行人重识别方法MMF-Net。通过多个分支结构学习不同尺度和不同粒度的特征,并利用局部特征学习优化全局特征,以加强全局特征和局部特征的关联性。同时,在网络的低层引入语义监督模块以提取低层特征,并将其作为行人图像相似性度量的补充,实现低层特征和高层特征的优势互补。基于改进的池化层,通过结合最大池化和平均池化的特点获取具有强辨别力的特征。实验结果表明,MMF-Net方法在Market-1501数据集上的首位命中率和mAP分别为95.7%和89.1%,相比FPR、MGN、BDB等方法,其具有较优的鲁棒性。     

融合外观特征的行人重识别方法

针对行人重识别中由于姿势变化、视角改变、遮挡等引起的识别率不高的问题,提出了融合外观特征的行人重识别方法.该方法通过两个网络分支的设计,分别提取行人的全局特征和局部特征,二者融合后得到行人的外观特征.同时结合分类损失和度量学习损失,通过多任务学习策略对两个网络分支进行模型优化.此外,该模型设计了随机擦除算法,在数据集中...     

基于时空关注区域的视频行人重识别

在执行视频行人重识别任务时,传统基于局部的方法主要集中于具有特定预定义语义的区域学习局部特征表示,在复杂场景下的学习效率和鲁棒性较差。通过结合全局特征和局部特征提出一种基于时空关注区域的视频行人重识别方法。将跨帧聚合的关注区域特征与全局特征进行融合得到视频级特征表示,利用快慢网络中的两个路径分别提取全局特征和关注区域特征。在快路径中,利用多重空间关注模型提取关注区域特征,利用时间聚合模型聚合所有采样帧相同部位的关注区域特征。在慢路径中,利用卷积神经网络提取全局特征。在此基础上,使用亲和度矩阵和定位参数融合关注区域特征和全局特征。以平均欧氏距离评估融合损失,并将三重损失函数用于端到端网络训练。实验结果表明,该方法在PRID 2011数据集上Rank-1准确率达到93.4%,在MARS数据集上mAP达到79.5%,识别性能优于SeeForst、ASTPN、RQEN等方法,并且对光照、行人姿态变化和遮挡具有很好的鲁棒性。     

基于非局部注意力和局部特征的车辆重识别算法

车辆重识别是指从不同的摄像机来重新识别出同一辆车。车辆重识别非常容易受到车辆角度以及光照等其他因素的影响,是一项非常有挑战性的任务。许多车辆重识别方法都过分关注车辆全局特征,而忽略了车辆图像的局部有分辨力的特征,造成了车辆重识别精度不高的问题。针对这一问题,本文提出一种整合非局部注意力的和多尺度特征的车辆重识别方法,使用注意力机制获取车辆显著特征,并融合多尺度特征从而提高车辆重识别的检索精度。首先,使用骨干特征提取网络与注意力模块获取车辆的显著性细粒度特征。然后,将特征分为多个分支进行度量学习,分别学习车辆的局部与全局特征,将全局特征与细粒度的局部特征融合,构建车辆重识别的特征。最后,利用该方法提取不同车辆的特征,计算不同车辆的相似度,从而判断是否具有相同的身份。实验结果表明本文提出的车辆重识别算法具有更高的精度。     

融合多重注意力机制的人眼注视点预测

目的 经典的人眼注视点预测模型通常采用跳跃连接的方式融合高、低层次特征,容易导致不同层级之间特征的重要性难以权衡,且没有考虑人眼在观察图像时偏向中心区域的问题。对此,本文提出一种融合注意力机制的图像特征提取方法,并利用高斯学习模块对提取的特征进行优化,提高了人眼注视点预测的精度。方法 提出一种新的基于多重注意力机制(multiple attention mechanism, MAM)的人眼注视点预测模型,综合利用3种不同的注意力机制,对添加空洞卷积的ResNet-50模型提取的特征信息分别在空间、通道和层级上进行加权。该网络主要由特征提取模块、多重注意力模块和高斯学习优化模块组成。其中,空洞卷积能够有效获取不同大小的感受野信息,保证特征图分辨率大小的不变性;多重注意力模块旨在自动优化获得的低层丰富的细节信息和高层的全局语义信息,并充分提取特征图通道和空间信息,防止过度依赖模型中的高层特征;高斯学习模块用来自动选择合适的高斯模糊核来模糊显著性图像,解决人眼观察图像时的中心偏置问题。结果 在公开数据集SALICON(saliency in context)上的实验表明,提出的方法相较于同结...     

Mixed Attention Densely Residual Network for Single Image Super-Resolution

Recent applications of convolutional neural networks (CNNs) in single image super-resolution (SISR) have achieved unprecedented performance. However, existing CNN-based SISR network structure design consider mostly only channel or spatial information, and cannot make full use of both channel and spatial information to improve SISR performance further. The present work addresses this problem by proposing a mixed attention densely residual network architecture that can make full and simultaneous use of both channel and spatial information. Specifically, we propose a residual in dense network structure composed of dense connections between multiple dense residual groups to form a very deep network. This structure allows each dense residual group to apply a local residual skip connection and enables the cascading of multiple residual blocks to reuse previous features. A mixed attention module is inserted into each dense residual group, to enable the algorithm to fuse channel attention with laplacian spatial attention effectively, and thereby more adaptively focus on valuable feature learning. The qualitative and quantitative results of extensive experiments have demonstrate that the proposed method has a comparable performance with other state-of-the-art methods.     

基于视觉关联与上下文双注意力的图像描述生成方法

图像描述生成有着重要的理论意义与应用价值,在计算机视觉与自然语言处理领域皆受到广泛关注.基于注意力机制的图像描述生成方法,在同一时刻融合当前词和视觉信息以生成目标词,忽略了视觉连贯性及上下文信息,导致生成描述与参考描述存在差异.针对这一问题,本文提出一种基于视觉关联与上下文双注意力机制的图像描述生成方法（visual relevance and context dual attention,简称VRCDA）.视觉关联注意力在传统视觉注意力中增加前一时刻注意力向量以保证视觉连贯性,上下文注意力从全局上下文中获取更完整的语义信息,以充分利用上下文信息,进而指导生成最终的图像描述文本.在MSCOCO和Flickr30k两个标准数据集上进行了实验验证,结果表明本文所提出的VRCDA方法能够有效地生成图像语义描述,相比于主流的图像描述生成方法,在各项评价指标上均取得了较高的提升.     

基于轻量级分组注意力模块的图像分类算法

针对图像分类任务中现有神经网络模型对分类对象特征表征能力不足,导致识别精度不高的问题,提出一种基于轻量级分组注意力模块（LGAM）的图像分类算法。该模块从输入特征图的通道和空间两个方向出发重构特征图：首先,将输入特征图沿通道方向进行分组并生成每个分组对应的通道注意力权重,同时采用阶梯型结构解决分组间信息不流通的问题;然后,基于各分组串联成的新特征图生成全局空间注意力权重,通过两种注意力权重加权得到重构特征图;最后,将重构特征图与输入特征图融合得到增强的特征图。以分类Top-1错误率作为评估指标,基于Cifar10和Cifar100数据集以及部分ImageNet2012数据集,对经LGAM增强之后的ResNet、Wide-ResNet、ResNeXt进行对比实验。实验结果表明,经LGAM增强之后的神经网络模型其Top-1错误率均低于增强之前1至2个百分点。因此LGAM能够提升现有神经网络模型的特征表征能力,从而提高图像分类的识别精度。     

基于用户关注空间与注意力分析的视频精彩摘要与排序

文中提出一种基于用户关注空间与注意力分析的视频内容理解方法,该方法可以有效地获得多通道的视频关注信息,并可使用户根据个性化需求定制视频关注内容,实现视频的高效浏览与访问.首先采用基于二叉层次型结构与分类器选择的音频分类算法将视频中的主要声音类型分类,然后将视频中影响用户注意力的视觉、听觉、时序因素定义为用户关注空间,分别使用相应的中层特征在这三个方面对用户注意力进行表示并计算其关注度,从而在音视频底层特征与高层认知之间建立有机过渡.作者设计了顺序决策融合算法来融合视觉与听觉关注度,生成关注度时序变化曲线并获得精彩摘要.最后使用支持向量回归模型并引入相关反馈机制来实现用户个性化的精彩片段排序.该项工作的特点是通过建立符合人类认知规律的关注度模型并结合相关反馈技术,对视频内容进行类人理解.实验证明,该方法对提取与生成符合用户个性化要求的视频摘要及排序结果具有良好的效果.     

Online learning of task-driven object-based visual attention control

We propose a biologically-motivated computational model for learning task-driven and object-based visual attention control in interactive environments. In this model, top-down attention is learned interactively and is used to search for a desired object in the scene through biasing the bottom-up attention in order to form a need-based and object-driven state representation of the environment. Our model consists of three layers. First, in the early visual processing layer, most salient location of a scene is derived using the biased saliency-based bottom-up model of visual attention. Then a cognitive component in the higher visual processing layer performs an application specific operation like object recognition at the focus of attention. From this information, a state is derived in the decision making and learning layer. Top-down attention is learned by the U-TREE algorithm which successively grows an object-based binary tree. Internal nodes in this tree check the existence of a specific object in the scene by biasing the early vision and the object recognition parts. Its leaves point to states in the action value table. Motor actions are associated with the leaves. After performing a motor action, the agent receives a reinforcement signal from the critic. This signal is alternately used for modifying the tree or updating the action selection policy. The proposed model is evaluated on visual navigation tasks, where obtained results lend support to the applicability and usefulness of the developed method for robotics.     

注意力经济与网络

随着信息的爆炸式增长,我们面临着如何选择的难题,这其实是我们的注意力缺乏的一个信号。我们有限的注意力已经无法抵挡大量信息汹涌而来。物以稀为贵,日渐缺乏的注意力便催生了一种新的经济形式—注意力经济,这种经济正在到来。注意力经济促使了隐式网络的出现。人们的注意力正在被这些网站收集和使用没有意识到,AttentionTrust制定的规则试图改变这一现状。注意力经济的发展还面临诸多挑战,但终将取代旧经济。     

基于知识图注意网络的个性化推荐算法

现有的大多数利用知识图谱的推荐算法在探索用户的潜在偏好时没有有效解决知识图谱中存在的不相关实体的问题,导致推荐结果准确率不高。针对这一问题,提出了基于知识图谱和图注意网络的推荐算法KG-GAT(knowledge graph and graph attention network)。该算法将知识图谱作为辅助信息,在图注意网络中使用分层注意力机制嵌入与实体相关的近邻实体的信息来重新定义实体的嵌入,得到更有效的用户和项目的潜在表示,生成更精确的top-N推荐列表,并带来了可解释性。最后利用两个公开数据集将所提算法和其他算法进行实验对比,得出所提算法KG-GAT能够有效解决沿着知识图谱中的关系探索用户的潜在偏好时存在的不相关实体的问题。     

通道-空间联合注意力机制的显著性检测模型

针对显著性区域突出不均匀和边缘不清晰导致显著性检测鲁棒性差等问题,提出了一种通道-空间联合注意力机制的显著性检测模型。改进了一种通道注意力机制,将特征图中的像素概率值逐像素相加以更好的获取通道中层间信息的关联性;在通道注意力机制的基础上并行融入了空间注意力机制,对特征图的空间信息进行加权获得目标突出的显著性区域;将通道注意力机制与空间注意力机制输出的两个特征图加权融合反馈至通道-空间联合注意力机制,从而得到细粒度更高的显著图。实验结果表明,该模型在公开的数据集DUTS-TE和SOD上,使用F-measure和平均绝对误差作为评估标准均优于其他同类模型。     

用于特定目标情感分析的交互注意力网络模型

特定目标情感分析旨在判别评论中不同目标所对应的情感极性。越来越多的研究人员采用基于神经网络的各种方法在特定目标情感分析任务中取得了较好的成绩。但大多数与目标相关的模型只关注目标对上下文建模的影响,而忽略了上下文在目标建模中的作用。为了解决上述问题,提出一种交互注意力网络模型（LT-T-TR）,该模型将一条评论分为三个部分：包含目标的上文,目标,包含目标的下文。通过注意力机制进行目标与上下文的交互,学习各自的特征表示,从中捕获目标短语和上下文中最重要的情感特征信息。通过在两个标准数据集上的实验验证了模型的有效性。