基于注意力机制和卡尔曼滤波的多目标跟踪

为了解决目前多目标跟踪算法在行人遮挡后无法再次准确跟踪的问题,提出了一种融入注意力机制和改进卡尔曼滤波的多目标跟踪算法,选用联合检测和重识别框架提取特征,同时完成目标检测和重识别任务.设计了并行支路注意力机制,包括空间注意力和通道注意力两个部分,每个部分都采用并行支路的方式完成池化和卷积操作.在跟踪阶段,本文提出了速度先验卡尔曼滤波,实现对行人运动状态更精确的预测.采用CUHK-SYSU数据集对算法进行训练,并在MOT16数据集上做算法的验证和测试.本算法的多目标跟踪准确度(MOTA)达到了65.1％,多目标跟踪精确度(MOTP)达到了78.8％,识别F1值(IDF1)达到62.3％.实验表明,提出的跟踪算法可以有效地提高跟踪的整体性能,实现对目标的持续跟踪.     

基于图注意力网络的短时交通流量预测

交通流量预测是时间序列分析中的一个重要问题,由于道路网络中存在复杂的动态时空依赖性,实现高精度交通流量预测具有挑战性。为了准确捕捉交通流量的时空动态特性,提出了一种时空注意力模型STBiPGAT。该模型将邻接矩阵和利用节点交通流提取的相关系数矩阵,分别与交通流量特征矩阵送入图注意力网络中,以并行方式提取空间局部动态特征与空间隐藏关系,且进行特征融合。考虑到节点空间特征向量在时间维度的上下文信息和周期性特性,构造双向GRU组件以提取交通流量的前后时间特征。引入自注意力机制解决不同时刻输入特征影响的差异,通过全连接层生成预测结果。在两个真实交通数据集上的实验评估结果表明,STBiPGAT预测误差低于对比模型预测误差,显著提升了预测精度,证明了其有效性。     

引入注意力机制的JDE多目标跟踪方法

多目标跟踪是计算机视觉领域的一个重要研究内容。JDE(joint detection and embedding)多目标跟踪算法推理速度和精度较高,但是当目标重叠或尺度较小时,该算法的跟踪效果较差。针对以上问题,提出了Attention-JDE,该模型结合了注意力机制、多尺度融合等思想,利用特征金字塔（feature pyramid）和空间金字塔池化（spatial pyramid pooling）提升模型对于小尺度目标的检测和跟踪能力,结合空间域注意力机制和通道域注意力机制改进模型在目标发生重叠时的跟踪效果。此外,还引入了Mish激活函数有效地降低跟踪时的ID切换次数。在MOT16数据集进行验证,结果表明,与原JDE方法以及其他主流方法相比,Attention-JDE具有更高的跟踪精度（MOTA）,同时速度能够达到19.5 FPS,实时性较高。     

基于图注意力网络与双阶注意力机制的径流预报模型

为了提高流域径流量预报的准确率,考虑数据驱动水文模型缺乏模型透明度与物理可解释性的问题,提出了一种使用图注意力网络与基于长短期记忆网络（LSTM）的双阶注意力机制（GAT-DALSTM）模型来进行径流预报。首先,以流域站点的水文资料为基础,引入图神经网络提取流域站点的拓扑结构并生成特征向量;其次,针对水文时间序列数据的特点,建立了基于双阶注意力机制的径流预报模型对流域径流量进行预测,并通过基于注意力系数热点图的模型评估方法验证所提模型的可靠性与透明度。在屯溪流域数据集上,将所提模型与图卷积神经网络（GCN）和长短期记忆网络（LSTM）在各个预测步长下进行比较,实验结果表明,所提模型的纳什效率系数分别平均提高了3.7%和4.9%,验证了GAT-DALSTM径流预报模型的准确性。从水文与应用角度对注意力系数热点图进行分析,验证了模型的可靠性与实用性。所提模型能为提高流域径流量的预测精度与模型透明度提供技术支撑。     

基于图注意力网络与双阶注意力机制的径流预报模型

为了提高流域径流量预报的准确率,考虑数据驱动水文模型缺乏模型透明度与物理可解释性的问题,提出了一种使用图注意力网络与基于长短期记忆网络（LSTM）的双阶注意力机制（GAT-DALSTM）模型来进行径流预报。首先,以流域站点的水文资料为基础,引入图神经网络提取流域站点的拓扑结构并生成特征向量;其次,针对水文时间序列数据的特点,建立了基于双阶注意力机制的径流预报模型对流域径流量进行预测,并通过基于注意力系数热点图的模型评估方法验证所提模型的可靠性与透明度。在屯溪流域数据集上,将所提模型与图卷积神经网络（GCN）和长短期记忆网络（LSTM）在各个预测步长下进行比较,实验结果表明,所提模型的纳什效率系数分别平均提高了3.7%和4.9%,验证了GAT-DALSTM径流预报模型的准确性。从水文与应用角度对注意力系数热点图进行分析,验证了模型的可靠性与实用性。所提模型能为提高流域径流量的预测精度与模型透明度提供技术支撑。     

基于节点相似性的图注意力网络表示学习模型

图注意力网络(GAT)通过注意力机制聚合节点的邻居信息以提取节点的结构特征,然而并没有考虑网络中潜在的节点相似性特征。针对以上问题,提出了一种考虑网络中相似节点的网络表示学习方法NSGAN。首先,在节点层面上,通过图注意力机制分别学习相似网络和原始网络的结构特征;其次,在图层面上,将两个网络对应的节点嵌入通过基于图层面的注意力机制聚合在一起,生成节点最终的嵌入表示。在三个数据集上进行节点分类实验,NSGAN比传统的图注意力网络方法的准确率提高了约2%。     

基于图注意力网络的购物篮推荐系统

目前已经有很多关于推荐系统的工作取得了很好的成绩。然而大多数工作都集中在对购物篮中单个项目进行排序,关于下一个购物篮的推荐方案却很少。GATBR是一个基于图注意力网络的购物篮推荐模型,它分别对购物篮和其中项目建模。网络中的注意力模块针对给定项目的历史行为,学习其中复杂的交互关系,最后将其合并表示为超图,为目标用户提供最有可能出现在下一个购物篮中的项目参考。通过在Yoochoose和TaFeng数据集上进行实验,GATBR表现出高于其它现有方案的预测精度。     

基于图注意力网络的因果关系抽取

因果关系作为一种重要的关系类型在关系推理等许多领域中起着至关重要的作用,因此对因果关系进行抽取是文本挖掘中的一项基本任务.与传统文本分类方法或关系抽取不同,采用序列标注的方法可以抽取文本中的因果实体并确定因果关系方向,不需要依赖特征工程或因果背景知识.主要贡献有：1)拓展句法依存树到句法依存图,将图注意力网络应用到自然语言处理中,引入了基于句法依存图的图注意力网络的概念;2)提出Bi-LSTM+CRF+S-GAT因果关系抽取模型,根据输入的词向量生成句子中每个词的因果标签;3)对SemEval数据集进行修正与拓展,针对其存在的缺陷制定规则重新标注实验数据.在拓展后的SemEval数据集上进行了大量的实验,结果表明：该模型在预测准确率上比现有最优模型Bi-LSTM+CRF+self-ATT提高了0.064.     

基于图注意力机制的交通流预测模型

针对现有交通流预测模型在预测精度上的不足,提出一种基于注意力机制的图模型。首先,利用多头注意力机制在交通图中编码高阶邻域结构,提取交通网络中的高阶空间特征。然后,嵌入长距离时间结构注意力机制提取长期性的历史周期信息。模型采用注意力机制替代传统的局部卷积核结构,可以有效提取长距离时空依赖关系。在METR-LA(洛杉矶路网)、PeMS-BAY(加州湾区路网)、PeMS-S(加州小型路网)三个真实的交通数据集上进行实验证明,模型在预测未来60 min的交通流精度上较传统深度学习方法,RMSE(均方根误差)平均降低3.1%、3.9%和1.8%,表明所提模型的长时间预测能力优势明显。     

基于图注意力的高阶网络节点分类方法

为了更好地学习网络中的高阶信息和异质信息,基于单纯复形提出单纯复形—异质图注意力神经网络方法—SC-HGANN。首先,用单纯复形提取网络高阶结构,将单纯复形转换为单纯复形矩阵;其次,使用注意力机制从特征单纯复形中得到异质节点的特征;再次,对同质和异质单纯复形矩阵进行卷积操作后,得到同质特征与异质特征,通过注意力算子进行特征融合;最后,得到目标节点的特征并将其输入到节点分类模块完成分类。与GCN、HGNN、HAN等基线方法相比,提出的方法在三个数据集上的macro-F₁、micro-F₁、precision和recall均有所提升。表明该方法能有效地学习网络中的高阶信息和异质信息,并能提升网络节点分类的准确率。     

无人车驾驶场景下的多目标车辆与行人跟踪算法

考虑到现有的基于检测的多目标跟踪算法多会出现因目标漏检或数据关联算法冗余而造成的目标ID频繁切换、跟踪轨迹断开等问题,提出了无人车驾驶场景下的多目标车辆与行人跟踪算法.首先,选取CenterNet网络作为目标检测器,并用嵌入了1×1卷积和SE-Net的Res2Net来替代网络原有的残差单元,以提升网络对空间信息和通道信...     

活动轮廓模型目标跟踪算法综述

目标跟踪是当前计算机视觉领域最活跃的研究主题。首先对基本的跟踪类型进行了介绍;然后讨论了基于活动轮廓模型的图像分割,重点分析了参数活动轮廓模型的梯度矢量流模型（Gradient Vector Flow,GVF）,以及几何活动轮廓模型中的模型;并讨论了基于粒子滤波的目标跟踪算法的研究现状,最后展望了这一领域未来研究的热点。     

基于图网络与IoU感知的孪生网络目标跟踪算法

传统孪生网络目标跟踪算法采用互相关或者深度互相关的方式对模板帧与检测帧进行相似性度量,无法有效适应极端的目标形变.以无锚点框的目标跟踪算法为基础,设计一种基于图网络的IoU感知目标跟踪算法.首先,以Resnet50为基础,在每个残差结构后引入通道自适应调整模块NCAM,构造轻量高效且具有通道自适应的特征提取网络.其次,基于图网络设计一种新的模板帧与检测帧的相似性计算方式,将特征图像素点视为图网络的节点,对模板特征与检测特征的图网络节点进行相似性计算以有效应对目标极端形变.最后,在分类部分采用IoU感知的分类损失函数在分类分支与回归分支之间建立联系,改变以往孪生网络目标跟踪算法训练与测试不一致的情况;在回归部分选用CIoU损失计算离线训练阶段的回归损失,得到更加精准的边界框.OTB2015、UAV123、VOT2018与VOT2019数据集上的实验结果验证了所提算法的有效性.     

用于目标跟踪的孪生渐进注意引导融合网络

针对基于孪生网络的目标跟踪中大部分方法是利用主干网络的最后一层语义特征来计算相似度,而单一地利用深层特征空间往往是不够的问题,提出基于孪生网络的渐进注意引导融合跟踪方法.首先采用主干网络提取深层和浅层特征信息;然后通过特征聚合模块,以自顶向下的方法去编码融合深层语义信息以及浅层空间结构信息,并利用注意力模块减少融合产生的特征冗余;最后计算目标和搜索区域的匹配相似度,以进行目标跟踪.在加入注意力模块后,跟踪器可以选择性地整合多层特征信息,提升了跟踪器的性能.在OTB2013,OTB50,OTB2015,VOT2016以及VOT2017这5个公共基准数据库上,与SiamDW等方法进行实验的结果表明,文中方法能够有效地提升跟踪的精度及成功率.     

CGTracker: Center Graph Network for One-Stage Multi-Pedestrian-Object Detection and Tracking

Most current online multi-object tracking (MOT) methods include two steps: object detection and data association, where the data association step relies on both object feature extraction and affinity computation. This often leads to additional computation cost, and degrades the efficiency of MOT methods. In this paper, we combine the object detection and data association module in a unified framework, while getting rid of the extra feature extraction process, to achieve a better speed-accuracy trade-off for MOT. Considering that a pedestrian is the most common object category in real-world scenes and has particularity characteristics in objects relationship and motion pattern, we present a novel yet efficient one-stage pedestrian detection and tracking method, named CGTracker. In particular, CGTracker detects the pedestrian target as the center point of the object, and directly extracts the object features from the feature representation of the object center point, which is used to predict the axis-aligned bounding box. Meanwhile, the detected pedestrians are constructed as an object graph to facilitate the multi-object association process, where the semantic features, displacement information and relative position relationship of the targets between two adjacent frames are used to perform the reliable online tracking. CGTracker achieves the multiple object tracking accuracy (MOTA) of 69.3% and 65.3% at 9 FPS on MOT17 and MOT20, respectively. Extensive experimental results under widely-used evaluation metrics demonstrate that our method is one of the best techniques on the leader board for the MOT17 and MOT20 challenges at the time of submission of this work.     

面向多目标跟踪系统的专用循环目标检测器

多目标跟踪技术在视频分析、信号处理等领域有着广泛的应用。在现代多目标跟踪系统通常遵循的“按检测跟踪”模式中,目标检测器的性能决定了多目标跟踪任务的跟踪精度和速度。为提高多目标跟踪系统跟踪性能,提出了面向多目标跟踪系统的专用循环目标检测器,它利用视频帧序列间高度相似性的特点,依据先前帧的目标位置信息和当前帧相对于先前帧的变化得分图来选取候选框,解决了传统二阶段目标检测器中使用候选框推荐网络带来的参数量和计算量大的问题,同时融合了目标外观特征提取分支,进一步减少了多目标跟踪系统整体运行时间。实验表明,专用循环目标检测器及其他最先进的检测器分别应用于多目标跟踪系统,采用专用循环目标检测器时能够在保证多目标跟踪系统跟踪精度的情况下提升跟踪速度。     

融合注意力机制的双路径孪生视觉跟踪方法

传统基于孪生网络的视觉跟踪方法在训练时是通过从大量视频中提取成对帧并且在线下独立进行训练而成,缺乏对模型特征的更新,并且会忽略背景信息,在背景驳杂等复杂环境下跟踪精度较低。针对上述问题,提出了一种融合注意力机制的双路径孪生网络视觉跟踪算法。该算法主要包括特征提取器部分和特征融合部分。特征提取器部分对残差网络进行改进,设计了一种双路径网络模型;通过结合残差网络对前层特征的复用性和密集连接网络对新特征的提取,将2种网络拼接后用于特征提取;同时采用膨胀卷积代替传统卷积方式,在保持一定感受视野的情况下提高了分辨率。这种双路径特征提取方式可以隐式地更新模型特征,获得更准确的图像特征信息。特征融合部分引入注意力机制,对特征图不同部分分配权重。通道域上筛选出有价值的目标图像信息,增强通道间的相互依赖;空间域上则更加关注局部重要信息,学习更丰富的上下文联系,有效地提高了目标跟踪的精度。为证明该方法的有效性,在OTB100和VOT2016数据集上进行验证,分别使用精确率(Precision)、成功率(Success rate)和平均重叠期望(Expect average overlaprate,EAO)...     

基于原型注意力的多域网络目标跟踪方法

为了解决预训练集和跟踪视频的域不一致性导致跟踪模型判别能力不足的问题,提出了一种基于原型注意力的多域网络目标跟踪方法。以实时多域网络目标跟踪方法为研究对象,在训练过程中引入原型网络提取注意力特征。基于支撑集正负样本得到目标与背景的域特定原型注意力,将其与待跟踪视频的特征图进行逐通道自适应融合,使得模型在大型数据集上得到判别力更强的目标表示,从而增强跟踪算法的性能。在OTB100和TrackingNet两个基准数据集上的实验结果表明,提出方法的精度和成功率优于现有的代表性跟踪方法。     

融合注意力机制的孪生网络目标跟踪算法研究

在全卷积孪生网络跟踪算法(SiamFC)的基础上,提出一种融合注意力机制的孪生网络目标跟踪算法.在网络模板分支,通过融合注意力机制,由神经网络学习模板图像的通道相关性和空间相关性,进而增大前景贡献,抑制背景特征,提升网络对正样本特征的辨别力;同时,使用VggNet-19网络提取模板图像的浅层特征和深层特征,两种特征自适...     

RGB-D目标跟踪综述

近年来,随着深度学习的不断发展,已有许多基于深度学习的RGB目标跟踪算法被提出且取得较为显著的性能提升,但纯粹依靠可见光进行跟踪的算法在光照变化、背景干扰、严重遮挡等复杂场景下仍难以实现鲁棒跟踪.为应对高难度场景下的挑战,实现高效鲁棒的目标跟踪,多模态目标跟踪应运而生.以RGB-D目标跟踪算法为主,详细列举了当前可见光-深度的多模态目标跟踪算法,对各类算法的优缺点进行分析和比较;并介绍了主流的RGB-D目标跟踪数据集,挑战赛及其评价指标;最后总结了RGB-D目标跟踪技术的发展趋势和挑战,并展望其未来的发展方向:特殊场景RGB-D数据集建设、全新RGB-D目标跟踪评估范式和有效模态融合的RGB-D模型范式.