时空图注意力网络在交叉口车辆轨迹预测的应用

随着人工智能和大数据技术的快速发展,以深度学习为代表的自动驾驶轨迹预测是未来的热点研究方向.在混合交通场景下,如何准确地预测机动车与非机动车的轨迹,是实现自动驾驶技术中安全行驶和高效轨迹规划等问题的前提.针对交叉路口中不同运动对象之间发生交互时的轨迹预测问题,提出了基于图注意力网络的建模方案.所采用的模型结合了时间与空间上研究对象之间的相互作用,对机动车与非机动车的未来轨迹做出了更准确的预测,可应用于自动驾驶的轨迹规划方案,确保在复杂交通场景下,机动车与非机动车能够安全且高效地通过交叉路口.该模型在简单交互情况下,可取得较小的轨迹平均位移误差和最终位移误差,而在复杂交互情况下,可提供更为合理的规划路径.     

基于图神经网络的行人轨迹预测研究综述

随着计算机视觉和自动驾驶技术的快速发展，自动感知、理解和预测人类行为的能力变得越来越重要。各类传感器的普及使得社会中产生了大量运动物体的位置数据。基于这些数据预测行人的运动轨迹在社交预测等多个领域都有着极大的价值。为了深入了解这方面的发展，对基于图神经网络的行人轨迹预测方法进行了综述，从多个角度比较、分析和总结了行人轨迹预测的图神经网络算法，讨论了不同算法在该领域的研究与发展；在目前的公共数据集上进行了对比和分析，介绍了相应性能指标，给出了不同算法的性能比较结果，提出了目前研究仍存在的问题，拓展研究思路和方法；展望了未来可能出现的研究方向。     

基于深度学习的行人轨迹预测方法综述

为了规划合理的路径以规避行人,针对行人轨迹预测的研究具有广泛的应用价值.基于手工特征的传统方法难以预测复杂场景下的行人轨迹.深度学习以人工神经网络为架构,具有强大的学习能力,在各个领域取得了显著的效果.基于深度学习的行人轨迹预测方法已逐渐发展为一种趋势.为了宏观把握基于深度学习的行人轨迹预测的研究状况,首先,对不同方法进行组织与分类,比较不同方法的优缺点,讨论不同方法在行人轨迹预测领域的应用与发展;其次,根据行人轨迹预测模型的设计差异,对比不同算法对模型性能产生的影响;最后,针对行人轨迹预测中存在的问题,对基于深度学习的行人轨迹预测方法的未来发展进行了展望.     

复杂场景下行人轨迹预测方法

为了预测行人在复杂场景中的行走轨迹,提出了一种基于生成对抗网络的可解释模型。该模型以场景中行人的历史轨迹信息和场景环境信息作为模型的输入,并在生成对抗网络中引入了物理注意力机制和社会注意力机制对行人轨迹进行预测。其中,物理注意力机制有助于建模复杂场景的整体布局并提取图像中与路径相关的显著特征,社会注意力机制能够建模不同行人之间的交互对未来轨迹的影响。在生成对抗网络的整体框架下,物理和社会注意力机制的结合使得该模型能够预测出符合物理限制和社会行为规范的多条可接受的未来路径。通过在仿真数据和真实的标准数据集上的实验,可以证明该模型能够实现对行人未来轨迹的有效预测。     

基于动态进化图的行人轨迹预测

行人轨迹预测在自动驾驶和社交机器人等领域有着广泛的应用.对行人间复杂的交互关系进行有效建模是提高轨迹预测准确性的关键问题.然而,基于图神经网络的方法建模行人间的复杂交互时,存在行人间交互关系不会随着时间推移而改变,并且图模型无法自适应地调整网络参数,导致预测轨迹与真实轨迹偏差较大.为此,提出基于动态进化图的行人轨迹预测方法,设计动态特征更新(DFU)以定义行人间的动态特性,对行人间动态交互进行建模以构建时间域的网络动态性,提升对行人间复杂交互关系建模的能力.采用进化图卷积单元优化编码器,灵活进化图模型网络参数,增强图模型的自适应能力.研究结果表明,在预测8个时间步长下,与STGAT模型相比,所提出模型在两个公开数据集(ETH和UCY)上取得了更好的性能,平均位移误差降低12.26%,最终位移误差降低14.10%.     

基于注意力机制的行人轨迹预测生成模型

针对长短期记忆网络（LSTM）在行人轨迹预测问题中孤立考虑单个行人,且无法进行多种可能性预测的问题,提出基于注意力机制的行人轨迹预测生成模型（AttenGAN）,来对行人交互模式进行建模和概率性地对多种合理可能性进行预测。AttenGAN包括一个生成器和一个判别器,生成器根据行人过去的轨迹概率性地对未来进行多种可能性预测,判别器用来判断一个轨迹是真实的还是由生成器伪造生成的,进而促进生成器生成符合社会规范的预测轨迹。生成器由一个编码器和一个解码器组成,在每一个时刻,编码器的LSTM综合注意力机制给出的其他行人的状态,将当前行人个体的信息编码为隐含状态。预测时,首先用编码器LSTM的隐含状态和一个高斯噪声连接来对解码器LSTM的隐含状态初始化,解码器LSTM将其解码为对未来的轨迹预测。在ETH和UCY数据集上的实验结果表明,AttenGAN模型不仅能够给出符合社会规范的多种合理的轨迹预测,并且在预测精度上相比传统的线性模型（Linear）、LSTM模型、社会长短期记忆网络模型（S-LSTM）和社会对抗网络（S-GAN）模型有所提高,尤其在行人交互密集的场景下具有较高的精度性能。对生成器多次采样得到的预测轨迹的可视化结果表明,所提模型具有综合行人交互模式,对未来进行联合性、多种可能性预测的能力。     

基于多信息融合的驾驶视角下行人轨迹预测

行人轨迹预测是实现在城市内完全自动驾驶的重要支撑,并且广泛应用于机器人路径规划、自主巡航等领域.驾驶视角下交通场景复杂多变、行人未来位置不确定性大,只考虑观测轨迹信息预测行人轨迹会有较大位移误差.针对这个问题,提出一种多信息融合网络(multi-information fusion network,MIFNet)来预测驾驶视角下未来行人轨迹的多种可能.MIFNet在观测轨迹信息的基础上引入姿态信息和光流信息,分别采用骨架序列重组和划分局部光流的方法避免遮挡造成的信息失真.为了更有效地融合这些信息,提出一种基于信息评价的跨信息融合注意力机制,综合考虑了预测过程中不同信息间的重要程度和同一信息间不同特征的重要程度.MIFNet在PIE数据集上预测1.5s的平均位移误差取得了最佳成绩,在JAAD数据集1.5s的长时轨迹预测任务中预测误差最小,并且模型参数量、推理时间较最新模型大幅度下降.     

基于信息增强传输的时空图神经网络交通流预测

交通问题不仅影响人们的出行,同时也会带来环境污染以及安全等问题,准确的交通流预测是构建智能交通系统、预防和缓解交通问题的关键.目前的预测方法大多没有考虑到交通流动态的时空相关性、周期性以及线性与非线性等特点.在充分考虑上述因素的基础上,提出一种基于信息增强传输的时空图神经网络模型,主要包含多特征注意力模块、信息增强传输模块、时间注意力模块以及线性与非线性融合模块.其中,多特征注意力模块捕获多种交通特征之间的内在联系,考虑交通流的周期性;信息增强传输模块充分利用了交通网络信息,以增强交通网络的信息传输能力,进而挖掘出复杂动态的空间依赖关系;时间注意力模块负责自适应地提取不同时间间隔之间的依赖关系;线性与非线性融合模块则同时考虑了数据的线性与非线性特征.论文在真实数据集上进行了大量对比实验,实验结果表明,对比目前较为先进的基线方法,提出的方法在交通流的预测性能方面,体现了较为明显的优势.     

用于行人轨迹预测的场景限制时空图卷积网络

目的 针对行人轨迹预测问题,已有的几种结合场景信息的方法基于合并操作通过神经网络隐式学习场景与行人运动的关联,无法直观地解释场景对单个行人运动的调节作用。除此之外,基于图注意力机制的时空图神经网络旨在学习全局模式下行人之间的社会交互,在人群拥挤场景下精度不佳。鉴于此,本文提出一种场景限制时空图卷积神经网络（scene-constrained spatial-temporal graph convolutional neural network,Scene-STGCNN）。方法 Scene-STGCNN由运动模块、基于场景的微调模块、时空卷积和时空外推卷积组成。运动模块以时空图卷积提取局部行人时空特征,避免了时空图神经网络在全局模式下学习交互的局限性。基于场景的微调模块将场景信息嵌入为掩模矩阵,用来调节运动模块生成的中间运动特征,具备实际场景下的物理解释性。通过最小化核密度估计下真实轨迹的负对数似然,增强Scene-STGCNN输出的多模态性,减少预测误差。结果 实验在公开数据集ETH （包含ETH和HOTEL）和UCY （包含UNIV、ZARA1和ZARA2）上与其他7种主流方法进行比较,就平均值而言,相对于性能第2的模型,平均位移误差（average displacement error,ADE）值减少了12%,最终位移误差（final displacement error,FDE）值减少了9%。在同样的数据集上进行了消融实验以验证基于场景的微调模块的有效性,结果表明基于场景的微调模块能有效建模场景对行人轨迹的调节作用,从而减小算法的预测误差。结论 本文提出的场景限制时空图卷积网络能有效融合场景和行人运动,在学习局部模式下行人交互的同时基于场景特征对轨迹特征做实时性调节,相比于其他主流方法,具有更优的性能。     

基于多头软注意力图卷积网络的行人轨迹预测

行人间交互作用的复杂性给行人轨迹预测带来了挑战,且现有算法难以捕获行人间有意义的交互信息,不能直观地建模行人间的交互作用。针对以上问题,提出多头软注意力图卷积网络。首先利用多头软注意力（MS ATT）结合内卷网络Involution分别从空间图和时间图输入中提取稀疏空间和稀疏时间邻接矩阵,生成稀疏空间和稀疏时间有向图;然后,利用图卷积网络（GCN）从稀疏空间和稀疏时间有向图中学习交互作用与运动趋势特征;最后,将学习到的轨迹特征输入时间卷积网络（TCN）以预测双高斯分布参数,生成行人预测轨迹。在ETH和UCY数据集上的实验结果表明：相较于空时社交关系池化行人轨迹预测模型（SOPM）,所提算法的平均位移误差（ADE）降低了2.78%;相较于稀疏图卷积网络（SGCN）,所提算法的最终位移误差（FDE）降低了16.92%。     

基于注意力机制的自监督图卷积会话推荐

为了解决会话推荐系统中数据稀疏性问题, 提出了一种基于注意力机制的自监督图卷积会话推荐模型(self-supervised graph convolution session recommendation based on attention mechanism, ATSGCN). 该模型将会话序列构建成3个不同的视图: 超图视图、项目视图和会话视图, 显示会话的高阶和低阶连接关系; 其次, 超图视图使用超图卷积网络来捕获会话中项目之间的高阶成对关系, 项目视图和会话视图分别使用图卷积网络和注意力机制来捕获项目和会话级别局部数据中的低阶连接信息; 最后, 通过自监督学习使两个编码器学习到的会话表示之间的互信息最大化, 从而有效提升推荐性能. 在Nowplaying和Diginetica两个公开数据集上进行对比实验, 实验结果表明, 所提模型性能优于基线模型.     

基于重构误差的同构图分类模型

目前深度学习方法应用于图分类模型的重点集中在将卷积神经网络迁移到图数据领域,包括重定义卷积层和池化层。卷积操作泛化到图数据上是有效的方法,但无论是卷积还是池化都存在较大的改进空间,尤其是在提取网络拓扑结构信息方面。提出一种基于重构误差的同构图分类模型,一方面利用改进的同构图卷积网络WaveGIC增强提取拓扑结构信息能力;另一方面利用多重注意力机制表征全图,使得模型能够关注关键节点信息。由于网络加深过程,局部拓扑结构的特征表达越来越不明显。在分类损失基础上添加重构误差损失,使分类器同时考虑图的节点特征和拓扑结构。在基准数据集上的实验结果表明,提出的方法具有较高的图分类准确度。     

基于混合图表示的软件变更预测方法

软件变更预测旨在识别出具有变更倾向的模块, 可以帮助软件管理者和开发人员有效地分配资源, 降低维护开销. 从代码中提取有效的特征在构建准确的预测模型中起着重要作用. 近年来, 研究人员从利用传统的手工特征进行预测转向具有强大表示能力的语义特征, 他们从抽象语法树(abstract syntax tree, AST)的节点序列中提取语义特征构建模型. 但已有研究忽略了AST的结构信息以及代码中丰富的语义信息, 如何提取代码的语义特征仍然是一个具有挑战性的问题. 为此, 提出一种基于混合图表示的变更预测方法. 该模型首先结合AST、控制流图(control flow graph, CFG)、数据流图(data flow graph, DFG)等结构信息构建代码的程序图表示, 接着利用图神经网络学习出程序图的语义特征, 根据该特征预测变更倾向性. 所提模型能够融合各种语义信息以更好地表征代码. 在多组变更数据集上开展与最新变更预测方法的对比实验, 验证了所提方法的有效性.     

STGSA: A Novel Spatial-Temporal Graph Synchronous Aggregation Model for Traffic Prediction

The success of intelligent transportation systems relies heavily on accurate traffic prediction, in which how to model the underlying spatial-temporal information from traffic data has come under the spotlight. Most existing frameworks typically utilize separate modules for spatial and temporal correlations modeling. However, this stepwise pattern may limit the effectiveness and efficiency in spatial-temporal feature extraction and cause the overlook of important information in some steps.Furthe...     

关系敏感型多子图图神经网络的多模态实体对齐

作为融合多源异构知识图谱的主要手段, 实体对齐一般首先编码实体等图结构信息, 而后通过计算实体间相似度来获取对齐实体. 然而, 现存的多模态对齐方法往往直接引入预训练方法表达模态特征, 忽略了模态间的融合以及模态特征与图结构间的融合. 因此, 本文提出一种关系敏感型的多子图图神经网络(RAMS)方法. 通过多子图图神经网络编码方法对模态信息与图结构进行结合并获得实体表征, 通过跨域相似度计算得到对齐结果. 广泛且多角度的实验证明了本文所提出的模型在准确率、效率、鲁棒性方面均超过了基线模型.     

联合注意力机制与目标点信息的车辆轨迹预测

对周围环境中运动物体未来状态的准确预测是影响自动驾驶车辆做出准确决策的重要影响因素,车辆是最常见也是最需要关注的运动物体之一。针对结构化道路下周围车辆轨迹预测的多模态输入问题,提出了基于注意力机制的深度预测网络。提出交互模块以提取目标车辆与周围车辆及车道线信息存在的交互特征;结合车道线信息对车辆运动的指引作用,加入目标点预测模块以预测目标车辆可能到达的目标点,增加预测准确性。在Argoverse公开数据集上进行实验,所提轨迹预测网络在3秒预测时长实现了1.45m最小平均距离误差及3.21m最小最终距离误差的预测精度,优于当前主流的预测算法。     

A Recurrent Attention and Interaction Model for Pedestrian Trajectory Prediction

The movement of pedestrians involves temporal continuity, spatial interactivity, and random diversity. As a result, pedestrian trajectory prediction is rather challenging. Most existing trajectory prediction methods tend to focus on just one aspect of these challenges, ignoring the temporal information of the trajectory and making too many assumptions. In this paper, we propose a recurrent attention and interaction (RAI) model to predict pedestrian trajectories. The RAI model consists of a temporal attention module, spatial pooling module, and randomness modeling module. The temporal attention module is proposed to assign different weights to the input sequence of a target, and reduce the speed deviation of different pedestrians. The spatial pooling module is proposed to model not only the social information of neighbors in historical frames, but also the intention of neighbors in the current time. The randomness modeling module is proposed to model the uncertainty and diversity of trajectories by introducing random noise. We conduct extensive experiments on several public datasets. The results demonstrate that our method outperforms many that are state-of-the-art.      

基于时空注意力的社交网络信息级联预测模型

针对目前信息级联预测模型的构建多基于级联的时序信息或者空间拓扑结构、极少考虑两者的结合问题,该文提出一种面向社交网络的基于深度学习方法的信息级联预测(Information Cascade Prediction,ICP)模型.首先,使用拉普拉斯矩阵对级联节点采样,生成空间序列;然后,通过结合了图卷积网络的双向循环神经网...     

基于图神经网络的多维度池化图分类

目前很多处理图数据的图神经网络方法被提出,然而大多数研究侧重于对特征聚合的卷积层的研究而不是进行下采样的池化层.此外,形成聚类簇的池化方式需要额外计算分配矩阵;节点得分的池化方式排名方式单一.为解决上述问题,提高图分类任务的准确性,本文提出了一种新的基于多维度信息的图池化算子MDPool.该模型使用节点特征信息以及图拓扑结构信息,获取不同维度下的节点得分.使用注意力机制归纳不同维度下的得分权重,生成更为健壮的节点排名,基于节点排名自适应选择节点集合生成诱导子图.提出的MDPool可以集成到多种的图神经网络结构,将MDPool池化算子与图神经网络卷积层堆叠形成编码解码模型EDMDPool.在4个公开数据集的图分类任务中, EDMDPool均高于现有基线模型.     

基于自监督学习的社交网络用户轨迹预测模型

针对当前用户轨迹数据建模中存在的签到点稀疏性、长时间依赖性和移动模式复杂等问题,提出基于自监督学习的社交网络用户轨迹预测模型SeNext,对用户轨迹进行建模和训练来预测用户的下一个兴趣点（POI）。首先,使用数据增强的方式来丰富训练数据样本,以解决数据不足及个别用户足迹太少导致的模型泛化能力不足的问题;其次,将循环神经网络（RNN）、卷积神经网络（CNN）和注意力机制分别用于当前轨迹和历史轨迹的建模中,以此从高维稀疏的数据中提取有用的表示,用来匹配用户过去最相似的移动方式。最后,通过结合自监督学习并引入对比损失优化噪声对比估计（InfoNCE）,SeNext在潜在空间学习隐含表示来预测用户的下一个POI。实验结果表明,在纽约数据集上,SeNext比最新的VANext（Variational Attention based Next）模型的预测准确度在Top@1上提高了11.10%左右。