基于多头软注意力图卷积网络的行人轨迹预测

行人间交互作用的复杂性给行人轨迹预测带来了挑战,且现有算法难以捕获行人间有意义的交互信息,不能直观地建模行人间的交互作用。针对以上问题,提出多头软注意力图卷积网络。首先利用多头软注意力（MS ATT）结合内卷网络Involution分别从空间图和时间图输入中提取稀疏空间和稀疏时间邻接矩阵,生成稀疏空间和稀疏时间有向图;然后,利用图卷积网络（GCN）从稀疏空间和稀疏时间有向图中学习交互作用与运动趋势特征;最后,将学习到的轨迹特征输入时间卷积网络（TCN）以预测双高斯分布参数,生成行人预测轨迹。在ETH和UCY数据集上的实验结果表明：相较于空时社交关系池化行人轨迹预测模型（SOPM）,所提算法的平均位移误差（ADE）降低了2.78%;相较于稀疏图卷积网络（SGCN）,所提算法的最终位移误差（FDE）降低了16.92%。     

时空图注意力网络在交叉口车辆轨迹预测的应用

随着人工智能和大数据技术的快速发展,以深度学习为代表的自动驾驶轨迹预测是未来的热点研究方向.在混合交通场景下,如何准确地预测机动车与非机动车的轨迹,是实现自动驾驶技术中安全行驶和高效轨迹规划等问题的前提.针对交叉路口中不同运动对象之间发生交互时的轨迹预测问题,提出了基于图注意力网络的建模方案.所采用的模型结合了时间与空间上研究对象之间的相互作用,对机动车与非机动车的未来轨迹做出了更准确的预测,可应用于自动驾驶的轨迹规划方案,确保在复杂交通场景下,机动车与非机动车能够安全且高效地通过交叉路口.该模型在简单交互情况下,可取得较小的轨迹平均位移误差和最终位移误差,而在复杂交互情况下,可提供更为合理的规划路径.     

基于多头注意力对抗机制的复杂场景行人轨迹预测

行人轨迹预测对智慧城市建设、公共危机管理具有重要意义.复杂场景中的行人轨迹不仅包含行人个体运动时序性特征,还包含行人与周围其他运动实体之间的交互性特征.如何根据场景变化,对这种时序性和交互性特征进行深度刻画并进行轨迹预测,是复杂场景行人轨迹预测的关键问题.本文采用多头注意力机制和对抗生成方法,提出一种基于多头注意力机制的生成对抗网络模型(Multi-head Attention Generative Adversarial Model,MAGAM),对复杂场景下多行人轨迹进行建模.论文首先通过多头注意力机制融合行人的相对位移信息,从不同方面学习轨迹特征空间中各子空间特征的权重信息,实现对行人之间相互影响的交互性轨迹特征刻画;然后采用对抗生成机制和多轨迹生成策略,实现对复杂场景下不同个体移动轨迹的生成与预测.最后,本文在两个公开的数据集(ETH和UCY)进行了实验验证.实验结果表明,在ADE、FDE和AnlDE三个指标上,本文提出的MAGAM模型比基准模型误差平均降低了26.90%、21.02%和24.06%.本文对模型的预测结果进行可视化分析,直观展示了本论文模型的合理性.     

基于状态精细化长短期记忆和注意力机制的社交生成对抗网络用于行人轨迹预测

针对当前行人轨迹预测研究仅考虑影响行人交互因素的问题，基于状态精细化长短期记忆（SR-LSTM）和注意力机制提出一种用于行人轨迹预测的社交生成对抗网络（SRA-SIGAN）模型，利用生成对抗网络（GAN）学习获得目标行人的运动规律。首先，使用SR-LSTM作为位置编码器提取运动意图信息；其次，通过设置速度注意力机制合理地为同一场景中的行人分配影响力，以更好地处理行人的交互；最后，由解码器生成预测的未来轨迹。在多个公开数据集上的测试实验结果表明，SRA-SIGAN模型的总体表现良好。特别是在Zara1数据集上，与SR-LSTM模型相比，SRA-SIGAN模型的平均位移误差（ADE）和最终位移误差（FDE）分别减小了20.0%和10.5%；与社交生成对抗网络（SIGAN）模型相比，SRA-SIGAN的ADE和FDE分别下降了31.7%和24.4%。     

基于视野域机制的行人轨迹预测

为提高行人在复杂交通场景中交互的安全性,提出一种基于social-GAN（social-generative adversarial network）的行人轨迹预测算法SAN-GAN（social angle norm-GAN）。该算法首先以行人历史位置信息与头部信息为输入,通过轨迹生成器LSTM网络（long short term memory networks）获取行人隐藏特征信息,并基于行人视野域模块捕捉行人视野域动态变化,对所有行人建立扇形视野域并筛选有效信息,从而驱动神经网络模型预测行人未来轨迹变化。将SAN-GAN与LSTM、social-LSTM（social-long short term memory networks）、social-GAN等轨迹预测算法进行对比实验,结果表明SAN-GAN算法相较于其他算法,在预测3.2 s的行人轨迹时,ADE分别平均降低65.8%、51.2%、10.7%,FDE分别平均降低73.6%、60.9%、10.4%。SAN-GAN能够有效地预测行人在复杂交通环境中进行交互的未来轨迹。     

基于多信息融合的驾驶视角下行人轨迹预测

行人轨迹预测是实现在城市内完全自动驾驶的重要支撑,并且广泛应用于机器人路径规划、自主巡航等领域.驾驶视角下交通场景复杂多变、行人未来位置不确定性大,只考虑观测轨迹信息预测行人轨迹会有较大位移误差.针对这个问题,提出一种多信息融合网络(multi-information fusion network,MIFNet)来预测驾驶视角下未来行人轨迹的多种可能.MIFNet在观测轨迹信息的基础上引入姿态信息和光流信息,分别采用骨架序列重组和划分局部光流的方法避免遮挡造成的信息失真.为了更有效地融合这些信息,提出一种基于信息评价的跨信息融合注意力机制,综合考虑了预测过程中不同信息间的重要程度和同一信息间不同特征的重要程度.MIFNet在PIE数据集上预测1.5s的平均位移误差取得了最佳成绩,在JAAD数据集1.5s的长时轨迹预测任务中预测误差最小,并且模型参数量、推理时间较最新模型大幅度下降.     

复杂场景下行人轨迹预测方法

为了预测行人在复杂场景中的行走轨迹,提出了一种基于生成对抗网络的可解释模型。该模型以场景中行人的历史轨迹信息和场景环境信息作为模型的输入,并在生成对抗网络中引入了物理注意力机制和社会注意力机制对行人轨迹进行预测。其中,物理注意力机制有助于建模复杂场景的整体布局并提取图像中与路径相关的显著特征,社会注意力机制能够建模不同行人之间的交互对未来轨迹的影响。在生成对抗网络的整体框架下,物理和社会注意力机制的结合使得该模型能够预测出符合物理限制和社会行为规范的多条可接受的未来路径。通过在仿真数据和真实的标准数据集上的实验,可以证明该模型能够实现对行人未来轨迹的有效预测。     

基于时空图的行人轨迹预测

在蓬勃发展的自动驾驶技术中, 行人轨迹预测的结果往往会影响到自动驾驶的安全性. 行人轨迹预测技术目前面临着在实际场景中应用时与他人的交互问题, 需要在预测轨迹的同时考虑社会交互性与逻辑自洽. 因此, 提出了一种基于时空图的行人轨迹预测方法, 该方法采用图注意力网络对场景中的行人交互进行建模, 并使用一种自动生成正负样本的方法来通过对比学习降低输出轨迹的碰撞率, 达到了提高输出轨迹的安全性以及逻辑自洽的效果. 在ETH和UCY数据集上进行模型训练与测试, 结果分析表明, 本文提出的方法有效降低了碰撞率, 且预测准确度优于主流算法.     

用于行人轨迹预测的场景限制时空图卷积网络

目的 针对行人轨迹预测问题,已有的几种结合场景信息的方法基于合并操作通过神经网络隐式学习场景与行人运动的关联,无法直观地解释场景对单个行人运动的调节作用。除此之外,基于图注意力机制的时空图神经网络旨在学习全局模式下行人之间的社会交互,在人群拥挤场景下精度不佳。鉴于此,本文提出一种场景限制时空图卷积神经网络（scene-constrained spatial-temporal graph convolutional neural network,Scene-STGCNN）。方法 Scene-STGCNN由运动模块、基于场景的微调模块、时空卷积和时空外推卷积组成。运动模块以时空图卷积提取局部行人时空特征,避免了时空图神经网络在全局模式下学习交互的局限性。基于场景的微调模块将场景信息嵌入为掩模矩阵,用来调节运动模块生成的中间运动特征,具备实际场景下的物理解释性。通过最小化核密度估计下真实轨迹的负对数似然,增强Scene-STGCNN输出的多模态性,减少预测误差。结果 实验在公开数据集ETH （包含ETH和HOTEL）和UCY （包含UNIV、ZARA1和ZARA2）上与其他7种主流方法进行比较,就平均值而言,相对于性能第2的模型,平均位移误差（average displacement error,ADE）值减少了12%,最终位移误差（final displacement error,FDE）值减少了9%。在同样的数据集上进行了消融实验以验证基于场景的微调模块的有效性,结果表明基于场景的微调模块能有效建模场景对行人轨迹的调节作用,从而减小算法的预测误差。结论 本文提出的场景限制时空图卷积网络能有效融合场景和行人运动,在学习局部模式下行人交互的同时基于场景特征对轨迹特征做实时性调节,相比于其他主流方法,具有更优的性能。     

基于注意力机制的行人轨迹预测生成模型

针对长短期记忆网络（LSTM）在行人轨迹预测问题中孤立考虑单个行人,且无法进行多种可能性预测的问题,提出基于注意力机制的行人轨迹预测生成模型（AttenGAN）,来对行人交互模式进行建模和概率性地对多种合理可能性进行预测。AttenGAN包括一个生成器和一个判别器,生成器根据行人过去的轨迹概率性地对未来进行多种可能性预测,判别器用来判断一个轨迹是真实的还是由生成器伪造生成的,进而促进生成器生成符合社会规范的预测轨迹。生成器由一个编码器和一个解码器组成,在每一个时刻,编码器的LSTM综合注意力机制给出的其他行人的状态,将当前行人个体的信息编码为隐含状态。预测时,首先用编码器LSTM的隐含状态和一个高斯噪声连接来对解码器LSTM的隐含状态初始化,解码器LSTM将其解码为对未来的轨迹预测。在ETH和UCY数据集上的实验结果表明,AttenGAN模型不仅能够给出符合社会规范的多种合理的轨迹预测,并且在预测精度上相比传统的线性模型（Linear）、LSTM模型、社会长短期记忆网络模型（S-LSTM）和社会对抗网络（S-GAN）模型有所提高,尤其在行人交互密集的场景下具有较高的精度性能。对生成器多次采样得到的预测轨迹的可视化结果表明,所提模型具有综合行人交互模式,对未来进行联合性、多种可能性预测的能力。     

T-GAN: A deep learning framework for prediction of temporal complex networks with adaptive graph convolution and attention mechanism

Complex network is graph network with non-trivial topological features often occurring in real systems, such as video monitoring networks, social networks and sensor networks. While there is growing research study on complex networks, the main focus has been on the analysis and modeling of large networks with static topology. Predicting and control of temporal complex networks with evolving patterns are urgently needed but have been rarely studied. In view of the research gaps we are motivated to propose a novel end-to-end deep learning based network model, which is called temporal graph convolution and attention (T-GAN) for prediction of temporal complex networks. To joint extract both spatial and temporal features of complex networks, we design new adaptive graph convolution and integrate it with Long Short-Term Memory (LSTM) cells. An encoder-decoder framework is applied to achieve the objectives of predicting properties and trends of complex networks. And we proposed a dual attention block to improve the sensitivity of the model to different time slices. Our proposed T-GAN architecture is general and scalable, which can be used for a wide range of real applications. We demonstrate the applications of T-GAN to three prediction tasks for evolving complex networks, namely, node classification, feature forecasting and topology prediction over 6 open datasets. Our T-GAN based approach significantly outperforms the existing models, achieving improvement of more than 4.7% in recall and 25.1% in precision. Additional experiments are also conducted to show the generalization of the proposed model on learning the characteristic of time-series images. Extensive experiments demonstrate the effectiveness of T-GAN in learning spatial and temporal feature and predicting properties for complex networks.     

基于GCN和TCN的多因素城市路网出租车需求预测

在巡游模式下,出租车与乘客间供需不易匹配,造成出租车空载和乘客打车难现象并存,准确高效地实现路网出租车需求预测有利于有效缓解这一问题.针对现有交通流预测模型对空间特征提取不充分,特别是对城市路网内路段之间的空间关系没有全面挖掘这一问题,充分考虑路网内路段间的3种空间关系,对其分别构建路段间的局部关系图、路段全局关系图和路段OD次数关系图,提出一种由图卷积网络与时间卷积网络相结合的出租车需求预测模型.其中,采用图卷积网络对城市路网内路段的空间关系特征进行挖掘,采用时间卷积网络对交通数据集中的时间序列特征进行挖掘,并且考虑外部因素的影响.实验中,首先从真实出租车GPS轨迹数据中提取城市路网中各个路段的出租车出行量,并利用道路上在多个时隙形成的出行量序列对预测模型进行验证.结果表明,相比其他交通流预测模型,所提出的预测模型具有较优的平均绝对误差、均方根误差和平均绝对百分误差.     

地理位置和时间感知的表示学习框架

现有时空感知的表示学习框架无法对强时空语义的实际场景存在的“When”、“Where”和“What”3个问题给出一个统一的解决方案。同时,现有的时间和空间建模上的研究方案也存在着一定的缺陷,无法在复杂的实际场景中取得最优的性能。为了解决这些问题,本文提出了一个统一的用户表示框架—GTRL (geography and time aware representation learning),可以同时在时间和空间的维度上对用户的历史行为轨迹进行联合建模。在时间建模上,GTRL采用函数式的时间编码以及连续时间和上下文感知的图注意力网络,在动态的用户行为图上灵活地捕获高阶的结构化时序信息。在空间建模上,GTRL采用了层级化的地理编码和深度历史轨迹建模模块高效地刻画了用户的地理位置偏好。GTRL设计了统一的联合优化方案,同时在交互预测、交互时间预测以及交互位置3个任务上进行模型学习。最后,本文在公开数据集和工业数据集上设计了大量的实验,分别验证了GTRL相较学术界基线模型的优势,以及在实际业务场景中的有效性。     

Pedestrian trajectory prediction using BiRNN encoder–decoder framework*

Autonomous mobile robots navigating through human crowds are required to foresee the future trajectories of surrounding pedestrians and accordingly plan safe paths to avoid any possible collision. This paper presents a novel approach for pedestrian trajectory prediction. In particular, we developed a new method based on an encoder–decoder framework using bidirectional recurrent neural networks (BiRNN). The difficulty of incorporating social interactions into the model has been addressed thanks to the special structure of BiRNN enhanced by the attention mechanism, a proximity-independent model of the relative importance of each pedestrian. The main difference between our and the previous approaches is that BiRNN allows us to employs information on the future state of the pedestrians. We tested the performance of our method on several public datasets. The proposed model outperforms the current state-of-the-art approaches on most of these datasets. Furthermore, we analyze the resulting predicted trajectories and the learned attention scores to prove the advantages of BiRRNs on recognizing social interactions.     

小波神经网络在教育网格下行流量预测中的应用

准确预测教育资源网格的下行流量有助于网格的负载均衡和信息安全管理。小波神经网络适合于对具有随机性和不确定性特征的网格下行流量进行建模和非线性预测。针对一般小波神经网络预测模型存在收敛速度较慢,误差较大,稳定性较差等不足,在基于梯度下降法的网络权值和参数修正方案中增加了动量项,同时,提出了一种对预测的中间结果引入随机样本替换机制的改进算法。实验结果表明,该算法能有效降低网络训练的收敛时间,提高网络预测的准确性和稳定性。     

多交互车辆轨迹预测研究

现有的车辆轨迹预测大多是单目标轨迹预测,无双向交互和关系推理,不能实现混合实体的交互建模。针对上述问题,结合强化学习的Q-learning算法和深度学习的LSTM网络,设计一个完全可扩展的轨迹预测模型Q-LSTM。该模型中,LSTM网络捕获了车辆轨迹的时间特性,而Q-learning算法则表示了多车辆的交互过程,因此Q-LSTM模型可以实现随机数量车辆多交互建模,并且在长期交互车辆轨迹预测中保证精确度。另外模型中考虑了车辆长宽与坐标之间的关系,避免出现异常的碰撞现象,适合用于多类型车辆轨迹预测的场景。在公开数据集HighD上进行了模型的性能分析实验,实验结果证明Q-LSTM模型在较长期交互车辆轨迹预测精度和减少碰撞现象等方面具有一定优势。