基于状态精细化长短期记忆和注意力机制的社交生成对抗网络用于行人轨迹预测

针对当前行人轨迹预测研究仅考虑影响行人交互因素的问题，基于状态精细化长短期记忆（SR-LSTM）和注意力机制提出一种用于行人轨迹预测的社交生成对抗网络（SRA-SIGAN）模型，利用生成对抗网络（GAN）学习获得目标行人的运动规律。首先，使用SR-LSTM作为位置编码器提取运动意图信息；其次，通过设置速度注意力机制合理地为同一场景中的行人分配影响力，以更好地处理行人的交互；最后，由解码器生成预测的未来轨迹。在多个公开数据集上的测试实验结果表明，SRA-SIGAN模型的总体表现良好。特别是在Zara1数据集上，与SR-LSTM模型相比，SRA-SIGAN模型的平均位移误差（ADE）和最终位移误差（FDE）分别减小了20.0%和10.5%；与社交生成对抗网络（SIGAN）模型相比，SRA-SIGAN的ADE和FDE分别下降了31.7%和24.4%。     

基于视野域机制的行人轨迹预测

为提高行人在复杂交通场景中交互的安全性,提出一种基于social-GAN（social-generative adversarial network）的行人轨迹预测算法SAN-GAN（social angle norm-GAN）。该算法首先以行人历史位置信息与头部信息为输入,通过轨迹生成器LSTM网络（long short term memory networks）获取行人隐藏特征信息,并基于行人视野域模块捕捉行人视野域动态变化,对所有行人建立扇形视野域并筛选有效信息,从而驱动神经网络模型预测行人未来轨迹变化。将SAN-GAN与LSTM、social-LSTM（social-long short term memory networks）、social-GAN等轨迹预测算法进行对比实验,结果表明SAN-GAN算法相较于其他算法,在预测3.2 s的行人轨迹时,ADE分别平均降低65.8%、51.2%、10.7%,FDE分别平均降低73.6%、60.9%、10.4%。SAN-GAN能够有效地预测行人在复杂交通环境中进行交互的未来轨迹。     

基于生成式对抗神经网络的股票预测研究

针对股票价格具有非线性、非平稳的特点,提出一种结合自注意力机制和残差网络的生成式对抗神经网络模型（SAR-GAN）。该模型的生成器（generator）由长短期记忆网络（LSTM）层、自注意力机制层、残差层等构建而成,用于生成所预测股票的价格;判别器（discriminator）用于鉴别生成的股票价格与真实的股票价格。为验证模型良好的泛化性,选取上证指数及不同股票市场的热点行业龙头股票进行预测实验。实验结果表明,与LSTM、GRU、CNN-LSTM、CNN-GRU等模型相比,SAR-GAN模型能不同程度地减少预测误差。     

基于编码器-解码器模型的人群移动预测分析

现有的人群移动性研究对于较长的轨迹面临着预测精度较低的问题.对此,提出基于长短期神经网络(LSTM)的编码器-解码器模型来预测人群移动轨迹.同时考虑过去和当前的轨迹,且限制当前轨迹的长度,从而充分发挥LSTM的能力.将每个用户的全部轨迹划分为历史轨迹和当前轨迹;使用双向长短期神经网络(BiL-STM)和数据的逆置两个方法处理长的历史轨迹;使用编码器探索历史轨迹移动模式并编码生成信息;解码器解码获取的信息并对当前轨迹做预测.在公开数据集上的测试结果表明,与传统方法和近年的深度学习方法相比,该模型的精确度有明显提升.     

复杂场景下行人轨迹预测方法

为了预测行人在复杂场景中的行走轨迹,提出了一种基于生成对抗网络的可解释模型。该模型以场景中行人的历史轨迹信息和场景环境信息作为模型的输入,并在生成对抗网络中引入了物理注意力机制和社会注意力机制对行人轨迹进行预测。其中,物理注意力机制有助于建模复杂场景的整体布局并提取图像中与路径相关的显著特征,社会注意力机制能够建模不同行人之间的交互对未来轨迹的影响。在生成对抗网络的整体框架下,物理和社会注意力机制的结合使得该模型能够预测出符合物理限制和社会行为规范的多条可接受的未来路径。通过在仿真数据和真实的标准数据集上的实验,可以证明该模型能够实现对行人未来轨迹的有效预测。     

基于注意力机制的短道速滑运动轨迹预测模型

为了解决短道速滑中多名运动员在拥挤状态下容易出现轨迹判断错误的问题,本文设计了一种基于注意力机制的轨迹预测模型。把位置和速度信息输入LSTM编码器中,再通过注意力模块对速度信息进行加权求和,最后整合速度和位置的隐藏状态输入到LSTM解码器来对短道速滑轨迹进行预测。结果采用平均位移误差（ADE）和最终位移误差（FDE）进行评估。结果表明：提出的轨迹预测模型在短道速滑运动员训练数据集中和在公开数据集中与基准模型相比平均ADE和FDE精度明显优于其他网络模型,具有一定的实用价值。     

基于深度残差长短记忆网络交通流量预测算法

针对多步交通流量预测任务中时间空间特征提取效果不佳和预测未来时间交通流量精度低的问题,提出一种基于长短时记忆（LSTM）网络、卷积残差网络和注意力机制的融合模型。首先,利用一种基于编解码器的架构,通过在编解码器中加入LSTM网络来挖掘不同尺度的时间域特征;其次,构建基于注意力机制挤压激励（SE）模块的卷积残差网络嵌入到LSTM网络结构中,从而挖掘交通流量数据中的空间域特征;最后,将编码器中获得的隐状态下的信息输入到解码器中,实现高精度多步交通流量的预测。基于真实交通数据进行实验测试和分析,实验结果表明,相较于原始的基于图卷积的模型,所提模型在北京和纽约两个交通流量公开数据集上的均方根误差（RMSE）分别获得了1.622和0.08的下降。所提模型能够高效且精确地对交通流量作出预测。     

基于自注意力长短期记忆网络的Web软件系统实时剩余寿命预测方法

为了能够实时准确对Web软件系统的剩余使用寿命（RUL）进行预测,考虑Web系统健康状态性能指标的时序特性和指标间的相互依赖特性,提出了一种基于自注意力长短期记忆（Self-Attention-LSTM）网络的Web软件系统实时剩余寿命预测方法。首先,搭建加速寿命测试实验平台来收集反映Web软件系统老化趋势的性能指标数据;然后,根据该性能指标数据的时序特性来构建长短期记忆（LSTM）循环神经网络以提取性能指标的隐含层特征,并使用自注意力机制建模特征间的依赖关系;最后,得到系统RUL的实时预测值。在三组测试集上,把所提模型与反向传播（BP）网络和常规的循环神经网络（RNN）做了对比。实验结果表明,所提模型的平均绝对误差（MAE）比长短期记忆（LSTM）网络平均低16.92%,相对准确率（Accuracy）比LSTM网络平均高5.53%,验证了Self-Attention-LSTM网络剩余寿命预测模型的有效性。可见所提方法能为优化系统抗衰决策提供技术支撑。     

基于卷积块注意力模块的图像描述生成模型

图像描述生成模型是使用自然语言描述图片的内容及其属性之间关系的算法模型.对现有模型描述质量不高、图片重要部分特征提取不足和模型过于复杂的问题进行了研究,提出了一种基于卷积块注意力机制模块(CBAM)的图像描述生成模型.该模型采用编码器-解码器结构,在特征提取网络Inception-v4中加入CBAM,并作为编码器提取图片的重要特征信息,将其送入解码器长短期记忆网络(LSTM)中,生成对应图片的描述语句.采用MSCOCO2014数据集中训练集和验证集进行训练和测试,使用多个评价准则评估模型的准确性.实验结果表明,改进后模型的评价准则得分优于其他模型,其中Model2实验能够更好地提取到图像特征,生成更加准确的描述.     

基于类时序注意力机制的图像描述方法

近年来, 注意力机制已经广泛应用于计算机视觉领域, 图像描述常用的编码器-解码器框架也不例外. 然而,当前的解码框架并未较清楚地分析图像特征与长短期记忆神经网络(LSTM)隐藏状态之间的相关性, 这也是引起累积误差的原因之一. 基于该问题, 本文提出一个类时序注意力网络(Similar Temporal Attention Network, STAN),该网络扩展了传统的注意力机制, 目的是加强注意力结果与隐藏状态在不同时刻的相关性. STAN首先对当前时刻的隐藏状态和特征向量施加注意力, 然后通过注意力融合槽(AFS)将两个相邻LSTM片段的注意力结果引入到下一时刻的网络循环中, 以增强注意力结果与隐藏状态之间的相关性. 同时, 本文设计一个隐藏状态开关(HSS)来指导单词的生成, 将其与AFS结合起来可以在一定程度上解决累积误差的问题. 在官方数据集Microsoft COCO上的大量实验和各种评估机制的结果表明, 本文提出的模型与基线模型相比, 具有明显的优越性, 取得了更有竞争力的结果.     

Pedestrian trajectory prediction using BiRNN encoder–decoder framework*

Autonomous mobile robots navigating through human crowds are required to foresee the future trajectories of surrounding pedestrians and accordingly plan safe paths to avoid any possible collision. This paper presents a novel approach for pedestrian trajectory prediction. In particular, we developed a new method based on an encoder–decoder framework using bidirectional recurrent neural networks (BiRNN). The difficulty of incorporating social interactions into the model has been addressed thanks to the special structure of BiRNN enhanced by the attention mechanism, a proximity-independent model of the relative importance of each pedestrian. The main difference between our and the previous approaches is that BiRNN allows us to employs information on the future state of the pedestrians. We tested the performance of our method on several public datasets. The proposed model outperforms the current state-of-the-art approaches on most of these datasets. Furthermore, we analyze the resulting predicted trajectories and the learned attention scores to prove the advantages of BiRRNs on recognizing social interactions.     

A Recurrent Attention and Interaction Model for Pedestrian Trajectory Prediction

The movement of pedestrians involves temporal continuity, spatial interactivity, and random diversity. As a result, pedestrian trajectory prediction is rather challenging. Most existing trajectory prediction methods tend to focus on just one aspect of these challenges, ignoring the temporal information of the trajectory and making too many assumptions. In this paper, we propose a recurrent attention and interaction (RAI) model to predict pedestrian trajectories. The RAI model consists of a temporal attention module, spatial pooling module, and randomness modeling module. The temporal attention module is proposed to assign different weights to the input sequence of a target, and reduce the speed deviation of different pedestrians. The spatial pooling module is proposed to model not only the social information of neighbors in historical frames, but also the intention of neighbors in the current time. The randomness modeling module is proposed to model the uncertainty and diversity of trajectories by introducing random noise. We conduct extensive experiments on several public datasets. The results demonstrate that our method outperforms many that are state-of-the-art.      

基于动态进化图的行人轨迹预测

行人轨迹预测在自动驾驶和社交机器人等领域有着广泛的应用.对行人间复杂的交互关系进行有效建模是提高轨迹预测准确性的关键问题.然而,基于图神经网络的方法建模行人间的复杂交互时,存在行人间交互关系不会随着时间推移而改变,并且图模型无法自适应地调整网络参数,导致预测轨迹与真实轨迹偏差较大.为此,提出基于动态进化图的行人轨迹预测方法,设计动态特征更新(DFU)以定义行人间的动态特性,对行人间动态交互进行建模以构建时间域的网络动态性,提升对行人间复杂交互关系建模的能力.采用进化图卷积单元优化编码器,灵活进化图模型网络参数,增强图模型的自适应能力.研究结果表明,在预测8个时间步长下,与STGAT模型相比,所提出模型在两个公开数据集(ETH和UCY)上取得了更好的性能,平均位移误差降低12.26%,最终位移误差降低14.10%.     

基于多信息融合的驾驶视角下行人轨迹预测

行人轨迹预测是实现在城市内完全自动驾驶的重要支撑,并且广泛应用于机器人路径规划、自主巡航等领域.驾驶视角下交通场景复杂多变、行人未来位置不确定性大,只考虑观测轨迹信息预测行人轨迹会有较大位移误差.针对这个问题,提出一种多信息融合网络(multi-information fusion network,MIFNet)来预测驾驶视角下未来行人轨迹的多种可能.MIFNet在观测轨迹信息的基础上引入姿态信息和光流信息,分别采用骨架序列重组和划分局部光流的方法避免遮挡造成的信息失真.为了更有效地融合这些信息,提出一种基于信息评价的跨信息融合注意力机制,综合考虑了预测过程中不同信息间的重要程度和同一信息间不同特征的重要程度.MIFNet在PIE数据集上预测1.5s的平均位移误差取得了最佳成绩,在JAAD数据集1.5s的长时轨迹预测任务中预测误差最小,并且模型参数量、推理时间较最新模型大幅度下降.     

基于深度学习的行人轨迹预测方法综述

为了规划合理的路径以规避行人,针对行人轨迹预测的研究具有广泛的应用价值.基于手工特征的传统方法难以预测复杂场景下的行人轨迹.深度学习以人工神经网络为架构,具有强大的学习能力,在各个领域取得了显著的效果.基于深度学习的行人轨迹预测方法已逐渐发展为一种趋势.为了宏观把握基于深度学习的行人轨迹预测的研究状况,首先,对不同方法进行组织与分类,比较不同方法的优缺点,讨论不同方法在行人轨迹预测领域的应用与发展;其次,根据行人轨迹预测模型的设计差异,对比不同算法对模型性能产生的影响;最后,针对行人轨迹预测中存在的问题,对基于深度学习的行人轨迹预测方法的未来发展进行了展望.     

基于注意力机制和生成对抗网络的飞行器短期航迹预测模型

针对单一长短时记忆（LSTM）网络在航迹预测上无法有效提取关键信息以及难以精准拟合数据分布等问题,提出基于注意力机制和生成对抗网络（GAN）的飞行器短期轨迹预测模型。首先,引入注意力机制对航迹赋予不同的权重,以提升航迹中重要特征的影响力;其次,基于LSTM提取航迹序列特征,并经汇聚层汇集时间步长内所有的飞行器特征;最后,利用GAN在对抗博弈下不断优化的特性来优化模型,从而提高模型的准确性。相较于社会生成对抗网络（SGAN）,所提模型在处于爬升阶段的数据集上的平均位移误差（ADE）、最终位移误差（FDE）及最大位移误差（MDE）分别降低了20.0%、20.4%和18.3%。实验结果表明,所提模型能更精确地预测未来航迹。     

基于时空图的行人轨迹预测

在蓬勃发展的自动驾驶技术中, 行人轨迹预测的结果往往会影响到自动驾驶的安全性. 行人轨迹预测技术目前面临着在实际场景中应用时与他人的交互问题, 需要在预测轨迹的同时考虑社会交互性与逻辑自洽. 因此, 提出了一种基于时空图的行人轨迹预测方法, 该方法采用图注意力网络对场景中的行人交互进行建模, 并使用一种自动生成正负样本的方法来通过对比学习降低输出轨迹的碰撞率, 达到了提高输出轨迹的安全性以及逻辑自洽的效果. 在ETH和UCY数据集上进行模型训练与测试, 结果分析表明, 本文提出的方法有效降低了碰撞率, 且预测准确度优于主流算法.