基于多头注意力对抗机制的复杂场景行人轨迹预测

行人轨迹预测对智慧城市建设、公共危机管理具有重要意义.复杂场景中的行人轨迹不仅包含行人个体运动时序性特征,还包含行人与周围其他运动实体之间的交互性特征.如何根据场景变化,对这种时序性和交互性特征进行深度刻画并进行轨迹预测,是复杂场景行人轨迹预测的关键问题.本文采用多头注意力机制和对抗生成方法,提出一种基于多头注意力机制的生成对抗网络模型(Multi-head Attention Generative Adversarial Model,MAGAM),对复杂场景下多行人轨迹进行建模.论文首先通过多头注意力机制融合行人的相对位移信息,从不同方面学习轨迹特征空间中各子空间特征的权重信息,实现对行人之间相互影响的交互性轨迹特征刻画;然后采用对抗生成机制和多轨迹生成策略,实现对复杂场景下不同个体移动轨迹的生成与预测.最后,本文在两个公开的数据集(ETH和UCY)进行了实验验证.实验结果表明,在ADE、FDE和AnlDE三个指标上,本文提出的MAGAM模型比基准模型误差平均降低了26.90%、21.02%和24.06%.本文对模型的预测结果进行可视化分析,直观展示了本论文模型的合理性.     

基于状态精细化长短期记忆和注意力机制的社交生成对抗网络用于行人轨迹预测

针对当前行人轨迹预测研究仅考虑影响行人交互因素的问题，基于状态精细化长短期记忆（SR-LSTM）和注意力机制提出一种用于行人轨迹预测的社交生成对抗网络（SRA-SIGAN）模型，利用生成对抗网络（GAN）学习获得目标行人的运动规律。首先，使用SR-LSTM作为位置编码器提取运动意图信息；其次，通过设置速度注意力机制合理地为同一场景中的行人分配影响力，以更好地处理行人的交互；最后，由解码器生成预测的未来轨迹。在多个公开数据集上的测试实验结果表明，SRA-SIGAN模型的总体表现良好。特别是在Zara1数据集上，与SR-LSTM模型相比，SRA-SIGAN模型的平均位移误差（ADE）和最终位移误差（FDE）分别减小了20.0%和10.5%；与社交生成对抗网络（SIGAN）模型相比，SRA-SIGAN的ADE和FDE分别下降了31.7%和24.4%。     

基于深度残差长短记忆网络交通流量预测算法

针对多步交通流量预测任务中时间空间特征提取效果不佳和预测未来时间交通流量精度低的问题,提出一种基于长短时记忆（LSTM）网络、卷积残差网络和注意力机制的融合模型。首先,利用一种基于编解码器的架构,通过在编解码器中加入LSTM网络来挖掘不同尺度的时间域特征;其次,构建基于注意力机制挤压激励（SE）模块的卷积残差网络嵌入到LSTM网络结构中,从而挖掘交通流量数据中的空间域特征;最后,将编码器中获得的隐状态下的信息输入到解码器中,实现高精度多步交通流量的预测。基于真实交通数据进行实验测试和分析,实验结果表明,相较于原始的基于图卷积的模型,所提模型在北京和纽约两个交通流量公开数据集上的均方根误差（RMSE）分别获得了1.622和0.08的下降。所提模型能够高效且精确地对交通流量作出预测。     

基于注意力机制和生成对抗网络的飞行器短期航迹预测模型

针对单一长短时记忆（LSTM）网络在航迹预测上无法有效提取关键信息以及难以精准拟合数据分布等问题,提出基于注意力机制和生成对抗网络（GAN）的飞行器短期轨迹预测模型。首先,引入注意力机制对航迹赋予不同的权重,以提升航迹中重要特征的影响力;其次,基于LSTM提取航迹序列特征,并经汇聚层汇集时间步长内所有的飞行器特征;最后,利用GAN在对抗博弈下不断优化的特性来优化模型,从而提高模型的准确性。相较于社会生成对抗网络（SGAN）,所提模型在处于爬升阶段的数据集上的平均位移误差（ADE）、最终位移误差（FDE）及最大位移误差（MDE）分别降低了20.0%、20.4%和18.3%。实验结果表明,所提模型能更精确地预测未来航迹。     

考虑时空影响下的图卷积网络短时交通流预测

针对交通流预测过程中城市道路路网的空间特征难以充分提取,导致预测结果精度不高的问题,提出图卷积网络（GCN）与门控循环单元（GRU）组合短时交通流预测模型。利用GCN对拓扑结构数据处理的优势,将城市道路路网空间排列结构转换为拓扑关系建模,通过解决拓扑关系问题有效提取出路网间的空间特征。采用GraphSAGE算法改进GCN模型,通过加和聚合算子和图注意力机制（GAT）聚合空间特征,将包含空间特征的输出作为GRU模型的输入提取时间特征。利用真实道路车流量数据进行模型验证,结果表明该模型相较于不具有GCN的模型预测准确率提升约8%,均方误差缩小约0.010?37,说明所提模型具有相对较高的稳定性及预测精度,可以为大型城市路网提供重要的交通诱导依据。     

结合几何一致性的图卷积颈缘线形变网络EI北大核心CSCD

针对曲面形变方法计算复杂度高、曲线形变方法中忽视非局部信息的关联性、没有考虑位置与法向之间的几何一致性等问题,提出一种同时建模局部与非局部信息的图卷积层,且设计了引入位置与法向几何约束的几何辅助预测模块.首先采用k最近邻算法和注意力机制相结合的图卷积层对局部和非局部信息进行挖掘,预测空间中点的位置和法向信息;然后将预测得到的点的位置输入几何辅助预测模块,利用几何一致性约束计算得到几何法向信息;最后将得到的几何法向信息与图卷积网络预测得到的法向信息融合,再次通过图卷积网络进行形变预测,得到最终形变预测结果.在876个样本的自建颈缘线数据库上的实验结果表明,相比于其他主流方法,所提方法在均方误差度量上降低了16.7%.     

复杂场景下行人轨迹预测方法

为了预测行人在复杂场景中的行走轨迹,提出了一种基于生成对抗网络的可解释模型。该模型以场景中行人的历史轨迹信息和场景环境信息作为模型的输入,并在生成对抗网络中引入了物理注意力机制和社会注意力机制对行人轨迹进行预测。其中,物理注意力机制有助于建模复杂场景的整体布局并提取图像中与路径相关的显著特征,社会注意力机制能够建模不同行人之间的交互对未来轨迹的影响。在生成对抗网络的整体框架下,物理和社会注意力机制的结合使得该模型能够预测出符合物理限制和社会行为规范的多条可接受的未来路径。通过在仿真数据和真实的标准数据集上的实验,可以证明该模型能够实现对行人未来轨迹的有效预测。     

基于图卷积网络与自注意力图池化的视频行人重识别方法

针对跨相机网络视频中存在的遮挡、空间不对齐、背景杂波等因素导致视频行人重识别效果较差的问题,提出一种基于图卷积网络（GCN）与自注意力图池化（SAGP）的视频行人重识别方法。首先,通过区块关系图建模挖掘视频中帧间不同区域的关联信息,并利用GCN优化逐帧图像中的区域特征,缓解遮挡和不对齐等问题;然后,通过SAGP机制去除对行人特征贡献较低的区域,避免背景杂波区域的干扰;最后,提出一种加权损失函数策略,使用中心损失优化分类学习结果,并使用在线软挖掘和类感知注意力（OCL）损失解决难样本挖掘过程中可用样本未被充分利用的问题。实验结果表明,在MARS数据集上,相较于次优的AITL方法,所提方法的平均精度均值（mAP）与Rank-1分别提高1.3和2.0个百点。所提方法能够较好地利用视频中的时空信息,提取更具判别力的行人特征,提高行人重识别任务的效果。     

基于注意力机制的行人轨迹预测生成模型

针对长短期记忆网络（LSTM）在行人轨迹预测问题中孤立考虑单个行人,且无法进行多种可能性预测的问题,提出基于注意力机制的行人轨迹预测生成模型（AttenGAN）,来对行人交互模式进行建模和概率性地对多种合理可能性进行预测。AttenGAN包括一个生成器和一个判别器,生成器根据行人过去的轨迹概率性地对未来进行多种可能性预测,判别器用来判断一个轨迹是真实的还是由生成器伪造生成的,进而促进生成器生成符合社会规范的预测轨迹。生成器由一个编码器和一个解码器组成,在每一个时刻,编码器的LSTM综合注意力机制给出的其他行人的状态,将当前行人个体的信息编码为隐含状态。预测时,首先用编码器LSTM的隐含状态和一个高斯噪声连接来对解码器LSTM的隐含状态初始化,解码器LSTM将其解码为对未来的轨迹预测。在ETH和UCY数据集上的实验结果表明,AttenGAN模型不仅能够给出符合社会规范的多种合理的轨迹预测,并且在预测精度上相比传统的线性模型（Linear）、LSTM模型、社会长短期记忆网络模型（S-LSTM）和社会对抗网络（S-GAN）模型有所提高,尤其在行人交互密集的场景下具有较高的精度性能。对生成器多次采样得到的预测轨迹的可视化结果表明,所提模型具有综合行人交互模式,对未来进行联合性、多种可能性预测的能力。     

时空图卷积网络在人体异常行为识别中的应用

在监控场景下,由于监控资源短缺,行人异常行为容易发生漏检。针对该问题,提出了一种视频监控场景下的人体异常行为识别的方法,辅助监控人员及时发现异常。使用OpenPose对图像中行人进行人体骨架提取。针对图卷积网络对关节点特征聚合方式单一的问题,融合了基于图注意力网络（graph attention network,GAT）的图注意力机制。在改进后的图卷积网络的基础上,利用时空图卷积神经网络（spatial temporal graph convolutional networks,ST-GCN）,对行人关节点信息进行异常行为识别。实验结果表明,提出的识别算法对定义的行为识别准确率达85.48%,能够准确地识别监控视频中行人的异常行为。     

基于图动态注意力网络的多站点风速预测

时空序列预测任务在交通、气象、智慧城市等领域有着广泛应用。站点风速预测作为气象预测中的主要任务之一,需要结合降水、气温等外部因素,学习不同数据的时空特征。气象站点的不规则分布和风本身的固有间歇性成为实现高精度风速预测的挑战。为考虑多站点空间分布对风速的影响以获得准确可靠的预测结果,提出一种基于图的动态转换注意力网络（Graph-DSAN）风速预测模型。首先,利用不同站点之间的距离重新构建它们的连接;其次,使用局部采样的过程建模不同采样大小的邻接矩阵,实现图卷积过程中邻居节点信息的聚合与传递;接着,将时空位置编码（STPE）处理后的图卷积结果加入动态注意力编码器（DAE）和转换注意力解码器（SAD）以实现动态注意力计算,从而提取时空相关性;最后,利用自回归的方式形成多步预测。在纽约州15个站点的风速预测实验中,将所设计模型与ConvLSTM、图多注意力网络（GMAN）、时空图卷积网络（STGCN）、动态转换注意力网络（DSAN）和时空动态网络（STDN）进行比较,Graph-DSAN的12 h预测均方根误差（RMSE）分别降低了28.2%、6.9%、27.7%、14.4%和8.9%,验证...     

基于动态进化图的行人轨迹预测

行人轨迹预测在自动驾驶和社交机器人等领域有着广泛的应用.对行人间复杂的交互关系进行有效建模是提高轨迹预测准确性的关键问题.然而,基于图神经网络的方法建模行人间的复杂交互时,存在行人间交互关系不会随着时间推移而改变,并且图模型无法自适应地调整网络参数,导致预测轨迹与真实轨迹偏差较大.为此,提出基于动态进化图的行人轨迹预测方法,设计动态特征更新(DFU)以定义行人间的动态特性,对行人间动态交互进行建模以构建时间域的网络动态性,提升对行人间复杂交互关系建模的能力.采用进化图卷积单元优化编码器,灵活进化图模型网络参数,增强图模型的自适应能力.研究结果表明,在预测8个时间步长下,与STGAT模型相比,所提出模型在两个公开数据集(ETH和UCY)上取得了更好的性能,平均位移误差降低12.26%,最终位移误差降低14.10%.     

基于数据关联感知的无监督深度融合指针网络模型

为了提高组合优化问题可行解集合的收敛性和泛化性,根据不同无监督学习策略的特点,提出一种基于数据关联感知的深度融合指针网络模型(DMAG-PN),模型通过指针网络框架将Mogrifier LSTM、多头注意力机制与图卷积神经网络三者融合.首先,编码器模块中的嵌入层对输入序列进行编码,引入多头注意力机制获取编码矩阵中的特征信息;然后构建数据关联模型探索序列节点间的关联性,采用图卷积神经网络获取其多维度关联特征信息并融合互补,旨在生成多个嵌入有效捕捉序列深层的节点特征和边缘特征;最后,基于多头注意力机制的解码器模块以节点嵌入数据和融合图嵌入数据作为输入,生成选择下一个未访问节点的全局概率分布.采用对称旅行商问题作为测试问题,与当前先进算法进行对比,实验结果表明,所提出DMAG-PN模型在泛化性和求解精确性方面获得较大的改进与提高,预训练好的DMAG-PN模型能够直接对大规模实例进行端到端的求解,避免传统算法迭代搜索的过程,具有较高的求解效率.     

基于图卷积网络的短时交通速度预测

交通预测是构建智能交通系统的重要技术,实时准确的交通预测有利于规划路线,提高出行效率。为提高交通速度预测精度,提出一种基于图卷积网络的短时交通速度预测模型。首先对交通速度数据进行时空特征分析,然后结合数据空间特性构造可学习的邻接矩阵来建立图卷积网络,同时考虑到交通数据的时间特性,因此在图卷积的基础上又添加了长短期记忆网络和注意力机制来共同构建预测模型。实验结果表明由于同时考虑了交通速度数据的时空特性,本文模型均方根误差、平均绝对误差和平均绝对百分比误差均小于传统模型和单个模型,验证了提出的模型预测精确度更高。     

基于时空注意力图卷积网络模型的人体骨架动作识别算法

针对现有的人体骨架动作识别算法不能充分发掘运动的时空特征问题,提出一种基于时空注意力图卷积网络（STA-GCN）模型的人体骨架动作识别算法。该模型包含空间注意力机制和时间注意力机制：空间注意力机制一方面利用光流特征中的瞬时运动信息定位运动显著的空间区域,另一方面在训练过程中引入全局平均池化及辅助分类损失使得该模型可以关注到具有判别力的非运动区域;时间注意力机制则自动地从长时复杂视频中挖掘出具有判别力的时域片段。将这二者融合到统一的图卷积网络（GCN）框架中,实现了端到端的训练。在Kinetics和NTU RGB+D两个公开数据集的对比实验结果表明,基于STA-GCN模型的人体骨架动作识别算法具有很强的鲁棒性与稳定性,与基于时空图卷积网络（ST-GCN）模型的识别算法相比,在Kinetics数据集上的Top-1和Top-5分别提升5.0和4.5个百分点,在NTURGB+D数据集的CS和CV上的Top-1分别提升6.2和6.7个百分点;也优于当前行为识别领域最先进（SOA）方法,如Res-TCN、STA-LSTM和动作-结构图卷积网络（AS-GCN）。结果表示,所提算法可以更好地满足人体行为识别的实际应用需求。     

基于融合关系学习网络的行人重识别

基于图卷积神经网络的行人重识别方法面临两个问题:1)在对特征映射构图时,图节点表达的语义信息不够显著;2)选择特征块构图时仅依赖特征块间的相对距离,忽略内容相似性.为了解决这两个问题,文中提出融合关系学习网络的行人重识别.利用注意力机制,使用最大注意力模型,使最重要的特征块更显著,赋予其语义信息.融合相似性度量,从距离和内容两方面对特征块进行相似性计算,度量方式更全面.该算法能够综合地选取近邻特征块,为图卷积神经网络提供更好的输入图结构,使图卷积神经网络提取更鲁棒的结构关系特征.在iLIDS-VID、MARS数据集上的实验验证文中网络的有效性.     

基于注意力引导图卷积网络的中英机器翻译模型

现如今,神经网络在基于句序列的机器翻译模型已占据主流地位.但在中英文互译中,仅对单语句进行翻译不仅仅丢失语义信息,还破坏繁杂的逻辑构造,并不符合当代机器翻译需求.鉴于此,提出一种新型基于注意力引导图卷积网络的机器翻译优化模型,可通过多头注意力机制和图卷积神经网络结构的结合保留词元素特征及段落层次结构信息.为了验证基于注意力引导图卷积网络模型是否优于其他传统算法,在WMT21数据集上进行实验,结果表明各指标均达到理想效果.     

基于视野域机制的行人轨迹预测

为提高行人在复杂交通场景中交互的安全性,提出一种基于social-GAN（social-generative adversarial network）的行人轨迹预测算法SAN-GAN（social angle norm-GAN）。该算法首先以行人历史位置信息与头部信息为输入,通过轨迹生成器LSTM网络（long short term memory networks）获取行人隐藏特征信息,并基于行人视野域模块捕捉行人视野域动态变化,对所有行人建立扇形视野域并筛选有效信息,从而驱动神经网络模型预测行人未来轨迹变化。将SAN-GAN与LSTM、social-LSTM（social-long short term memory networks）、social-GAN等轨迹预测算法进行对比实验,结果表明SAN-GAN算法相较于其他算法,在预测3.2 s的行人轨迹时,ADE分别平均降低65.8%、51.2%、10.7%,FDE分别平均降低73.6%、60.9%、10.4%。SAN-GAN能够有效地预测行人在复杂交通环境中进行交互的未来轨迹。     

融合GRU和注意力机制的图卷积关系抽取

实体关系抽取在自然语言处理中十分重要,针对图卷积网络中特征提取不准确,循环神经网络梯度模糊等问题,提出了一种融合门控循环单元（GRU）和注意力机制的图卷积关系抽取模型。通过加入双向GRU对输入的上下文信息进行处理,获得更为细致的特征以此对长期依赖信息进行学习,并进一步利用多头注意力机制对不同类型的边与节点进行权重分配,过滤多余信息,增强节点间的关联性,最后利用图卷积得到最终的关系抽取结果。针对SemEval-2010Task8和SemEval-2010Task4数据集中对其进行测试,实验表明该方法提高了其F1值,能够实现关系的有效提取。     

融合卷积、注意力和MLP的出租车目的地预测

出租车目的地预测是基于位置服务的重要内容,对城市交通合理规划具有重要意义。基于出租车历史轨迹数据进行出行目的地预测,存在数据稀疏性问题与轨迹数据的特征单一性问题,影响目的地预测的精度。针对数据稀疏问题,利用出租车原始轨迹数据（出租车速度、行驶方向角和时间）结合轨迹截断方法确定模型输入特征,克服轨迹稀疏性问题。针对多层感知机具有参数过多、训练困难和大量参数导致较快的过拟合等问题,提出利用卷积的参数共享机制解决参数冗余。进一步提出采用注意力机制使神经网络把更多的计算资源分配给更重要的任务,聚焦重要信息提升模型预测性能。基于此构建了一种融合卷积、注意力模块和多层感知机的出租车目的地预测方法（CCMLP）,在克服MLP和卷积各自结构不足的同时,对目的地实现了更为准确的预测,通过不同数据与实验验证CCMLP模型的可靠性。实验结果表明,选取轨迹前m点与末n点及其对应行驶方向角、速度、车牌号和时间特征作为模型输入特征有效提高目的地预测精度;提出的CCMLP方法具有较好特征学习能力,相比于基于MLP预测模型的距离误差下降了10%,相比于基于集成学习算法的距离误差下降了19.6%;基于工作日与非工作日不...