深度学习应用于时序预测研究综述

时间序列一般是指对某种事物发展变化过程进行观测并按照一定频率采集得出的一组随机变量。时间序列预测的任务就是从众多数据中挖掘出其蕴含的核心规律并且依据已知的因素对未来的数据做出准确的估计。由于大量物联网数据采集设备的接入、多维数据的爆炸增长和对预测精度的要求愈发苛刻,经典的参数模型以及传统机器学习算法难以满足预测任务的高效率和高精度需求。近年来,以卷积神经网络、循环神经网络和Transformer模型为代表的深度学习算法在时间序列预测任务中取得了丰硕的成果。为进一步促进时间序列预测技术的发展,综述了时间序列数据的常见特性、数据集和模型的评价指标,并以时间和算法架构为研究主线,实验对比分析了各预测算法的特点、优势和局限;着重介绍对比了多个基于Transformer模型的时间序列预测方法;最后结合深度学习应用于时间序列预测任务存在的问题与挑战,对未来该方向的研究趋势进行了展望。     

基于Transformer模型和Kalman滤波预测船舶航迹

针对日趋复杂的海上交通情况,船舶航迹的跟踪预测问题显得尤为重要,然而船舶航行轨迹的数据是具有长期特性的数列,而且易受到风浪、杂波和噪声等影响,致使其特征数据动态变化,航迹规律难以把握.基于上述问题,提出一种结合Transformer模型和Kalman滤波的航迹预测方法.利用宁波市渔船AIS(Automatic Iden-tification System)数据进行模型训练,并对船舶航迹进行预测.实验结果表明,该方法与传统处理方法相比,其预测的精度更高,并行处理序列数据方面也更具有优越性.     

基于多时间尺度时空图网络的交通流量预测模型

交通流预测在智能交通系统的建设中起着关键作用。但由于其复杂的时空依赖性和本身的不确定性使得研究变得极具挑战性。现有的一些方法主要是将单一的时间序列输入到循环神经网络以捕获时间依赖性,而且多数模型仅对时间模块和空间模块进行简单的堆叠,导致不能有效地融合时间和空间特征。为了解决以上问题,文中提出了一个多时间尺度时空图网络模型。模型先将序列数据划分为3种时间尺度序列,然后将序列输入到时空块(ST-Block)中提取数据的时空依赖性,最后进行预测。在时空块中使用图卷积网络和变体Transformer分别捕获数据中的时间和空间依赖性,并通过门控融合机制将两者提取到的特征进行融合。在两个真实的数据集上分别进行了短期和长期的预测实验,结果表明了MTSTGNN模型在交通流预测任务上的优秀性能。     

时空嵌入式生成对抗网络的地点预测方法*

定位技术的广泛使用可以积累大量的用户轨迹信息,为挖掘用户的行为轨迹提供便利.地点预测任务是众多基于位置服务的基础,学者们更关注如何有效利用这些轨迹数据进行地点预测.已有的方法或关注对长期模式(数天或数月)的预测,或致力于实时轨迹预测.文中研究的问题基于上述两者之间,即对弱实时条件下(数分钟或数小时)用户下一步的访问行为进行预测.为此,提出时空嵌入式的生成对抗网络模型(ST-GAN),在序列生成对抗网络的基础上,提出时空嵌入式长短时记忆生成模型(ST-LSTM)和时空嵌入式卷积神经网络判别模型(ST-CNN).ST-LSTM利用时空信息引导LSTM训练门机制,缓解数据的稀疏性.ST-CNN利用时空信息增强判别真伪访问序列的能力.此外,ST-GAN的训练优化机制使模型可以生成更多逼近真实的数据以引导模型学习,从而得到更好的预测效果.最后在真实的轨迹数据集上的实验验证ST-GAN的有效性.     

基于渐进式分解架构的风电时间序列预测

准确预测风电机组各项指标对准确管控机组和调控电网的供需有着重要意义. 预测指标任务可抽象为风电时间序列预测任务. 目前时间序列预测模型主要采用深度学习模型, 但是风电时间序列具有较强的波动性和随机性, 导致绝大部分模型不能较好挖掘风电时间序列的复杂演化特性. 为解决上述问题, 提出了一种基于渐进式分解架构的风电时间序列预测方法, 该方法首先应用神经网络池化分解方法将复杂的依赖关系简化并应用注意力机制学习长期趋势, 然后运用多变量融合捕捉模块增强了网络整体的多变量关联挖掘能力, 最后, 融合趋势项和周期项对风电时间序列做出准确的预测. 实验结果表明, 该方法在风电时间序列的多步预测中均方误差相比基线模型至高可提升24%, 在多尺度预测长度下表现出预测性能稳定提升的同时, 计算效率显著优于同类模型.     

融合全局和序列特征的多变量时间序列预测方法

时间序列在现实生活中具有广泛的用途,使用时间序列预测模型能够预估序列的未来变化趋势,为决策提供支撑.对于多变量时间序列的预测研究,已经提出了很多模型,但已有方法存在如下问题：不能同时考虑时间序列本身和协变量的信息;忽略了多变量时间序列中的全局信息;不能对预测结果进行解释.针对这些问题,本文提出了一个基于深度学习的多变量时间序列预测模型TEDGER,可以提取隐藏在单个时间序列中的序列模式和隐藏在多变量时间序列中的全局特征,并将序列模式和全局特征进行融合,通过残差预测的方式实现时间序列的预测.本文所提模型在真实的时间序列数据集上进行了实验评估.结果表明,本文提出的模型在预测准确度上超越了其他基准模型,同时模型拥有一定的可解释性.     

基于生成对抗网络与特征融合的多尺度音频序列生成方法

音频数据规模不足是语音识别过程中的一个常见问题，通过较少的训练数据训练得到的语音识别模型效果难以得到保证。因此，提出一种基于生成对抗网络与特征融合的多尺度音频序列生成方法(multi-scale audio sequence GAN,MAS-GAN),包含多尺度音频序列生成器和真伪—类别判别器。生成器通过3个上采样子网络学习音频序列不同时域和频域的特征，再将不同尺度的特征融合成伪音频序列；判别器通过辅助分类器将生成的伪数据和真实数据区分开，同时指导生成器生成各类别的数据。实验表明，与目前主流的音频序列生成方法相比，所提方法的IS和FID分数分别提高了6.78%和3.75%,可以生成更高质量的音频序列；同时通过在SC09数据集上进行分类实验来评估生成音频序列的质量，所提方法的分类准确率比其他方法高2.3%。     

一种基于 Transformer 的三维人体姿态估计方法

三维人体姿态估计是人类行为理解的基础,但是预测出合理的三维人体姿态序列仍然是具有挑 战性的问题。为了解决这个问题,提出一种基于 Transformer 的三维人体姿态估计方法,利用多层长短期记忆 (LSTM)单元和多尺度 Transformer 结构增强人体姿态序列预测的准确性。首先,设计基于时间序列的生成器, 通过 ResNet 预训练神经网络提取图像特征;其次,采用多层 LSTM 单元学习时间连续性的图像序列中人体姿 态之间的关系,输出合理的 SMPL 人体参数模型序列;最后,构建基于多尺度 Transformer 的判别器,利用多 尺度 Transformer 结构对多个分割粒度进行细节特征学习,尤其是 Transformer block 对相对位置进行编码增强 局部特征学习能力。实验结果表明,该方法相对于 VIBE 方法具有更好地预测精度,在 3DPW 数据集上比 VIBE 的平均(每)关节位置误差(MPJPE)低了 7.5%;在 MP-INF-3DHP 数据集上比 VIBE 的 MPJPE 降低了 1.8%。      

基于多头注意力对抗机制的复杂场景行人轨迹预测

行人轨迹预测对智慧城市建设、公共危机管理具有重要意义.复杂场景中的行人轨迹不仅包含行人个体运动时序性特征,还包含行人与周围其他运动实体之间的交互性特征.如何根据场景变化,对这种时序性和交互性特征进行深度刻画并进行轨迹预测,是复杂场景行人轨迹预测的关键问题.本文采用多头注意力机制和对抗生成方法,提出一种基于多头注意力机制的生成对抗网络模型(Multi-head Attention Generative Adversarial Model,MAGAM),对复杂场景下多行人轨迹进行建模.论文首先通过多头注意力机制融合行人的相对位移信息,从不同方面学习轨迹特征空间中各子空间特征的权重信息,实现对行人之间相互影响的交互性轨迹特征刻画;然后采用对抗生成机制和多轨迹生成策略,实现对复杂场景下不同个体移动轨迹的生成与预测.最后,本文在两个公开的数据集(ETH和UCY)进行了实验验证.实验结果表明,在ADE、FDE和AnlDE三个指标上,本文提出的MAGAM模型比基准模型误差平均降低了26.90%、21.02%和24.06%.本文对模型的预测结果进行可视化分析,直观展示了本论文模型的合理性.     

融合变道意图识别的车辆轨迹预测GAN模型

车辆轨迹预测能够有效降低车辆轨迹突变造成的碰撞风险,是实现安全驾驶的关键技术之一.针对传统轨迹预测算法缺乏对驾驶员意图分析的问题,本文提出了一种融合生成对抗网络和驾驶意图识别的车辆轨迹预测模型.该模型基于生成对抗网络框架预测车辆轨迹,并引入基于深度神经网络的变道意图识别模块识别驾驶员的变道意图.通过在公开数据集NGSIM上与LSTM、S-LSTM、CS-LSTM和S-GAN模型进行对比试验,实验结果表明与其他轨迹预测模型相比,本文提出的CS-DNN-GAN模型具有较好的预测精确度.     

基于度量学习的无监督域适应方法及其在死亡风险预测上的应用

近年来,深度学习模型已在医疗领域的预测任务上得到广泛应用,并取得了不错的效果.然而,深度学习模型常会面临带标签训练数据不足、整体数据分布偏移和类别之间数据分布偏移的问题,导致模型预测的准确度下降.为解决上述问题,提出一种基于域对抗和加性余弦间隔损失的无监督域适应方法(additive margin softmax ba...     

基于大数据分析的移动对象轨迹预测方法

对移动对象的轨迹预测将在移动目标跟踪识别中具有较好的应用价值。移动对象轨迹预测的基础是移动目标运动参量的采集和估计,移动目标的运动参量信息特征规模较大,传统的单分量时间序列分析方法难以实现准确的参量估计和轨迹预测。提出一种基于大数据多传感信息融合跟踪的移动对象轨迹预测算法。首先进行移动目标对象进行轨迹跟踪的控制对象描述和约束参量分析,对轨迹预测的大规模运动参量信息进行信息融合和自正整定性控制,通过大数据分析方法实现对移动对象运动参量的准确估计和检测,由此指导移动对象轨迹的准确预测,提高预测精度。仿真结果表明,采用该算法进行移动对象的运动参量估计和轨迹预测的精度较高,自适应性能较强,稳健性较好,相关的指标性能优于传统方法。     

基于Informer算法的网联车辆运动轨迹预测模型

自动驾驶汽车可以根据轨迹预测算法计算周边车辆的运动轨迹,并作出反应以降低行车风险,而传统的轨迹预测模型在长时间序列预测的情况下会产生较大的误差。为解决这一问题,提出了一种以Informer算法为基础的轨迹预测模型,并根据公开数据集NGSIM进行实验分析。首先通过对称指数移动平均法(sEMA)对原始数据进行滤波处理,并在原有的Informer编码器中加入了联合归一化层对不同车辆进行特征提取处理,减少了不同车辆之间的运动误差,通过考虑车辆的本身速度信息与周围环境的车辆运动信息,提高了预测精度,最后经过解码器得到未来时刻的车辆轨迹分布。结果表明,模型对车辆的轨迹预测误差在0.5 m以内;通过对轨迹预测的MAE与MSE结果分析可知,预测时间超过0.3 s以后,Informer模型的轨迹预测效果明显优于其他算法,验证了模型和算法的有效性。     

基于S-Transformer的多模态船舶轨迹预测

船舶轨迹预测是实现船舶智能航行的前提与基础. 目前, 针对船舶轨迹预测的研究大多仅依赖于船舶自动识别系统(AIS)历史数据, 而未利用到船舶上其他传感器信息. 于是本文提出了一种多模态轨迹预测模型——S-Transformer. 在该网络中, 电子海图中的海水/陆地被分割作为辅助训练目标与真实舟山港AIS数据加以综合从而对模型进行训练, 并对船舶未来航行轨迹进行预测; 其中, 本文还引入segment recurrence来捕获AIS数据的长期依赖关系. 实验结果表明, S-Transformer在不同的船舶行驶情况中都有优秀的预测结果, 并优于相关预测任务的单模态基准模型.     

基于Transformer模型的四旋翼无人机时空协同航迹预测方法设计

无人机在执行任务时面临的飞行环境复杂多变,为了减少事故的风险,并在飞行时对异常情况进行预测和响应,研究一种基于Transformer模型的四旋翼无人机时空协同航迹预测方法。采集四旋翼无人机原始航迹,实施异常点剔除和缺失点插值处理,以优化和清理原始航迹数据,便于后续的航迹预测。结合深度学习和表示学习方法完成数据降维,基于Transformer模型实现无人机时空协同航迹的精准预测。实验测试结果表明,设计方法的预测结果虽然相对于真实的坐标点稍有偏差,然而整体结果在可接受范围内,验证集所有数据的均方误差在数据条数为300时仅为0.32m,R方测试结果最接近1,具有良好的航迹预测能力。     

基于多维特征图知识蒸馏的对抗样本防御方法

计算机视觉领域倾向使用深度神经网络完成识别任务,但对抗样本会导致网络决策异常。为了防御对抗样本,主流的方法是对模型进行对抗训练。对抗训练存在算力高、训练耗时长的缺点,其应用场景受限。提出一种基于知识蒸馏的对抗样本防御方法,将大型数据集学习到的防御经验复用到新的分类任务中。在蒸馏过程中,教师模型和学生模型结构一致,利用模型特征图向量作为媒介进行经验传递,并只使用干净样本训练。使用多维度特征图强化语义信息的表达,并且提出一种基于特征图的注意力机制,将特征依据重要程度赋予权重,增强蒸馏效果。所提算法在Cifar100、Cifar10等开源数据集上进行实验,使用FGSM(fast gradient sign method)、PGD(project gradient descent)、C&W(Carlini-Wagner attack)等算法进行白盒攻击,测试实验效果。所提方法在Cifar10干净样本的准确率超过对抗训练,接近模型在干净样本正常训练的准确率。在L2距离的PGD攻击下,所提方法效果接近对抗训练,显著高于正常训练。而且其学习成本小,即使添加注意力机制和多维度特征图等优化方案,...     

基于改进WGAN考虑特征分布相似性的小样本负荷预测方法

对于综合能源系统中新接入用户,其往往由于历史数据匮乏而难以建立精准的短期负荷预测模型.本文基于迁移学习理论,提出了一种基于改进Wasserstein生成对抗网络(WGAN)的小样本负荷预测方法.首先,本文采用最大信息系数法量化各影响特征与负荷的相关性强弱.接着,将源域特征序列进行分割,计算各分割子序列与目标域小样本的实序列编辑距离确定初始源域.然后,引入卷积神经网络和长短期记忆模型建立源域预测网络.通过WGAN对齐目标域和源域负荷特征的空间分布,并在最优传输代价函数中加入局部特征损失以提高训练的稳定性和快速性.最后,将对抗训练后网络用于目标域负荷预测.采用该方法对某地区小样本负荷进行实验,结果表明,本文所提算法与其他预测模型相比能达到更高精度.     

Transformer-based two-source motion model for multi-object tracking

Recently, benefit from the development of detection models, the multi-object tracking method based on tracking-by-detection has greatly improved performance. However, most methods still utilize traditional motion models for position prediction, such as the constant velocity model and Kalman filter. Only a few methods adopt deep network-based methods for prediction. Still, these methods only exploit the simplest RNN(Recurrent Neural Network) to predict the position, and the position offset caused by the camera movement is not considered. Therefore, inspired by the outstanding performance of Transformer in temporal tasks, this paper proposes a Transformer-based motion model for multi-object tracking. By taking the historical position difference of the target and the offset vector between consecutive frames as input, the model considers the motion of the target itself and the camera at the same time, which improves the prediction accuracy of the motion model used in the multi-target tracking method, thereby improving tracking performance. Through comparative experiments and tracking results on MOTchallenge benchmarks, the effectiveness of the proposed method is proved.

     

视觉Transformer识别任务研究综述

Transformer模型在自然语言处理领域取得了很好的效果,同时因其能够更好地连接视觉和语言,也激发了计算机视觉界的极大兴趣。本文总结了视觉Transformer处理多种识别任务的百余种代表性方法,并对比分析了不同任务内的模型表现,在此基础上总结了每类任务模型的优点、不足以及面临的挑战。根据识别粒度的不同,分别着眼于诸如图像分类、视频分类的基于全局识别的方法,以及目标检测、视觉分割的基于局部识别的方法。考虑到现有方法在3种具体识别任务的广泛流行,总结了在人脸识别、动作识别和姿态估计中的方法。同时,也总结了可用于多种视觉任务或领域无关的通用方法的研究现状。基于Transformer的模型实现了许多端到端的方法,并不断追求准确率与计算成本的平衡。全局识别任务下的Transformer模型对补丁序列切分和标记特征表示进行了探索,局部识别任务下的Transformer模型因能够更好地捕获全局信息而取得了较好的表现。在人脸识别和动作识别方面,注意力机制减少了特征表示的误差,可以处理丰富多样的特征。Transformer可以解决姿态估计中特征错位的问题,有利于改善基于回归的方法性能,还减少了三维估计时深度映射所产生的歧义。大量探索表明视觉Transformer在识别任务中的有效性,并且在特征表示或网络结构等方面的改进有利于提升性能。