基于多任务学习的快件送达时间预测方法

快件送货时间预测（即在任何时间预测包裹送达的到达时间）是物流领域中最重要的服务之一。准确地预测快件送达时间可以为用户提供更准时的服务,缓解客户的等待焦虑,提升用户体验,且有利于快递员的路径规划,从而提高派送效率。然而在快递派送场景下,多因素、动态性及多目的地等特征给快件投递准确预测送达时间带来巨大挑战。提出一种基于多任务学习的模型MTDTN,从快递员的大量历史时空轨迹中预测快件送达时间。MTDTN建模多种影响送达时间的外部因素,利用地理信息编码、卷积操作以及双向长短时记忆网络来捕获派送行为的时空关系,并运用多任务学习框架,引入顺序预测的辅助任务与送达时间预测的主任务,提高模型预测性能。在真实数据集上的实验结果表明,与基准方法中最优的DeepETA模型相比,该模型的平均绝对误差与平均绝对百分比误差分别降低了16.11%和12.88%,模型效果明显提升。     

基于时空数据分类的用户社交联系学习*

按照时空数据模型对时间和空间的表达方式,将时空数据模型分为基于时间的时空数据模型和基于空间的时空数据模型。本文提出了一种新的基于时空数据预测用户社交联系的模型,该模型将基于时间的时空数据集的特征和基于空间的时空数据集的特征进行融合,来预测用户社交联系。实验结果表明基于时间与空间特征融合的时空数据模型能更好地预测用户的社交联系。     

面向季节性时空数据的预测式循环网络及其在城市计算中的应用

实际生活中有很多带有季节特征的时空数据,在城市计算领域分布尤广,例如交通流量数据便具有较为明显的以天或周为周期的统计学特征.如何有效利用这种季节特征,如何捕捉历史观测与待预测数据之间的相关性,成为了预测此类时空数据未来变化趋势的关键.传统时序建模方法将时序数据分解为多个信号分量,并使用线性模型来进行预测.此类方法具有较强的理论基础,但对于数据的平稳性要求过于严格,难以预测趋势信息复杂的数据,更不适用于高维的时空数据.然而在真实场景下,季节性时空数据的周期长短可变,且不同周期的对应关系往往并不固定,存在时间、空间上的模式变化与偏移,很难作为理想的周期信号以传统时序方法建模.相比之下,深度神经网络建模能力更强,可拟合更为复杂的数据.近几年有许多工作研究了如何利用卷积神经网络和循环神经网络来处理时空数据,也有一些工作讨论了如何有效利用周期性信息提升预测的准确性.但深度神经网络受困于梯度消失和误差累积,难以捕捉时序数据中的长时间依赖,且少有方法讨论如何在深度神经网络中有效建模上述具有弹性周期对应关系的时空信号.本文针对真实场景下季节性时空数据的上述问题,给出具有弹性周期对应关系的时空数据预测问题的形式化定义,并提出了一种新的季节性时空数据预测模型.该模型包含季节网络、趋势网络、时空注意力模块三个部分,可捕捉短期数据中的临近变化趋势和长期数据中隐含的季节性趋势,并广泛考虑历史周期中的每个时空元素对未来预测值的影响.为了解决深度循环网络难以捕捉时序数据中的长时间依赖的问题,本文提出一种新的循环卷积记忆单元,该单元将上述模块融合于一个可端到端训练的神经网络中,一方面实现了时间和空间信息统一建模,另一方面实现了短期趋势特征与历史周期特征的统一建模.进一步地,为了解决季节性数据中的各周期时空元素对应关系不固定的问题,本文探讨了多种基于注意力模块的时空数据融合方式,创新性地提出一种级联式的时空注意力模块,并将其嵌入于上述循环卷积记忆单元内.该模块建模记忆单元的隐藏状态在不同周期内的弹性时空对应关系,自适应地选取相关度高的季节性特征辅助预测.实验部分,我们选取了两个时空数据预测在城市计算中最为典型的应用:交通流量预测和气象数据预报.本文所提出的时空周期性循环神经网络在北京、纽约的交通流量数据集、美国气象数据集上均取得了目前最高的预测准确性.     

融合出发地与目的地时空相关性的城市区域间出租车需求预测

精准预测城市区域之间的出租车需求量，可以为出租车的引导和调度以及乘客的出行推荐提供决策支持信息，从而优化出租车的供需关系。然而现有模型大多以区域内的出租车需求量为建模和预测对象，对区域之间的时空相关性考虑不足，且较少关注区域之间更细粒度的需求量预测。针对上述问题，提出一种面向城市区域间出租车需求量的预测模型——出发地—目的地融合时空网络（ODSTN）模型。该模型分别从区域和区域对两个空间维度以及临近、日、周三个时间维度出发，采用图卷积和时间注意力机制来捕获区域之间的复杂时空相关性，并设计了一种新的路径感知融合机制来对多角度的特征进行融合，最终实现了对城市区域间出租车需求量的预测。在成都和曼哈顿地区两个真实出租车订单数据集中进行了实验，结果表明ODSTN模型的平均绝对误差（MAE）、均方根误差（RMSE）和平均绝对百分比误差（MAPE）分别为0.897 1、3.527 4、50.655 6%和0.589 6、1.163 8、61.079 4%。可见，ODSTN模型在出租车需求预测任务上具有较高的准确性。     

基于深度学习的时空序列预测方法综述

随着数据采集技术的蓬勃发展,各个领域的时空数据不断累积,迫切需要探索高效的时空数据预测方法。深度学习是一种基于人工神经网络的机器学习方法,能有效地处理大规模的复杂数据,因而研究基于深度学习的时空序列预测方法具有十分重要的意义。在这一背景下,针对已有的预测方法进行归纳和总结,首先回顾了深度学习在时空序列预测中的应用背景和发展历程,介绍了时空序列的相关定义、特点及分类;然后按照时空序列数据的类别介绍了基于网格数据的预测方法、基于图数据的预测方法和基于轨迹数据的预测方法;最后总结了上述预测方法,并对当前面临的一些问题及可能的解决方案进行了探讨。     

融合CNN-LSTM和注意力机制的空气质量指数预测

针对空气质量预测中复杂的时空问题,本文构造了多站点间的交互时空特征,搭建了结合CNN和LSTM的深度时空模型,并引入注意力机制学习多特征之间的权重分布,找出对空气质量指数(AQI)影响较大的特征重点关注,构造了融合CNN-LSTM和注意力机制的AQI预测模型。使用2019年1月至2020年12月间运城市各站点的小时粒度数据进行实验,结果表明,该模型对空气质量指数的预测较基模型具有更优的性能。     

一种基于改进图波网的双重自回归分量交通预测模型

随着智慧城市的建设,城市交通流量预测在智能交通预警和交通管理决策方面至关重要.由于复杂的时空相关性,有效地对交通流量进行预测成为了一项挑战.现有的对交通流量进行预测的方法大多采用机器学习算法或深度学习模型,而它们各有优缺点,若能够将两者优点结合起来,将进一步提高交通流量预测的精度.文中针对交通时空数据,提出了一种基于改进图波网(Graph WaveNet)的双重自回归分量交通预测模型.首先,通过门控3分支时间卷积网络有效融合3个时间卷积层,从而进一步提升了捕获时间相关性的能力;其次,首次引入自回归分量,将自回归分量和门控三分支时间卷积网络、图卷积层有效融合,使模型能够充分反映时空数据之间的线性和非线性关系.在METR-LA和PEMS-BAY两个真实的公共交通数据集上进行实验,并将所提模型与其他交通流量预测基准模型进行比较.结果表明,不管是短时间还是长时间的预测,文中所提模型在各个指标上都优于基准模型.     

基于隐马尔科夫模型的时空序列预测方法

提出了一种基于时空密度聚类的隐马尔科夫模型对时空序列进行预测的方法。时空序列与一般的时间序列相比,最主要的特征是其时空依赖性以及时空非平稳性。针对如何有效地预测不同尺度分布的时空序列的问题,本文采用基于时空密度聚类的隐马尔科夫模型,该模型不仅能分析时空序列在时间和空间上的相关性,而且可以通过时空序列的分段有效地去除噪声,提高模型预测的精度。本文采用该模型对药品冷藏库中的时空序列温度数据进行分析预测,并与其他预测模型比较,结果显示本文提出的方法更准确有效。     

基于CNN-LSTM的多因素时空风速预测

准确的风速预测在风能转换和电力分配中起着至关重要的作用.但是,风的固有间歇性使其难以实现高精度的预测.现有研究方法大都考虑了风速的时间相关性,但忽略了气象因素随空间变化对风速的影响.为获得准确可靠的预测结果,结合卷积神经网络和长短期记忆网络,提出了一种多因素时空风速预测相关(MFSTC)模型.同时,还构建了一种基于三维矩阵的数据表示方法.针对多个站点,利用改进的PCA-LASSO算法提取特征气象要素,然后,采用卷积神经网络建立各个站点之间的空间特征关系,采用长短期记忆网络建立历史时间点之间的时间特征关系,在时空相关性分析的基础上得到最终风速预测结果.在东营气象中心提供的2009–2018共10年的实测风速数据集上进行了实验验证.结果表明,相比于一般预测方法,由MFSTC模型获得的实验结果更加准确,证明了提出方法的有效性.     

基于LSTM-FC的瓦斯浓度时空分布预测

传统的工作面瓦斯预测方法仅利用瓦斯数据的时间特性,缺乏与空间相关的先验信息,因此利用瓦斯数据的时空特性,采用深度学习算法长短期记忆与全连接神经网络相结合的方法构建LSTM-FC（Long Short Time Memory-Fully Connection）瓦斯浓度时空序列的预测模型。LSTM能够解决瓦斯序列的长时间依赖性,全连接神经网络能够准确捕捉瓦斯序列的空间关联性,深入挖掘瓦斯数据之间的时空特性,通过预测不同位置的瓦斯值,构造工作面的瓦斯分布图。实验结果表明,通过使用LSTM-FC模型,预测误差有了明显减少,相比于其他神经网络预测模型,预测精度有所提高。     

深度卷积记忆网络时空数据模型

时空数据是包含时间和空间属性的数据类型.研究时空数据需要设计时空数据模型,用以处理数据与时间和空间的关系,得到信息对象由于时间和空间改变而产生的行为状态变化的趋势.交通信息数据是一类典型的时空数据.由于交通网络的复杂性和多变性,以及与时间和空间的强耦合性,使得传统的系统仿真和数据分析方法不能有效地得到数据之间的关系.本文通过对交通数据中临近空间属性信息的处理,解决了由于传统时空数据模型只关注时间属性导致模型对短时间间隔数据预测能力不足的问题,进而提高模型预测未来信息的能力.本文提出一个全新的时空数据模型—深度卷积记忆网络.深度卷积记忆网络是一个包含卷积神经网络和长短时间记忆网络的多元网络结构,可以提取数据的时间和空间属性信息,通过加入周期和镜像特征提取模块对网络进行修正.通过对两类典型时空数据集的验证,表明深度卷积记忆网络在预测短时间间隔的数据信息时,相较于传统的时空数据模型,不仅预测误差有了很大程度的降低,而且模型的训练速度也得到提升.     

基于ST-LSTM网络的位置预测模型

针对现有位置预测研究多数忽略时间和空间之间关联性的问题,提出一种基于时空特性的长短期记忆模型(ST-LSTM)。基于LSTM网络添加单独处理用户移动行为时空信息的时空门,并考虑用户签到的时间及空间因素,从而使模型具有时空特性。在ST-LSTM网络中引入个人修正因子,对每类用户的输出结果进行修正,在确保基本特性的基础上突出个性化,更好地学习每类用户的行为轨迹特征,同时在保证ST-LSTM网络特性的前提下给出2种ST-LSTM网络的简化变体模型。在公开数据集上的测试结果表明,与主流位置预测方法相比,该预测模型精确率、召回率、F1值都有明显提升。     

多任务学习和对抗学习结合的自发与非自发表情识别

目的 如何提取与个体身份无关的面部特征以及建模面部行为的时空模式是自发与非自发表情识别的核心问题,然而现有的自发与非自发表情识别工作尚未同时兼顾两者。针对此,本文提出多任务学习和对抗学习结合的自发与非自发表情识别方法,通过多任务学习和对抗学习捕获面部行为的时空模式以及与学习身份无关的面部特征,实现有效的自发与非自发表情区分。方法 所提方法包括4部分：特征提取器、多任务学习器、身份判别器以及多任务判别器。特征提取器用来获取与自发和非自发表情相关的特征;身份判别器用来监督特征提取器学习到的特征,与身份标签无关;多任务学习器预测表情高峰帧相对于初始帧之间的特征点偏移量以及表情类别,并试图迷惑多任务判别器;多任务判别器辨别输入是真实的还是预测的人脸特征点偏移量与表情类别。通过多任务学习器和多任务判别器之间的对抗学习,捕获面部行为的时空模式。通过特征提取器、多任务学习器和身份判别器的协同学习,学习与面部行为有关而与个体身份无关的面部特征。结果 在MMI（M&M initiative）、NVIE（natural visible and infrared facial expression）和BioVid（biopotential and video）数据集上的实验结果表明本文方法可以学习出与个体身份相关性较低的特征,通过同时预测特征点偏移量和表情类别,有效捕获自发和非自发表情的时空模式,从而获得较好的自发与非自发表情识别效果。结论 实验表明本文所提出的基于对抗学习的网络不仅可以有效学习个体无关但表情相关的面部中特征,而且还可以捕捉面部行为中的空间模式,而这些信息可以很好地改善自发与非自发表情识别。     

基于AR与DNN联合模型的地理传感器时间序列预测

地理传感器时间序列具有复杂动态的语义时空相关性和地理时空相关性。尽管已经开发了各种深度学习模型用于时间序列预测，但很少有模型能专注于捕捉地理传感器时间序列内的多类型时空相关性。此外，同时预测多个传感器在未来某一时间步的值非常具有挑战性。为了解决上述问题，提出了一种自回归模型与深度神经网络的联合模型(Joint model of Autoregression and Deep Neural Network, J-ARDNN),用于处理地理传感器时间序列的多目标预测任务。在该模型中，空间模块用于捕捉不同序列间多类型空间的相关性，时间模块采用时间卷积网络来提取单个序列内的时间依赖关系。此外，还引入自回归模型来提高预测模型的鲁棒性。为了验证J-ARDNN模型的有效性和优越性，在不同领域的真实时间序列数据集上进行了充分的实验，结果表明，J-ARDNN模型的预测性能优于对比方法。     

一种基于深度挖掘用户和内容特征的CTR预估方法

预估点击率（CTR）是推荐系统的核心任务之一，基于此提出一种深度挖掘用户和内容特征的CTR预估模型——DFAR模型。在用户特征提取部分，通过长短期记忆网络（LSTM）对用户时序特征进行提取，通过残差模块与注意力机制实现对用户特征的深度提取。首先，在待推荐内容部分利用因子分解机（FM）来提取浅层特征。然后，使用多头注意力机制和残差网络从待推荐内容中提取深度特征。最后，将用户特征与待推荐内容特征做内积结合并做出最终预测。最终在Movielens-100K数据集上利用该模型进行实验，实验结果表明，提出的模型在AUC值上相比于深度因子分解机（DeepFM）模型提升了1.45%。验证了DFAR模型对CTR预测的有效性。     

基于时空相关性的数字电影放映场次预测

为提高数字电影流动放映中各院线放映场次的预测精度,基于院线放映场次的时空相关性,提出一种最邻近法和时空序列相结合的预测方法：通过最邻近法选取与待预测院线放映最相关的院线作为预测辅助院线;通过构造神经网络的时空序列将这些相关院线放映场次的时、空特征结合起来,产生更精确的预测模型。实验对比分析了此方法与传统时间序列预测方法的预测结果,证明了该方法具有更高的预测精度。     

面向交通流量预测的多头注意力时空卷积图网络模型

为了充分获取交通流量数据中隐藏的复杂动态时空相关性,提高交通流量预测精度,提出一种多头注意力时空卷积图网络模型MASCGN。首先,采用多头注意力机制为路网中的交通传感器节点自动分配注意力权重,实现对不同邻居节点的权值自适应匹配,充分获取空间相关性;其次,采用带有门控和注意力机制的时空卷积网络充分提取时间序列相关性,并使用残差块结构实现时空卷积层之间的连接,使得模型更具有泛化能力;最后,分别提取周相关、日相关、邻近时间的序列数据,输入三个并行的时空组件以挖掘周、日、邻近三个时间窗口间的时间周期相关性,并通过全连接层获取最终的交通流量预测结果。利用高速公路交通数据集PEMSO4、PEMSO8进行了15 min、30 min、45 min和60 min的交通流量预测实验。实验结果表明MASCGN模型与现有基线模型相比,在未来短期和长期的交通流量预测任务上都具有更优的建模能力。     

面向出租车空载时间预测的多任务时空图卷积网络

出租车空载时间严重影响交通资源的利用效率和司机的收益.准确的出租车空载时间预测可以有效地指导司机进行合理的路径规划,辅助打车平台进行高效的资源调度.然而,在实际场景中,城市不同区域的空载时间受到区域车流量、客流量以及历史空载时长等多方面因素的影响.为解决该问题,提出一种基于多任务框架的时空图卷积网络(MSTGCN)模型.MSTGCN采用一种新颖的时空图卷积结构,全面建模上述影响空载时间的各种时、空相关性因素.使用多任务学习框架从不同视角学习数据的特征表示,并提出一种多任务注意力融合机制,通过对辅助任务信息的筛选来提升主任务的信息获取能力和预测性能.将所提模型在两个公开的滴滴数据集上进行了充分的实验,其取得了优于其他方法的预测效果.     

基于多任务模型的深度预测算法研究

图像的深度值预测是计算机视觉和机器人领域中的一个热门的研究课题。深度图的构建是三维 重建的重要前提,传统方法主要依靠确定固定点深度进行人工标注或是根据相机的位置变化来进行双目定位预 测深度,但这类方法一方面费时费力,另一方面也受到相机位置、定位方式、分布概率性等因素的限制,准确 率很难得到保证,从而导致预测的深度图难以完成后续三维重建等工作。通过引入基于多任务模块的深度学习 方法,可以有效解决这一问题。针对场景图像提出一种基于多任务模型的单目图像深度预测网络,能同时训练 学习深度预测、语义分割、表面向量估计 3 个任务,包括共有特征提取模块和多任务特征融合模块,能在提取 共有特征的同时保证各个特征的独立性,提升各个任务的结构性的同时保证深度预测的准确性。     

融合多种时空自注意力机制的Transformer交通流预测模型

交通流预测是智能交通系统中实现城市交通优化的一种重要方法,准确的交通流量预测对交通管理和诱导具有重要意义.然而,因交通流本身存在高度时空依赖性而表现出复杂的非线性特征,现有的方法主要考虑路网中节点的局部时空特征,忽略了路网中所有节点的长期时空特征.为了充分挖掘交通流数据复杂的时空依赖,提出一种融合多种时空自注意力机制的Transformer交通流预测模型(MSTTF).该模型在嵌入层通过位置编码嵌入时间和空间信息,并在注意力机制层融合邻接空间自注意力机制,相似空间自注意力机制,时间自注意力机制,时间-空间自注意力机制等多种自注意力机制挖掘数据中潜在的时空依赖关系,最后在输出层进行预测.结果表明, MSTTF模型与传统时空Transformer相比, MAE平均降低了10.36%.特别地,相比于目前最先进的PDFormer模型, MAE平均降低了1.24%,能取得更好的预测效果.