基于多任务学习的快件送达时间预测方法

快件送货时间预测（即在任何时间预测包裹送达的到达时间）是物流领域中最重要的服务之一。准确地预测快件送达时间可以为用户提供更准时的服务,缓解客户的等待焦虑,提升用户体验,且有利于快递员的路径规划,从而提高派送效率。然而在快递派送场景下,多因素、动态性及多目的地等特征给快件投递准确预测送达时间带来巨大挑战。提出一种基于多任务学习的模型MTDTN,从快递员的大量历史时空轨迹中预测快件送达时间。MTDTN建模多种影响送达时间的外部因素,利用地理信息编码、卷积操作以及双向长短时记忆网络来捕获派送行为的时空关系,并运用多任务学习框架,引入顺序预测的辅助任务与送达时间预测的主任务,提高模型预测性能。在真实数据集上的实验结果表明,与基准方法中最优的DeepETA模型相比,该模型的平均绝对误差与平均绝对百分比误差分别降低了16.11%和12.88%,模型效果明显提升。     

多任务学习和对抗学习结合的自发与非自发表情识别

目的 如何提取与个体身份无关的面部特征以及建模面部行为的时空模式是自发与非自发表情识别的核心问题,然而现有的自发与非自发表情识别工作尚未同时兼顾两者。针对此,本文提出多任务学习和对抗学习结合的自发与非自发表情识别方法,通过多任务学习和对抗学习捕获面部行为的时空模式以及与学习身份无关的面部特征,实现有效的自发与非自发表情区分。方法 所提方法包括4部分：特征提取器、多任务学习器、身份判别器以及多任务判别器。特征提取器用来获取与自发和非自发表情相关的特征;身份判别器用来监督特征提取器学习到的特征,与身份标签无关;多任务学习器预测表情高峰帧相对于初始帧之间的特征点偏移量以及表情类别,并试图迷惑多任务判别器;多任务判别器辨别输入是真实的还是预测的人脸特征点偏移量与表情类别。通过多任务学习器和多任务判别器之间的对抗学习,捕获面部行为的时空模式。通过特征提取器、多任务学习器和身份判别器的协同学习,学习与面部行为有关而与个体身份无关的面部特征。结果 在MMI（M&M initiative）、NVIE（natural visible and infrared facial expression）和BioVid（biopotential and video）数据集上的实验结果表明本文方法可以学习出与个体身份相关性较低的特征,通过同时预测特征点偏移量和表情类别,有效捕获自发和非自发表情的时空模式,从而获得较好的自发与非自发表情识别效果。结论 实验表明本文所提出的基于对抗学习的网络不仅可以有效学习个体无关但表情相关的面部中特征,而且还可以捕捉面部行为中的空间模式,而这些信息可以很好地改善自发与非自发表情识别。     

基于深度学习的时空序列预测方法综述

随着数据采集技术的蓬勃发展,各个领域的时空数据不断累积,迫切需要探索高效的时空数据预测方法.深度学习是一种基于人工神经网络的机器学习方法,能有效地处理大规模的复杂数据,因而研究基于深度学习的时空序列预测方法具有十分重要的意义.在这一背景下,针对已有的预测方法进行归纳和总结,首先回顾了深度学习在时空序列预测中的应用背景和...     

融合图小波和注意力机制的交通流预测方法

交通流预测是现代智能交通系统管理和控制的重要环节。然而,交通流复杂多变,一方面城市道路之间联系性强,另一方面道路交通情况还会随着时间呈现动态变化。近年来有许多研究者尝试利用深度学习方法提取交通流中复杂的结构特征,但是局部特征提取的过程缺乏灵活性,同时忽略了时空特征的动态变化性以及局部和全局时空特征之间的关联性。因此,提出了一种融合图小波和注意力机制的交通流预测方法。该方法采用小波变换和自适应矩阵分别提取交通流局部和全局空间特征信息,并结合改进的循环神经网络提取局部时间特征信息。同时,该方法通过注意力机制来捕获时空动态变化性,并利用一种时空特征融合机制来融合局部和全局时空特征信息。实验结果表明,该方法能很好地提取真实交通数据集中空间和时间特征,预测效果优于现有的方法。     

基于时空数据分类的用户社交联系学习*

按照时空数据模型对时间和空间的表达方式,将时空数据模型分为基于时间的时空数据模型和基于空间的时空数据模型。本文提出了一种新的基于时空数据预测用户社交联系的模型,该模型将基于时间的时空数据集的特征和基于空间的时空数据集的特征进行融合,来预测用户社交联系。实验结果表明基于时间与空间特征融合的时空数据模型能更好地预测用户的社交联系。     

融合CNN-LSTM和注意力机制的空气质量指数预测

针对空气质量预测中复杂的时空问题,本文构造了多站点间的交互时空特征,搭建了结合CNN和LSTM的深度时空模型,并引入注意力机制学习多特征之间的权重分布,找出对空气质量指数(AQI)影响较大的特征重点关注,构造了融合CNN-LSTM和注意力机制的AQI预测模型。使用2019年1月至2020年12月间运城市各站点的小时粒度数据进行实验,结果表明,该模型对空气质量指数的预测较基模型具有更优的性能。     

面向季节性时空数据的预测式循环网络及其在城市计算中的应用

实际生活中有很多带有季节特征的时空数据,在城市计算领域分布尤广,例如交通流量数据便具有较为明显的以天或周为周期的统计学特征.如何有效利用这种季节特征,如何捕捉历史观测与待预测数据之间的相关性,成为了预测此类时空数据未来变化趋势的关键.传统时序建模方法将时序数据分解为多个信号分量,并使用线性模型来进行预测.此类方法具有较强的理论基础,但对于数据的平稳性要求过于严格,难以预测趋势信息复杂的数据,更不适用于高维的时空数据.然而在真实场景下,季节性时空数据的周期长短可变,且不同周期的对应关系往往并不固定,存在时间、空间上的模式变化与偏移,很难作为理想的周期信号以传统时序方法建模.相比之下,深度神经网络建模能力更强,可拟合更为复杂的数据.近几年有许多工作研究了如何利用卷积神经网络和循环神经网络来处理时空数据,也有一些工作讨论了如何有效利用周期性信息提升预测的准确性.但深度神经网络受困于梯度消失和误差累积,难以捕捉时序数据中的长时间依赖,且少有方法讨论如何在深度神经网络中有效建模上述具有弹性周期对应关系的时空信号.本文针对真实场景下季节性时空数据的上述问题,给出具有弹性周期对应关系的时空数据预测问题的形式化定义,并提出了一种新的季节性时空数据预测模型.该模型包含季节网络、趋势网络、时空注意力模块三个部分,可捕捉短期数据中的临近变化趋势和长期数据中隐含的季节性趋势,并广泛考虑历史周期中的每个时空元素对未来预测值的影响.为了解决深度循环网络难以捕捉时序数据中的长时间依赖的问题,本文提出一种新的循环卷积记忆单元,该单元将上述模块融合于一个可端到端训练的神经网络中,一方面实现了时间和空间信息统一建模,另一方面实现了短期趋势特征与历史周期特征的统一建模.进一步地,为了解决季节性数据中的各周期时空元素对应关系不固定的问题,本文探讨了多种基于注意力模块的时空数据融合方式,创新性地提出一种级联式的时空注意力模块,并将其嵌入于上述循环卷积记忆单元内.该模块建模记忆单元的隐藏状态在不同周期内的弹性时空对应关系,自适应地选取相关度高的季节性特征辅助预测.实验部分,我们选取了两个时空数据预测在城市计算中最为典型的应用:交通流量预测和气象数据预报.本文所提出的时空周期性循环神经网络在北京、纽约的交通流量数据集、美国气象数据集上均取得了目前最高的预测准确性.     

基于LSTM-FC的瓦斯浓度时空分布预测

传统的工作面瓦斯预测方法仅利用瓦斯数据的时间特性,缺乏与空间相关的先验信息,因此利用瓦斯数据的时空特性,采用深度学习算法长短期记忆与全连接神经网络相结合的方法构建LSTM-FC（Long Short Time Memory-Fully Connection）瓦斯浓度时空序列的预测模型。LSTM能够解决瓦斯序列的长时间依赖性,全连接神经网络能够准确捕捉瓦斯序列的空间关联性,深入挖掘瓦斯数据之间的时空特性,通过预测不同位置的瓦斯值,构造工作面的瓦斯分布图。实验结果表明,通过使用LSTM-FC模型,预测误差有了明显减少,相比于其他神经网络预测模型,预测精度有所提高。     

基于ST-LSTM网络的位置预测模型

针对现有位置预测研究多数忽略时间和空间之间关联性的问题,提出一种基于时空特性的长短期记忆模型(ST-LSTM)。基于LSTM网络添加单独处理用户移动行为时空信息的时空门,并考虑用户签到的时间及空间因素,从而使模型具有时空特性。在ST-LSTM网络中引入个人修正因子,对每类用户的输出结果进行修正,在确保基本特性的基础上突出个性化,更好地学习每类用户的行为轨迹特征,同时在保证ST-LSTM网络特性的前提下给出2种ST-LSTM网络的简化变体模型。在公开数据集上的测试结果表明,与主流位置预测方法相比,该预测模型精确率、召回率、F1值都有明显提升。     

基于多任务模型的深度预测算法研究

图像的深度值预测是计算机视觉和机器人领域中的一个热门的研究课题。深度图的构建是三维 重建的重要前提,传统方法主要依靠确定固定点深度进行人工标注或是根据相机的位置变化来进行双目定位预 测深度,但这类方法一方面费时费力,另一方面也受到相机位置、定位方式、分布概率性等因素的限制,准确 率很难得到保证,从而导致预测的深度图难以完成后续三维重建等工作。通过引入基于多任务模块的深度学习 方法,可以有效解决这一问题。针对场景图像提出一种基于多任务模型的单目图像深度预测网络,能同时训练 学习深度预测、语义分割、表面向量估计 3 个任务,包括共有特征提取模块和多任务特征融合模块,能在提取 共有特征的同时保证各个特征的独立性,提升各个任务的结构性的同时保证深度预测的准确性。     

融合出发地与目的地时空相关性的城市区域间出租车需求预测

精准预测城市区域之间的出租车需求量，可以为出租车的引导和调度以及乘客的出行推荐提供决策支持信息，从而优化出租车的供需关系。然而现有模型大多以区域内的出租车需求量为建模和预测对象，对区域之间的时空相关性考虑不足，且较少关注区域之间更细粒度的需求量预测。针对上述问题，提出一种面向城市区域间出租车需求量的预测模型——出发地—目的地融合时空网络（ODSTN）模型。该模型分别从区域和区域对两个空间维度以及临近、日、周三个时间维度出发，采用图卷积和时间注意力机制来捕获区域之间的复杂时空相关性，并设计了一种新的路径感知融合机制来对多角度的特征进行融合，最终实现了对城市区域间出租车需求量的预测。在成都和曼哈顿地区两个真实出租车订单数据集中进行了实验，结果表明ODSTN模型的平均绝对误差（MAE）、均方根误差（RMSE）和平均绝对百分比误差（MAPE）分别为0.897 1、3.527 4、50.655 6%和0.589 6、1.163 8、61.079 4%。可见，ODSTN模型在出租车需求预测任务上具有较高的准确性。     

基于时空相关性的数字电影放映场次预测

为提高数字电影流动放映中各院线放映场次的预测精度,基于院线放映场次的时空相关性,提出一种最邻近法和时空序列相结合的预测方法：通过最邻近法选取与待预测院线放映最相关的院线作为预测辅助院线;通过构造神经网络的时空序列将这些相关院线放映场次的时、空特征结合起来,产生更精确的预测模型。实验对比分析了此方法与传统时间序列预测方法的预测结果,证明了该方法具有更高的预测精度。     

基于时空相关性的短时交通流量预测方法

新一代智能交通系统的智能出行、交通大数据智能化决策需要精准及时的短时交通流量预测,深度学习通过机器学习技术自身产生特征,可为短时交通流量预测提供解决方法。以深度学习模型为基础,提出一种结合Conv-GRU和Bi-GRU的短时交通流量预测方法,利用卷积-门控循环单元提取交通流量的时空特征,通过双向门控循环单元提取交通流量的周期特征,将提取的特征进行融合得到交通流量的预测值。实验结果表明,该方法能够准确地预测短时交通流量,与Conv-LSTM方法相比,收敛速度较快,具有更短的运行时间。     

一种基于改进图波网的双重自回归分量交通预测模型

随着智慧城市的建设,城市交通流量预测在智能交通预警和交通管理决策方面至关重要.由于复杂的时空相关性,有效地对交通流量进行预测成为了一项挑战.现有的对交通流量进行预测的方法大多采用机器学习算法或深度学习模型,而它们各有优缺点,若能够将两者优点结合起来,将进一步提高交通流量预测的精度.文中针对交通时空数据,提出了一种基于改进图波网(Graph WaveNet)的双重自回归分量交通预测模型.首先,通过门控3分支时间卷积网络有效融合3个时间卷积层,从而进一步提升了捕获时间相关性的能力;其次,首次引入自回归分量,将自回归分量和门控三分支时间卷积网络、图卷积层有效融合,使模型能够充分反映时空数据之间的线性和非线性关系.在METR-LA和PEMS-BAY两个真实的公共交通数据集上进行实验,并将所提模型与其他交通流量预测基准模型进行比较.结果表明,不管是短时间还是长时间的预测,文中所提模型在各个指标上都优于基准模型.     

面向出租车空载时间预测的多任务时空图卷积网络

出租车空载时间严重影响交通资源的利用效率和司机的收益.准确的出租车空载时间预测可以有效地指导司机进行合理的路径规划,辅助打车平台进行高效的资源调度.然而,在实际场景中,城市不同区域的空载时间受到区域车流量、客流量以及历史空载时长等多方面因素的影响.为解决该问题,提出一种基于多任务框架的时空图卷积网络(MSTGCN)模型.MSTGCN采用一种新颖的时空图卷积结构,全面建模上述影响空载时间的各种时、空相关性因素.使用多任务学习框架从不同视角学习数据的特征表示,并提出一种多任务注意力融合机制,通过对辅助任务信息的筛选来提升主任务的信息获取能力和预测性能.将所提模型在两个公开的滴滴数据集上进行了充分的实验,其取得了优于其他方法的预测效果.     

深度森林在用户购买预测中的应用

针对电商大数据时代用户未来购买行为预测，在京东平台真实数据集上，提出时间滑动窗口技术和窗口权重递减设置，从五方面构建整体用户行为特征，综合考虑深度学习的表征学习能力和集成学习的训练效率，引入多层异源集成算法，将随机森林、XGBoost等多种算法进行组合，搭建基于深度森林模型的用户购买行为预测算法框架，实现准确高效的用户购买预测结果。算法训练时间为68 s,预测准确率达89.3%,相对于集成学习算法和深度神经网络模型取得了更好的效果。     

融合多种时空自注意力机制的Transformer交通流预测模型

交通流预测是智能交通系统中实现城市交通优化的一种重要方法,准确的交通流量预测对交通管理和诱导具有重要意义.然而,因交通流本身存在高度时空依赖性而表现出复杂的非线性特征,现有的方法主要考虑路网中节点的局部时空特征,忽略了路网中所有节点的长期时空特征.为了充分挖掘交通流数据复杂的时空依赖,提出一种融合多种时空自注意力机制的Transformer交通流预测模型(MSTTF).该模型在嵌入层通过位置编码嵌入时间和空间信息,并在注意力机制层融合邻接空间自注意力机制,相似空间自注意力机制,时间自注意力机制,时间-空间自注意力机制等多种自注意力机制挖掘数据中潜在的时空依赖关系,最后在输出层进行预测.结果表明, MSTTF模型与传统时空Transformer相比, MAE平均降低了10.36%.特别地,相比于目前最先进的PDFormer模型, MAE平均降低了1.24%,能取得更好的预测效果.     

基于时空注意的毫米波雷达人体活动识别网络

为了解决传统方式利用摄像头进行人体活动识别抗干扰性差以及侵犯用户隐私的问题,提出一种基于时空注意的毫米波雷达3D点云数据的人体活动识别网络,以实现智能应用上下文的准确感知。该网络首先使用二级滑动时间窗口分别累积和分离人体活动产生的点云数据作为分类器的输入,利用PointLSTM单元根据点云坐标关系聚合点特征和状态以提取人体活动的时间序列特征;然后拼接时空特征,通过采样分组模块降低整体网络计算量以及提升网络对局部特征的聚合能力;最后使用堆叠的注意力模块深度融合动态点云数据时空上的全局和局部特征以完成对人体活动任务的准确分类。利用毫米波雷达采集了多种人体活动点云数据集,实验结果表明,提出的时空注意网络平均准确度可达98.64%,能够有效识别复杂且差异小的人体活动类型,完成人体活动识别系统的要求。     

基于多视图注意力机制的多维度价格预测模型研究

传统的股票价格预测模型只针对单一维度价格进行预测,忽略了多维度价格之间的复杂关系。因此,为了更好地对股票价格进行准确预测和为决策者提供前瞻性信息,提出了一种新的基于多视图注意力机制的多维度价格预测模型。通过多视图的深度可分离卷积网络学习多维度股票价格潜在的复杂的输入—输出关系,更好地提取股票价格的时空特征,实现时空数据的智能关联,并使用注意力机制进一步提升模型的预测性能,进而通过时空多维度的股价历史数据来预测单和多时间步长股票价格。该模型与其他四种模型在中国银行股价数据集上进行实验和比较,发现所提模型在不同预测时长下相比于表现最好的模型,平均绝对误差分别降低了0.4%、0.5%、4.2%、3.9%,均方误差分别降低了0.8%、2%、1.9%、1.9%,平均百分比误差分别降低了0.15%、0.21%、1.24%和1.34%。因此所提模型预测精度最高,预测性能最好,并且在对其他维度的股票价格预测上具有普适性。     

基于卷积长短时记忆神经网络的城市轨道交通短时客流预测

我国城市轨道交通正处在快速发展阶段,城轨交通短时客流预测对保障运营安全、优化线网结构,进而构建智慧城市具有重要意义.城轨短时客流除了具有周期性、随机性等时间特征之外,跨时段的断面客流具有相似性,并且相邻站点客流之间存在空间联系.对此,充分考虑以上城轨短时客流的时空特征,基于卷积长短时记忆神经网络(ConvLSTM)与自适应k-means聚类算法,提出城轨短时客流预测的深度学习模型k-ConvLSTM,并通过实验对模型关键参数进行寻优;同时,基于深圳市地铁IC卡的真实客流数据对模型的有效性进行检验.结果表明,k-ConvLSTM在均方根误差、绝对误差均值、绝对误差百分比方面,均优于仅考虑时空特征的深度学习模型-----卷积网络(CNN)与长短时记忆网络(LSTM)的并行混合模型和ConvLSTM内嵌式网络模型,仅考虑时间特征的深度学习模型-----LSTM网络和双向长短时记忆网络(Bi-LSTM),以及浅层机器学习模型-----BP神经网络和支持向量回归模型(SVR).