基于时间感知Transformer的交通流预测方法

作为智能交通系统的关键一环,交通流预测面临着长时预测不准的难题,其主要挑战在于交通流数据本身具有复杂的时空关联。近年来,Transformer的提出使得时序数据预测的研究取得了巨大进展,但将Transformer应用于交通流预测仍然存在以下两个问题：1)静态的注意力机制难以捕获交通流随时间动态变化的时空依赖关系;2)采用自回归的预测方式会引发严重的误差累积现象。针对以上问题,提出了一种基于时间感知Transformer的交通流预测模型。首先,设计了一种新的时间感知注意力机制,可以根据时间特征定制注意力计算方案,从而更精准地反映时空依赖关系;其次,在Transformer的训练阶段舍弃了Teacher Forcing机制,并采用非自回归的预测方式来避免误差累积问题;最后,在两个真实交通数据集上进行实验,实验结果表明,所提方法可以有效捕获交通流的时空依赖,相比最优的基线方法,长时预测性能提升了2.09%～4.01%。     

基于Transformer的时序数据异常检测方法

近年来,异常检测在电力系统运维、故障诊断等智能运维场景中起到关键作用。其中,深度学习在时序数据异常检测上取得了成功的应用。然而,基于长短期记忆(Long Short-Term Memory, LSTM)等异常检测方法因其序列学习模式中包含递归运算,导致模型难以并行计算,同时长期依赖性会导致模型性能下降。因此,提出了一种基于Transformer的时序数据异常检测方法,利用自注意力机制并行训练数据捕获内部有效信息,利用编码-解码框架使用端到端的方式通过时序数据生成异常得分。这个方法能更完整地提取时序数据的上下文关系,精确地捕获时序数据的异常关系。经实验证明,基于Transformer的时序数据异常检测方法在WADI、SWaT、KDDCUP99与AIOPS18等数据集上的异常检测表现出比其他方法更优的性能。     

基于Transformer GAN架构的多变量时间序列异常检测

基于过程中实时采集的多变量时序关联数据进行异常检测是预防工业过程事故、保障系统安全的关键环节之一.然而,工业多变量时间序列异常检测仍面临如下两大难题:(1)时序数据变量间复杂的非线性关联特性缺乏有效的表达方法;(2)正常/异常分布极度不均衡的时间序列间复杂的相关性有待深入挖掘.本文提出一种新的基于多变量时间序列的无监督异常检测方法 ——基于Transformer GAN的多变量时间序列异常检测方法 (TGAN-MTSAD). TGAN-MTSAD采用Transformer网络作为生成对抗网络的基本模型,引入了图注意力层以自动学习时序多元变量间的复杂依赖关系,还应用了patch技巧使模型能够有效捕捉时间窗口内的异常细节信息,并提出了基于重构误差与鉴别误差相结合的异常分数计算方法.采用3个真实世界的数据集对所提方法进行了大量的性能验证与对比实验分析.结果表明, TGAN-MTSAD可以有效检测过程中的时序异常,在大多数情况下优于基线方法,并且具有良好的可解释性,可用于复杂工业异常诊断.     

基于多通道Transformer的交通量预测方法

目前,我国高速公路拥堵程度居高不下,而交通流预测作为实现智能交通系统的重要一环,若能对其实现高精度的预测,那么将能够高效地管理交通,从而缓解拥堵。针对该问题,提出了一种考虑时空关联的多通道交通流预测方法（MCST-Transformer）。首先,将Transformer结构用于不同数据的内在规律提取,然后引入空间关联模块对不同数据间的关联特征进行挖掘,最后,借助通道注意力整合优化全局信息。采用广东省高速公路数据,实现了两小时内92个收费站的高精度流量预测。结果表明：MCST-Transformer优于传统机器学习方法以及部分基于注意力机制的时间序列模型,在120 min预测跨度下,相比贝叶斯回归,MAPE降低了5.1%;对比Seq2Seq-Att以及Seq2Seq这些深度学习算法,所提方法的总体MAPE也能降低0.5%,说明通过多通道的方式能够区分不同数据的特性,进而更好地预测。     

基于时间序列的矿井瓦斯涌出量预测方法

由于矿井瓦斯浓度的变化受多种因素共同影响,矿井瓦斯涌出量预测经常出现无法获得一部分变量的情况。针对该问题,提出了一种基于时间序列的矿井瓦斯涌出量预测方法,详细介绍了采用时间序列AR模型对矿井瓦斯涌出量进行预测的具体实现。实验结果表明,该方法对矿井瓦斯涌出量的预测误差率为4.3%,预测比较可靠。     

基于Transformer的DGA域名检测方法

已有DGA检测方法已经获得了较高的检测精度,但在缩略域名上存在误报率高的问题。主要原因是缩略域名字符间随机性高,现有检测方法从随机性角度很难有效地区分缩略域名和DGA域名。在分析了缩略域名的字符特性后,基于自注意力机制实现了域名字符依赖性的检测;并采用LSTM改进了Transformer模型的编码方式,以更好地捕获域名中字符位置信息;基于Transformer模型构建了DGA域名检测方法(MHA)。实验结果表明,MHA可以有效地区分出DGA域名和缩略域名,得到了更高的精确率和更低的误报率。     

基于计算机视觉的Transformer研究进展

Transformer是一种基于自注意力机制、并行化处理数据的深度神经网络.近几年基于Transformer的模型成为计算机视觉任务的重要研究方向.针对目前国内基于Transformer综述性文章的空白,对其在计算机视觉上的应用进行概述.回顾了Transformer的基本原理,重点介绍了其在图像分类、目标检测、图像分割...     

基于RoBERTa和图增强Transformer的序列推荐方法

自推荐系统出现以来,有限的数据信息就一直制约着推荐算法的进一步发展。为降低数据稀疏性的影响,增强非评分数据的利用率,基于神经网络的文本推荐模型相继被提出,但主流的卷积或循环神经网络在文本语义理解和长距离关系捕捉方面存在明显劣势。为了更好地挖掘用户与商品之间的深层潜在特征,进一步提高推荐质量,提出一种基于Ro BERTa和图增强Transformer的序列推荐(RGT)模型。引入评论文本数据,首先利用预训练的Ro BERTa模型捕获评论文本中的字词语义特征,初步建模用户的个性化兴趣,然后根据用户与商品的历史交互信息,构建具有时序特性的商品关联图注意力机制网络模型,通过图增强Transformer的方法将图模型学习到的各个商品的特征表示以序列的形式输入Transformer编码层,最后将得到的输出向量与之前捕获的语义表征以及计算得到的商品关联图的全图表征输入全连接层,以捕获用户全局的兴趣偏好,实现用户对商品的预测评分。在3组真实亚马逊公开数据集上的实验结果表明,与Deep FM、Conv MF等经典文本推荐模型相比,RGT模型在均方根误差(RMSE)和平均绝对误差(MAE)2种指标上有显著...     

基于混合网络模型的多维时间序列预测

为捕捉时间序列中潜在的特征依赖关系并实现高维时序数据的快速模糊预测,构建基于时间卷积网络（TCN）与自注意力机制的两种混合网络模型：TSANet和TSANet-MF。TSANet模型通过全局和局部两个并行卷积分量结构提取特征后,利用自注意力机制增强特征点关联程度,并结合并行的TCN增大卷积的感受野范围,最大程度地捕捉多维时序数据的周期性特征。TSANet-MF模型将TSANet作为矩阵分解算法的正则化项,使高维数据转化为具有更多时序特征的低维数据,减少计算复杂度,实现高维数据的快速模糊预测。在4种不同领域的时间序列数据集上的实验结果表明,TSANet模型在3种数据集上的预测性能均优于基准模型,尤其在高维Traffic数据集上相对平方根误差降低了19.52%~56.37%,TSANet-MF模型在Electricity和Traffic高维数据集上的训练时间相比于基准模型明显减少。上述实验结果验证了两种混合网络模型均具有较好的多维时间序列预测性能。     

改进视觉Transformer的人脸识别方法

目前大多数人脸识别方法依赖于卷积神经网络,通过级联的形式构建多层处理单元,利用卷积操作融合局部特征,忽略了人脸全局语义信息,缺乏对人脸重点区域的关注度。针对上述问题,提出一种基于改进视觉Transformer的人脸识别方法,引入Shuffle Transformer作为特征提取骨干网络,通过自注意力机制以及Shuffle操作捕捉特征图全局信息,建立特征点之间的长距离依赖关系,提高模型的特征感知能力;同时,结合ArcFace损失函数和中心损失函数的特点,设计融合损失作为目标函数,利用类内约束扩大角度间隔,提高特征空间的辨别性。该方法在LFW、CALFW、CPLFW、AgeDB-30和CFP五个具有挑战性的基准测试人脸数据集上分别取得了99.83%、95.87%、90.05%、98.05%、97.23%的平均准确率,能够有效提升人脸特征提取能力,识别效果优于同等规模卷积神经网络。     

基于改进Transformer的广告点击率预估模型

针对现有的广告点击率预估模型未能精准挖掘用户历史兴趣及历史兴趣对目标广告点击与否的影响,提出了一种基于改进Transformer的广告点击率预估模型.该模型采用Transformer网络捕捉隐藏在用户点击序列背后的潜在历史兴趣;同时针对Transformer建模用户历史兴趣无法有效关联目标广告的问题,提出了一种改进的Transformer网络.改进后的Transformer不但有效建模用户历史兴趣,而且考虑了跟目标广告的关联.新模型采用辅助损失函数来监督改进的Transformer对用户历史兴趣的抽取过程,然后采用注意力机制进一步建模用户的历史兴趣和目标广告的相关性以提升模型的预估性能.实验结果表明新模型有效提升了广告点击率的预估效果.     

增强局部注意力的时间序列分类方法

现有时间序列分类方法普遍基于一种循环网络结构解决时间序列点值耦合问题，无法并行计算，导致计算资源浪费，因此提出一种增强局部注意力的时间序列分类方法。该方法拟合混合距离信息以增加时间序列位置感知能力，将混合距离信息融入自注意矩阵计算中，从而扩展自注意力机制；构造多尺度卷积注意力获取多尺度局部前向信息，以解决标准自注意力机制基于点值计算存在注意力混淆的问题；使用改进后的自注意力机制构造时序自注意分类模块，并行计算处理时间序列分类任务。实验结果表明，与现有时间序列分类方法相比，基于局部注意力增强的时间序列分类方法能够加速收敛，有效提高时序序列分类效果。     

一种基于深度学习的时间序列预测方法

时间序列是一种广泛存在于现实各领域之中的海量高维数据,时间序列预测是该领域的一个研究重点.传统的时间序列预测方法仅仅从时间的维度对时间序列进行分析,忽略了外界影响因素对时间序列可能产生的影响.针对传统时间序列预测方法存在的问题,提出一种基于深度学习的时间序列预测模型DAFDC-RNN(dual-stage attent...     

基于双重预测模型的非线性时间序列预测

在支持向量机( SVM)预测问题中,为了减小错误参数选取对预测结果的影响,提出了1种基于双重预测模型的非线性时间序列预测算法.该算法在充分考虑支持向量机参数对推广能力影响的基础上,分别利用自回归预测模型(AR)、自回归滑动平均模型( ARMA)、线性回归和决策树模型对SVM参数进行预测,将预测参数运用到SVM预测模型中...     

融合全局和序列特征的多变量时间序列预测方法

时间序列在现实生活中具有广泛的用途,使用时间序列预测模型能够预估序列的未来变化趋势,为决策提供支撑.对于多变量时间序列的预测研究,已经提出了很多模型,但已有方法存在如下问题：不能同时考虑时间序列本身和协变量的信息;忽略了多变量时间序列中的全局信息;不能对预测结果进行解释.针对这些问题,本文提出了一个基于深度学习的多变量时间序列预测模型TEDGER,可以提取隐藏在单个时间序列中的序列模式和隐藏在多变量时间序列中的全局特征,并将序列模式和全局特征进行融合,通过残差预测的方式实现时间序列的预测.本文所提模型在真实的时间序列数据集上进行了实验评估.结果表明,本文提出的模型在预测准确度上超越了其他基准模型,同时模型拥有一定的可解释性.     

一种通道自适应与局部增强的Transformer术中血压预测方法

准确预测术中患者的血压状态来预防术中低血压,对提高手术安全性和降低术后并发症有积极作用,以往的低血压预测方法主要视为二分类任务,忽略了患者血压变化的过程,从而限制了干预策略的制定。因此提前预测血压的变化趋势,具有更重要的临床研究和应用价值。针对以上问题,对通过监测的术中生理序列实时预测未来5min、10min、15min血压的连续值展开研究,并提出了一种通道自适应与局部增强Transformer模型,该模型采用卷积注意力机制捕捉血压序列的局部相似性,同时提出一种通道自适应模块嵌入模型来建模生理序列潜在交互关系。结果表明,该模型相比于基准模型在5min、10min、15min预测精度分别提升4.88%、8.2%和8.42%,预测的平均动脉压的MAE分别为2.997、3.393、3.743,且显著优于其余对比模型,为术中血压预测提供新的解决方案。     

基于集合经验模式分解的火灾时间序列预测

采用集合经验模式分解(EEMD)和多变量相空间重构技术,结合非线性支持向量回归(SVR)模型,提出一种火灾次数时间序列组合预测方法。根据EEMD将非平稳的火灾时间序列分解为一系列不同尺度的固有模态分量,利用多变量相空间重构技术对分解的各个分量进行相空间重构,构建其训练数据,对重构的训练数据建立各分量的非线性支持向量回归预测模型,使用SVR集成预测方法对火灾时间序列进行预测。仿真结果表明,与单变量相空间重构方法以及SVR方法相比,该方法具有较高的预测精度。     

时间序列预测方法综述

时间序列是按照时间排序的一组随机变量,它通常是在相等间隔的时间段内依照给定的采样率对某种潜在过程进行观测的结果。时间序列数据本质上反映的是某个或者某些随机变量随时间不断变化的趋势,而时间序列预测方法的核心就是从数据中挖掘出这种规律,并利用其对将来的数据做出估计。针对时间序列预测方法,着重介绍了传统的时间序列预测方法、基于机器学习的时间序列预测方法和基于参数模型的在线时间序列预测方法,并对未来的研究方向进行了进一步的展望。     

Regformer：基于稀疏注意力的输油管道水力压降预测方法

输油管道水力压降预测对于输油管道的生产调控十分重要,目前机器学习方法将压降预测看作回归问题,然而管道水力计算受多种因素影响,传统的机器学习方法由训练集得到的固定权重难以泛化到更多的测试样例或真实的工程场景中。本文提出一种水力压降回归预测方法Regformer,该方法将稀疏注意力机制引入回归任务,在多头注意力的基础上设计一种平滑概率方法,并融入特征投影机制。在10个公共数据集上对7种主流方法进行对比实验分析,定性实验显示Regformer对于局部的突变有很好的拟合能力;水力压降预测实验表明自注意力方法对于多变量不确定性的回归任务具有显著的优势,尤其是对极端情况的处理体现了自适应回归参数的重要性,并且Regformer用了更少的计算量取得了比Transformer更好的性能,验证了本文提出的稀疏注意力和自适应特征投影在水力压降预测任务中的优越性。     

矿井火灾监测与趋势预测方法研究

在分析温度监测法、气体监测法、烟雾监测法、可见光图像监测法、红外图像监测法等矿井火灾监测方法原理和特点的基础上,提出了基于多参数融合的矿井火灾监测与趋势预测方法,得出以下结论:①热电偶测温法和半导体测温法具有准确率高、实时性强、能及时发现早期火灾等优点,但存在传感器用量大、维护工作量大等缺点;红外测温法具有监测范围广、传感器易于布置等优点,但传感器与被测物体间的遮挡物和煤尘等均会影响监测结果;光纤分布式测温法具有可监测多点温度、线缆用量小等优点,但存在光纤易损坏、安装复杂、维护困难等缺点。②气体监测法和烟雾监测法具有监测范围广、使用与维护方便等优点,但不能监测标志性气体浓度低、烟雾较小的早期火灾。③可见光图像监测法具有监测范围广、使用与维护方便、成本低等优点,但巷道灯、矿灯、车灯和红色衣物等干扰源及烟雾等均会影响监测效果,且不能监测没有火焰和烟雾较小的早期火灾。④红外图像监测法具有监测范围广、使用与维护方便等优点,但成本高,红外摄像机与被测物体间的遮挡物和煤尘等均会影响监测效果。⑤基于温度、烟雾、气体浓度、气味、风向、风速、风量、可见光图像和红外图像等多参数融合的矿井火灾监测与趋势预测方法不但能及时发现火灾,还可定位火源、预测火灾发展趋势。