基于时频域信息融合和多尺度对抗的轨迹预测

目前已有许多工作将Transformer运用到时间序列预测相关任务. 然而, 相比其他时间序列, 运动轨迹数据存在运动学的不确定性, 没有明显的周期特性. 为了降低噪声干扰, 增强趋势建模, 本文在Transformer架构的基础上, 提出一种基于时频域信息融合和多尺度对抗训练的目标轨迹预测方法. 将小波分解嵌入网络模型, 实现时频域自适应滤波; 并与时域注意力进行融合, 能够更有效地对观测轨迹的长期趋势特性进行编码. 并设计了一个全卷积判别器, 通过对抗训练学习序列的多尺度短期微运动表示, 进一步提高预测精度. 本文建立了一个包括2维船舶轨迹和3维飞行器轨迹的轨迹预测数据集DT作为基准, 并在此与Transformer、LogTrans、Informer等模型进行对比实验. 实验结果表明本文的方法在中长期轨迹预测任务上优于其他模型.     

基于孪生网络和Transformer的小目标跟踪算法SiamTrans

针对现有小目标跟踪算法的鲁棒性差、精度及成功率低的问题，提出一种基于孪生网络和Transformer的小目标跟踪算法SiamTrans。首先，基于Transformer机制设计一种相似度响应图计算模块。该模块叠加若干层特征编码-解码结构，并利用多头自注意力机制和多头跨注意力机制在不同层次的搜索区域特征图中查询模板特征图信息，从而避免陷入局部最优解，并获得一个高质量的相似度响应图；其次，在预测子网中设计一个基于Transformer机制的预测模块（PM），并利用自注意力机制处理预测分支特征图中的冗余特征信息，以提高不同预测分支的预测精度。在Small90数据集上，相较于TransT(Transformer Tracking)算法，所提算法的跟踪精度和跟踪成功率分别高8.0和9.5个百分点。可见，所提出的算法具有更优异的小目标跟踪性能。     

基于时间感知Transformer的交通流预测方法

作为智能交通系统的关键一环,交通流预测面临着长时预测不准的难题,其主要挑战在于交通流数据本身具有复杂的时空关联。近年来,Transformer的提出使得时序数据预测的研究取得了巨大进展,但将Transformer应用于交通流预测仍然存在以下两个问题：1)静态的注意力机制难以捕获交通流随时间动态变化的时空依赖关系;2)采用自回归的预测方式会引发严重的误差累积现象。针对以上问题,提出了一种基于时间感知Transformer的交通流预测模型。首先,设计了一种新的时间感知注意力机制,可以根据时间特征定制注意力计算方案,从而更精准地反映时空依赖关系;其次,在Transformer的训练阶段舍弃了Teacher Forcing机制,并采用非自回归的预测方式来避免误差累积问题;最后,在两个真实交通数据集上进行实验,实验结果表明,所提方法可以有效捕获交通流的时空依赖,相比最优的基线方法,长时预测性能提升了2.09%～4.01%。     

一种求解CVRP的动态图转换模型

带容量的车辆路径问题是组合最优化问题中的经典问题，多年以来一直被反复研究。最近，Transformer已经成为解决车辆路径问题的主流深度学习架构。然而，由于一个实例在模型不同构造步骤中会发生改变，相应的节点特征也需要更新，传统位置编码方法不适用于提取动态优化问题的位置信息。因此，现有方法在提高学习效率方面效果较差。以最小化路径长度为目标，提出一种动态图转换模型(DGTM)和动态位置编码(DPE)方法，并使用一种双重损失REINFORCE算法训练DGTM模型。此外，强化学习、图神经网络和Transformer架构相结合，提高了模型的训练效率，增强了神经网络对带约束路径问题信息的表征能力。实验结果表明，DGTM模型在此问题上的优化效果超越了目前基于深度强化学习的方法和部分传统算法，整体性能优于专业求解器的，且具有较好的泛化性能，为求解图上组合最优化问题提供了一种有效方法。     

基于单向Transformer和孪生网络的多轮任务型对话技术

循环神经网络和Transformer在多轮对话系统的建模上依赖大量的样本数据且回复准确率过低。为此,提出一种针对任务型对话系统的建模方法。引入预训练模型对句子语意和对话过程进行深度编码,对Transformer模型进行精简,仅保留编码器部分的单向Transformer,将应答部分抽象成不同的指令,采用孪生网络对指令进行相似度排序,选择相似度最高的指令生成应答。在MultiWOZ数据集上的实验结果表明,与LSTM和基于Transformer模型相比,该方法预测速度更快,在小数据集上具有更好的性能,在大数据集上也能取得与当前先进模型相当的效果。     

自编码器预训练和多表征交互的段落重排序模型

在段落重排序任务中，最近研究人员提出了基于双编码器的后期交互架构以实现快速计算。由于这些模型在训练和推理中都使用预训练模型对查询和段落进行独立编码，其排序性能较大地依赖了预训练模型的编码质量。此外，一些多向量的后期交互方式采用字符向量之间的最大相似度之和来计算文本相似度，容易出现部分匹配的问题。针对以上不足，提出了替换段落预测(RPP)的预训练方法，它采用一种部分连接的自编码器架构，使用ELECTRA类似的替换词汇预测任务来让预训练模型建立给定查询和文档之间的语义关系，从而增强其表示能力。在交互方式改进上，设计了一种新的后期交互范式。使用不同注意力引导待排序段落文本表征，通过动态融合后使用点积与查询向量进行相似度计算，具有较低的复杂度和较细的粒度特征。在MS MACRO段落检索数据集上的重排序实验表明：在不同训练条件下，该模型比ColBERT和PreTTR在MRR@10指标上都要优秀；在使用知识蒸馏情况下，性能接近教师模型的水平，且排序时间在GPU和CPU大幅缩短。     

Transformer在计算机视觉场景下的研究综述

Transformer是一种基于注意力的编码器-解码器架构，其凭借长距离建模能力与并行计算能力在自然语言处理领域取得了重大突破，并逐步拓展应用至计算机视觉领域，成为了计算机视觉任务的重要研究方向。文中重点回顾与总结了Transformer在图像分类、目标检测与图像分割三大计算机视觉任务中的应用和改进。首先，以图像分类任务为切入点，从数据规模、结构特点、计算效率等方面深入分析了当前视觉Transformer存在的关键问题，并基于关键问题对解决方法和思路进行了分类。其次，全面梳理了视觉Transformer在目标检测与图像分割两大领域的研究进展，并根据结构特点、设计动机来组织这些方法，分析对比代表性方法的优点与不足。最后，对Transformer在计算机视觉任务中亟待解决的问题以及发展趋势进行了总结和探讨。     

基于时空大数据与卫星图像的城市火灾风险预测

火灾事故在全世界范围内普遍存在且频繁发生。然而，针对城市火灾的风险预测研究尚在起步中。为此，提出一种针对城市火灾风险的预测模型HISS。基于多重分形维度从卫星图像中提取视觉特征，并将卫星图像的视觉特征与从历史火灾数据、气象数据、出租车流动记录、区域用电量数据和POI数据中提取的非视觉特征相融合，构成静态特征。基于静态特征对XGBoost进行预训练，并设计一种特征嵌入模块，将XGBoost的预测结果作为基准值嵌入到包含时序关系的动态特征中，通过Transformer学习火灾的时间波动模式。采用动态加权模块实现XGBoost和Transformer在模型层面的融合，进一步提升模型的性能。实验结果表明，HISS模型的确定系数R²达到了72.56%，与长短期记忆网络和门控循环单元相比R²分别提升4.25和3.92个百分点，与Lasso、随机森林和梯度提升决策树相比R²分别提升10.88、5.62和3.93个百分点，具有较优的预测性能。     

基于渐进式神经网络架构搜索的人体运动识别

为了解决基于传感器数据的运动识别问题，利用深度卷积神经网络（CNN）在公开的OPPORTUNITY传感器数据集上进行运动识别，提出了一种改进的渐进式神经网络架构搜索（PNAS）算法。首先，神经网络模型设计过程中不再依赖于合适拓扑结构的手动选择，而是通过PNAS算法来设计最优拓扑结构以最大化F1分数；其次，使用基于序列模型的优化（SMBO）策略，在该策略中将按照复杂度从低到高的顺序搜索结构空间，同时学习一个代理函数以引导对结构空间的搜索；最后，将搜索过程中表现最好的20个模型在OPPORTUNIT数据集上进行完全训练，并从中选出表现最好的模型作为搜索到的最优架构。通过这种方式搜索到的最优架构在OPPORTUNITY数据集上的F1分数达到了93.08%，与进化算法搜索到的最优架构及DeepConvLSTM相比分别提升了1.34%和1.73%，证明该方法能够改进以前手工设计的模型结构，且是可行有效的。     

自监督学习HOG预测辅助任务下的车位检测方法

针对智能车位管理系统中，光照变化、车位遮挡等因素导致车位预测的精度下降、有效性变差的问题，提出一种自监督学习方向梯度直方图（HOG）预测辅助任务下的车位检测方法。首先，设计预测图像遮挡部分HOG特征的自监督学习辅助任务，利用MobileViTBlock(light-weight, general-purpose, and Mobile-friendly Vision Transformer Block)综合图像全局信息，使模型更充分地学习图像的视觉表征，并提高模型的特征提取能力；其次，改进SE(Squeeze-and-Excitation)注意力机制，使模型在更低的计算开销上达到甚至高于原始SE注意力机制的效果；最后，将辅助任务训练的特征提取部分应用于下游的分类任务进行车位状态预测，在PKLot和CNRPark的混合数据集上进行实验。实验结果表明，所提模型在测试集上的准确率达到了97.49%，相较于RepVGG，遮挡预测准确率提高了5.46个百分点，与其他的车位检测算法相比进步较大。     

改进Transformer在产油量预测中的应用研究

产油量预测有利于制定合理的采油策略。本文提出一种包含卷积神经网络、门控循环单元和Transformer的组合模型CNN-GRU-Transformer,可用于产油量预测。该模型应用CNN提取部分深层空间特征,GRU提取产油量数据的时序特征,并根据油井数据的特点,改进了Transformer原有结构。通过改进的Transformer,将提取到的特征与预测相结合。实验的结果表明,CNN-GRU-Transformer模型在预测产油量各项指标中均为最优值,在适应产油量基本趋势方面表现最佳。     

深度学习应用于时序预测研究综述

时间序列一般是指对某种事物发展变化过程进行观测并按照一定频率采集得出的一组随机变量。时间序列预测的任务就是从众多数据中挖掘出其蕴含的核心规律并且依据已知的因素对未来的数据做出准确的估计。由于大量物联网数据采集设备的接入、多维数据的爆炸增长和对预测精度的要求愈发苛刻,经典的参数模型以及传统机器学习算法难以满足预测任务的高效率和高精度需求。近年来,以卷积神经网络、循环神经网络和Transformer模型为代表的深度学习算法在时间序列预测任务中取得了丰硕的成果。为进一步促进时间序列预测技术的发展,综述了时间序列数据的常见特性、数据集和模型的评价指标,并以时间和算法架构为研究主线,实验对比分析了各预测算法的特点、优势和局限;着重介绍对比了多个基于Transformer模型的时间序列预测方法;最后结合深度学习应用于时间序列预测任务存在的问题与挑战,对未来该方向的研究趋势进行了展望。     

一种基于 Transformer 的三维人体姿态估计方法

三维人体姿态估计是人类行为理解的基础,但是预测出合理的三维人体姿态序列仍然是具有挑 战性的问题。为了解决这个问题,提出一种基于 Transformer 的三维人体姿态估计方法,利用多层长短期记忆 (LSTM)单元和多尺度 Transformer 结构增强人体姿态序列预测的准确性。首先,设计基于时间序列的生成器, 通过 ResNet 预训练神经网络提取图像特征;其次,采用多层 LSTM 单元学习时间连续性的图像序列中人体姿 态之间的关系,输出合理的 SMPL 人体参数模型序列;最后,构建基于多尺度 Transformer 的判别器,利用多 尺度 Transformer 结构对多个分割粒度进行细节特征学习,尤其是 Transformer block 对相对位置进行编码增强 局部特征学习能力。实验结果表明,该方法相对于 VIBE 方法具有更好地预测精度,在 3DPW 数据集上比 VIBE 的平均(每)关节位置误差(MPJPE)低了 7.5%;在 MP-INF-3DHP 数据集上比 VIBE 的 MPJPE 降低了 1.8%。      

基于Transformer模型的串联谐振中频炉熔炼温度测量

针对中频炉熔炼过程中传统测温方法的弊端，利用金属在熔炼过程中电阻率会随着温度的改变而变化的性质，提出利用Transformer模型来连续测量中频炉熔炼温度。对中频炉的电路结构进行分析，搭建数据采集系统，通过设计电路采集炉料温度和谐振回路的电压、电流等数据，推算出电路的等效电阻，对采集到的数据运用Transformer模型进行训练以及性能评估，实时测量出中频炉的熔炼温度。     

基于Swin Transformer的家居垃圾分类系统

为了从家居源头解决垃圾分类的难题，选取Swin Transformer图卷积神经网络构建家居垃圾分类系统。该系统由三部分组成，构建垃圾分类模型、搭建安卓app、嵌套嵌入式设备。构建大规模垃圾分类数据集，进行垃圾分类实验，选取最优模型Swin Transformer，通过数据增强、迁移学习和添加全局注意力机制等策略进一步提升分类模型的性能。在数据集复杂度更高的情况下，已经超过了华为2019年垃圾分类挑战杯的方案，40垃圾分类的准确率达到了97.63%，超过了它的96.96%，并且param和flops远远低于其方案。搭建安卓app，通过MNN手机移动端架构，将Pytorch架构下训练的模型进行了转化和量化，让超大模型可以在轻型移动端设备完美适用，同时验证了模型转化和量化基本无精度损失，并优化了APP推理速度。     

结合Transformer与非对称学习策略的图像检索

目的 图像检索是计算机视觉领域的一项基础任务,大多采用卷积神经网络和对称式学习策略,导致所需训练数据量大、模型训练时间长、监督信息利用不充分。针对上述问题,本文提出一种Transformer与非对称学习策略相结合的图像检索方法。方法 对于查询图像,使用Transformer生成图像的哈希表示,利用哈希损失学习哈希函数,使图像的哈希表示更加真实。对于待检索图像,采用非对称式学习策略,直接得到图像的哈希表示,并将哈希损失与分类损失相结合,充分利用监督信息,提高训练速度。在哈希空间通过计算汉明距离实现相似图像的快速检索。结果 在CIFAR-10和NUS-WIDE两个数据集上,将本文方法与主流的5种对称式方法和性能最优的两种非对称式方法进行比较,本文方法的mAP(mean average precision)比当前最优方法分别提升了5.06%和4.17%。结论 本文方法利用Transformer提取图像特征,并将哈希损失与分类损失相结合,在不增加训练数据量的前提下,减少了模型训练时间。所提方法性能优于当前同类方法,能够有效完成图像检索任务。     

基于视觉Transformer的双流目标跟踪算法

目前基于Transformer的目标跟踪算法主要利用Transformer来融合深度卷积特征,忽略了Transformer在特征提取和解码预测方面的能力。针对上述问题,提出一种基于视觉Transformer的双流目标跟踪算法。引入基于注意力机制的Swin Transformer进行特征提取,通过移位窗口进行全局信息建模。使用Transformer编码器对目标特征和搜索区域特征进行充分融合,使用解码器学习目标查询中的位置信息。分别对编解码器中的双流信息进行目标预测。在决策层面上进一步地加权融合得到最终跟踪结果,并使用多监督策略。该算法在LaSOT、TrackingNet、UAV123和NFS四个具有挑战性的大规模跟踪数据集上取得了先进的结果,分别达到67.4%、80.9%、68.6%和66.0%的成功率曲线下面积,展示了其强大的潜力。此外,由于避免了复杂的后处理步骤,能够端到端进行目标跟踪,跟踪速度可达42?FPS。     

基于Transformer的时序数据异常检测方法

近年来,异常检测在电力系统运维、故障诊断等智能运维场景中起到关键作用。其中,深度学习在时序数据异常检测上取得了成功的应用。然而,基于长短期记忆(Long Short-Term Memory, LSTM)等异常检测方法因其序列学习模式中包含递归运算,导致模型难以并行计算,同时长期依赖性会导致模型性能下降。因此,提出了一种基于Transformer的时序数据异常检测方法,利用自注意力机制并行训练数据捕获内部有效信息,利用编码-解码框架使用端到端的方式通过时序数据生成异常得分。这个方法能更完整地提取时序数据的上下文关系,精确地捕获时序数据的异常关系。经实验证明,基于Transformer的时序数据异常检测方法在WADI、SWaT、KDDCUP99与AIOPS18等数据集上的异常检测表现出比其他方法更优的性能。     

基于词序嵌入的二进制基本块相似性检测

神经机器翻译技术能够自动翻译多种语言的语义信息, 已被应用于跨指令集架构的二进制代码相似性检测, 并取得了较好的效果. 将汇编指令序列当作文本序列处理时, 指令顺序关系很重要. 进行二进制基本块级别相似性检测时, 神经网络使用位置嵌入来对指令位置进行建模. 然而, 这种位置嵌入未能捕获指令位置之间的邻接、优先等关系. 针对该问题, 本文使用指令位置的连续函数来建模汇编指令的全局绝对位置和顺序关系, 实现对词序嵌入的泛化. 首先使用Transformer训练源指令集架构编码器; 然后使用三元组损失训练目标指令集架构编码器, 并微调源指令集架构编码器; 最后使用嵌入向量之间欧氏距离的映射表示基本块之间的相似程度. 在公开数据集MISA上的实验表明, P@1评价指标达到69.5%, 比对比方法MIRROR提升了4.6%.     

融合循环划分的张量指令生成优化

张量编译器支持将算子的张量描述和计算调度编译为目标硬件的代码。为加速张量运算，深度学习领域专用处理器被设计为包含特殊指令的专有架构，支持多核并行、多级专用内存架构和张量计算，在硬件之上还有与硬件特性紧密相关的张量指令集。在这样复杂的架构上，张量指令的使用有着许多约束与限制，并存在以下问题和挑战：首先，因计算任务划分或数据切块等循环分段引入的条件分支增加了模式匹配难度；其次，张量指令有对齐、数据布局等硬件约束。针对上述问题和挑战，提出了一种融合循环划分的张量指令生成优化算法。算法通过划分循环区间，来消除因任务划分或数据切分引入的条件分支；通过补零、等价指令替换和添加额外计算来解决指令和硬件约束；并使用模式匹配的方法生成张量指令。研究并扩展开源深度学习编译器TVM 0.7版本，实现了支持DianNao架构机器学习加速器的张量指令生成的编译器原型系统。为评测算法的有效性，在DianNao架构机器学习加速器硬件平台上，对逐元素二元张量操作算子、原地一元张量操作算子和卷积操作算子3类算子的性能和开发效率进行了测试，实验结果表明3类算子性能平均加速比为125.00%,最大加速比为194.00%,开...