基于Transformer的船舶故障预测研究

为了解决循环神经网络不能并行训练导致的在时间性能上的缺陷,对Transformer架构应用于船舶运行的趋势预测进行研究,并围绕Transformer设计一套更高效的故障预测方法。在数据预处理上,设计了一种滑动窗口的方法筛选平稳数据,取得了良好的结果;在故障诊断上,使用多项式回归,通过对历史数据的训练,在测试集上获得了较高评分;在趋势预测上,使用Transformer架构,经过训练可以做出较为精准的预测,并在与GRU网络的比较中体现出了显著的性能优势。综合来看,所设计的方法有一定实践意义。     

基于时空Transformer的社交网络信息传播预测

随着社交网络的日益普及和广泛应用,信息传播预测逐渐成为了社交网络分析领域的一个热点研究问题.之前大部分研究要么只利用信息传播序列,要么只利用用户之间的社交网络来进行预测,难以对信息传播过程的复杂性进行有效建模.此外,常用于信息传播预测的循环神经网络(recurrent neural network, RNN)及其变体难以有效捕获信息之间的相关性.为解决上述问题,提出了一个新的基于时空Transformer的社交网络信息传播预测模型STT.该模型首先构建由社交网络图和动态传播图组成的异构图并使用图卷积网络(graph convolutional network, GCN)来学习用户的结构特征;然后将用户的时序特征和结构特征放入到Transformer中进行融合来获取时空特征;为有效融合用户的时序特征和结构特征,提出了一种新的残差融合方式来替代Transformer中原有的残差连接;最后利用Transformer来进行信息传播预测.真实数据集上的大量实验验证了模型STT的有效性.     

基于Transformer的多模态气象预测

随着气象观测技术的快速发展,气象行业积累了海量的气象大数据,为构建新型的数据驱动的气象预测模型提供了机遇。由于气象数据中存在的长时依赖关系和大范围空间关联关系,以及多模态气象要素间存在的复杂跨模态耦合关系,基于深度学习的气象预测是一个具有挑战性的研究课题。针对“温度、相对湿度、纬向风速、经向风速”四种经典气象要素组成的等气压层时序多模态数据,提出了一种基于多模态融合的气象预测深度学习模型。首先采用卷积网络来学习各个模态的特征,并在此基础上引入门控机制实现多模态加权融合;然后引入注意力机制,以并行时空轴向注意力代替传统的注意力机制,从而有效地学习长时依赖关系和大范围空间关联关系。整体结构上,采用了基于Transformer的编码器-解码器结构。在ERA5再分析数据集（子区域）上进行了对比实验,实验结果表明了所提方法在温度、相对湿度、风速等预测任务上的有效性和优越性。     

基于多通道Transformer的交通量预测方法

目前,我国高速公路拥堵程度居高不下,而交通流预测作为实现智能交通系统的重要一环,若能对其实现高精度的预测,那么将能够高效地管理交通,从而缓解拥堵。针对该问题,提出了一种考虑时空关联的多通道交通流预测方法（MCST-Transformer）。首先,将Transformer结构用于不同数据的内在规律提取,然后引入空间关联模块对不同数据间的关联特征进行挖掘,最后,借助通道注意力整合优化全局信息。采用广东省高速公路数据,实现了两小时内92个收费站的高精度流量预测。结果表明：MCST-Transformer优于传统机器学习方法以及部分基于注意力机制的时间序列模型,在120 min预测跨度下,相比贝叶斯回归,MAPE降低了5.1%;对比Seq2Seq-Att以及Seq2Seq这些深度学习算法,所提方法的总体MAPE也能降低0.5%,说明通过多通道的方式能够区分不同数据的特性,进而更好地预测。     

一种基于时空Transformer的交通事故预测方法

为实现实时道路交通事故的精准预测,提出了基于时空Transformer的高速交通事故预测方法.在该方法中,首先对传统高速交通固定站点数据进行预处理,获得交通特征参数作为算法输入.然后将交通流的时空特征结合时空Transformer捕获交通流静态和动态的时空依赖性,并通过多次提取时交通流空依赖性结合卷积神经网络得到事故发...     

基于时间感知Transformer的交通流预测方法

作为智能交通系统的关键一环,交通流预测面临着长时预测不准的难题,其主要挑战在于交通流数据本身具有复杂的时空关联。近年来,Transformer的提出使得时序数据预测的研究取得了巨大进展,但将Transformer应用于交通流预测仍然存在以下两个问题：1)静态的注意力机制难以捕获交通流随时间动态变化的时空依赖关系;2)采用自回归的预测方式会引发严重的误差累积现象。针对以上问题,提出了一种基于时间感知Transformer的交通流预测模型。首先,设计了一种新的时间感知注意力机制,可以根据时间特征定制注意力计算方案,从而更精准地反映时空依赖关系;其次,在Transformer的训练阶段舍弃了Teacher Forcing机制,并采用非自回归的预测方式来避免误差累积问题;最后,在两个真实交通数据集上进行实验,实验结果表明,所提方法可以有效捕获交通流的时空依赖,相比最优的基线方法,长时预测性能提升了2.09%～4.01%。     

一种通道自适应与局部增强的Transformer术中血压预测方法

准确预测术中患者的血压状态来预防术中低血压,对提高手术安全性和降低术后并发症有积极作用,以往的低血压预测方法主要视为二分类任务,忽略了患者血压变化的过程,从而限制了干预策略的制定。因此提前预测血压的变化趋势,具有更重要的临床研究和应用价值。针对以上问题,对通过监测的术中生理序列实时预测未来5min、10min、15min血压的连续值展开研究,并提出了一种通道自适应与局部增强Transformer模型,该模型采用卷积注意力机制捕捉血压序列的局部相似性,同时提出一种通道自适应模块嵌入模型来建模生理序列潜在交互关系。结果表明,该模型相比于基准模型在5min、10min、15min预测精度分别提升4.88%、8.2%和8.42%,预测的平均动脉压的MAE分别为2.997、3.393、3.743,且显著优于其余对比模型,为术中血压预测提供新的解决方案。     

基于改进Transformer的广告点击率预估模型

针对现有的广告点击率预估模型未能精准挖掘用户历史兴趣及历史兴趣对目标广告点击与否的影响,提出了一种基于改进Transformer的广告点击率预估模型.该模型采用Transformer网络捕捉隐藏在用户点击序列背后的潜在历史兴趣;同时针对Transformer建模用户历史兴趣无法有效关联目标广告的问题,提出了一种改进的Transformer网络.改进后的Transformer不但有效建模用户历史兴趣,而且考虑了跟目标广告的关联.新模型采用辅助损失函数来监督改进的Transformer对用户历史兴趣的抽取过程,然后采用注意力机制进一步建模用户的历史兴趣和目标广告的相关性以提升模型的预估性能.实验结果表明新模型有效提升了广告点击率的预估效果.     

基于Transformer的矿井内因火灾时间序列预测方法

传统的基于机器学习的矿井内因火灾预测方法尽管具备一定的预测能力,然而在处理复杂的多变量数据时不能有效捕捉数据间的全局依赖关系,导致预测精度较低。针对上述问题,提出了一种基于Transformer的矿井内因火灾时间序列预测方法。首先,采用Hampel滤波器和拉格朗日插值法对数据进行异常值检测和缺失值填补。然后,利用Transformer的自注意力机制对时间序列数据进行特征提取及趋势预测。最后,通过调节滑动窗口的大小与步长,在不同的时间步长和预测长度下对模型进行不同时间维度的训练。结合气体分析法将矿井火灾产生的标志性气体(CO,O₂,N₂,CO₂,C₂H₂,C₂H₄,C₂H₆)作为模型输入变量,其中CO作为模型输出的目标变量,O₂,N₂,CO₂,C₂H₂,C₂H     

基于Transformer模型和Kalman滤波预测船舶航迹

针对日趋复杂的海上交通情况,船舶航迹的跟踪预测问题显得尤为重要,然而船舶航行轨迹的数据是具有长期特性的数列,而且易受到风浪、杂波和噪声等影响,致使其特征数据动态变化,航迹规律难以把握.基于上述问题,提出一种结合Transformer模型和Kalman滤波的航迹预测方法.利用宁波市渔船AIS(Automatic Iden...     

基于上下文Transformer的低光照图像增强网络

由于现实环境中明暗光照的剧烈变化,现有的低光照图像增强方法往往会导致增强后的图像亮度和对比度不足,出现伪影和模糊等情况。此外,当前的低光照图像增强工作仅针对于图像亮度的提升,而对于噪声影响的处理较少,这些都不利于低光图像的增强。为了解决上述问题,论文提出了一种基于上下文Transformer的低光照图像增强算法。具体地,论文首先利用动态卷积网络对低光照图像进行特征提取;接着,设计了上下文Transformer对得到的特征图进行全局关联的深层特征提取,并使用金字塔池化模块进行去噪处理;最后,通过瓶颈结构的卷积网络输出得到增强后的图像。在多个主流数据集（LOL,LIME,DICM等）上的对比实验结果表明,与目前已有的主流工作相比,论文所提方法的结果不仅在主观视觉上有更好的视觉效果,更加符合人眼的视觉特点;而且在各种定量客观评价指标上也有良好的表现,尤其在PSNR和SSIM两个指标上有明显的提升。     

基于Transformer的图像分类网络MultiFormer

为解决目前ViT模型无法改变输入补丁大小且输入补丁都是单一尺度信息的缺点,提出了一种基于Transformer的图像分类网络MultiFormer。MultiFormer通过AWS（attention with scale）模块,将每阶段不同尺度输入小补丁嵌入为具有丰富语义信息的大补丁;通过GLA-P（global-local attention with patch）模块交替捕获局部和全局注意力,在嵌入时同时保留了细粒度和粗粒度特征。设计了MultiFormer-tiny、-small和-base三种不同变体的MultiFormer模型网络,在ImageNet图像分类实验中top-1精度分别达到81.1%、82.2%和83.2%,后两个模型对比同体量的卷积神经网络ResNet-50和ResNet-101提升了3.1%和3.4%;对比同样基于Transformer分类模型ViT,MultiFormer-base在参数和计算量远小于ViT-Base/16模型且无须大量数据预训练前提下提升2.1%。     

基于Transformer网络的气胸图像分类方法

气胸是一种致命的疾病,借助胸部X光片的自动辅助诊断系统可以减少诊断时间并节省宝贵的治疗时间。提出了一种基于Transformer网络的气胸图像分类方法,针对气胸图像样本少,采用了迁移学习的方法初始化网络权重,为了提高图片的质量,使用直方图均衡化方法增强图像质量,提高网络分类的准确率。结果表明,所提方法的分类准确率达到了90.1%,与卷积网络DenseNet-121相比,准确率提高了3.6%,可以推广到临床的辅助诊断当中。     

动态层次Transformer序列推荐算法

序列化推荐任务根据用户历史行为序列,预测下一时刻即将交互的物品.大量研究表明:预测物品对用户历史行为序列的依赖是多层次的.已有的多尺度方法是针对隐式表示空间的启发式设计,不能显式地推断层次结构.为此,该文提出动态层次Transformer,来同时学习多尺度隐式表示与显式层次树.动态层次Transformer采用多层结构...     

面向手术器械语义分割的半监督时空Transformer网络

基于内窥镜的微创手术机器人在临床上的应用日益广泛,为医生提供内窥镜视频中精准的手术器械分割信息,对提高医生操作的准确度、改善患者预后有重要意义.现阶段,深度学习框架训练手术器械分割模型需要大量精准标注的术中视频数据,然而视频数据标注成本较高,在一定程度上限制了深度学习在该任务上的应用.目前的半监督方法通过预测与插帧,可...     

基于Transformer的时序数据异常检测方法

近年来,异常检测在电力系统运维、故障诊断等智能运维场景中起到关键作用。其中,深度学习在时序数据异常检测上取得了成功的应用。然而,基于长短期记忆(Long Short-Term Memory, LSTM)等异常检测方法因其序列学习模式中包含递归运算,导致模型难以并行计算,同时长期依赖性会导致模型性能下降。因此,提出了一种基于Transformer的时序数据异常检测方法,利用自注意力机制并行训练数据捕获内部有效信息,利用编码-解码框架使用端到端的方式通过时序数据生成异常得分。这个方法能更完整地提取时序数据的上下文关系,精确地捕获时序数据的异常关系。经实验证明,基于Transformer的时序数据异常检测方法在WADI、SWaT、KDDCUP99与AIOPS18等数据集上的异常检测表现出比其他方法更优的性能。     

基于Transformer模型的四旋翼无人机时空协同航迹预测方法设计

无人机在执行任务时面临的飞行环境复杂多变,为了减少事故的风险,并在飞行时对异常情况进行预测和响应,研究一种基于Transformer模型的四旋翼无人机时空协同航迹预测方法。采集四旋翼无人机原始航迹,实施异常点剔除和缺失点插值处理,以优化和清理原始航迹数据,便于后续的航迹预测。结合深度学习和表示学习方法完成数据降维,基于Transformer模型实现无人机时空协同航迹的精准预测。实验测试结果表明,设计方法的预测结果虽然相对于真实的坐标点稍有偏差,然而整体结果在可接受范围内,验证集所有数据的均方误差在数据条数为300时仅为0.32m,R方测试结果最接近1,具有良好的航迹预测能力。     

基于伪全局Swin Transformer的遥感图像识别算法

如何在多目标并列的情况下,确定符合人类思维习惯的核心目标是遥感图像识别的关键之一.因此,在全局视野下,为各目标分配符合人类视觉习惯的注意力,是甄选核心目标的有效途径之一.文中结合Transformer提取全局特征的思想和Swin Transformer对图像栅格化处理可降低计算量的优点,提出基于伪全局Swin Transformer的遥感图像识别算法.构建伪全局Swin Transformer模块,将遥感图像栅格化后的各局部信息聚合为一个特征值,替代以像素为基础的全局信息,以较小计算量为代价,获取全局特征,有效提升模型对所有目标的感知能力.同时,通过以可变形卷积为基础的感受野自适应缩放模块,使感受野向核心目标偏移,提高网络对核心目标信息的关注,从而实现对遥感图像的精确识别.在RSSCN7、AID和OPTIMAL-31遥感图像数据集上的实验表明,文中算法取得较高的识别精度和参数识别效率.     

基于Transformer人像关键点检测网络的研究

为解决目前基于卷积网络的关键点检测模型无法建模远距离关键点之间关系的问题,提出一种Transformer与CNN(卷积网络)多分支并行的人像关键点检测网络,称为MCTN(multi-branch convolution-Transformer network),其利用Transformer的动态注意力机制建模关键点之间的远距离联系,多分支并行的结构设计使得MCTN包含共享权重、全局信息融合等特点。此外,提出一种新型的Transformer结构,称为Deformer,它可以将注意力权重更快地集中在稀疏且有意义的位置,解决Transformer收敛缓慢的问题;在WFLW、300W、COFW数据集的人像关键点检测实验中,归一化平均误差分别达到4.33%、3.12%、3.15%,实验结果表明,MCTN利用Transformer与CNN多分支并联结构和Deformer结构,性能大幅超越基于卷积网络的关键点检测算法。