基于Transformer的多模态气象预测

随着气象观测技术的快速发展,气象行业积累了海量的气象大数据,为构建新型的数据驱动的气象预测模型提供了机遇。由于气象数据中存在的长时依赖关系和大范围空间关联关系,以及多模态气象要素间存在的复杂跨模态耦合关系,基于深度学习的气象预测是一个具有挑战性的研究课题。针对“温度、相对湿度、纬向风速、经向风速”四种经典气象要素组成的等气压层时序多模态数据,提出了一种基于多模态融合的气象预测深度学习模型。首先采用卷积网络来学习各个模态的特征,并在此基础上引入门控机制实现多模态加权融合;然后引入注意力机制,以并行时空轴向注意力代替传统的注意力机制,从而有效地学习长时依赖关系和大范围空间关联关系。整体结构上,采用了基于Transformer的编码器-解码器结构。在ERA5再分析数据集（子区域）上进行了对比实验,实验结果表明了所提方法在温度、相对湿度、风速等预测任务上的有效性和优越性。     

基于自注意力机制的多模态语义轨迹预测

随着社交媒体的快速发展,多模态语义轨迹的预测成为新的挑战。轨迹点间的依赖关系在预测中起到重要作用,同时也存在着以下挑战：轨迹信息中包含多种模态信息(时间、兴趣点和活动文本等),存在时间、空间和活动意图等多种依赖,这些依赖关系很复杂,现有方法很难量化这些复杂依赖关系。为了解决以上问题,提出一种基于自注意力机制的多模态语义轨迹预测模型SAMSTP。SAMSTP先对多模态特征进行联合嵌入,再设计自注意力机制结合Position Encoding计算轨迹点之间的特征相似度,自动学习并量化复杂依赖权重,同时解决轨迹的长期依赖关系。最后,采用LSTM网络处理轨迹时序关系,并设计模式规范化机制解决依赖关系失真问题,加快模型收敛速度。在真实数据集上的实验结果表明,SAMSTP是有效的,并且优于现有最新方法。     

基于无监督深度学习的多模态手术轨迹快速分割方法

传统的手术机器人轨迹分割方法存在耗时长、分割准确度差且容易产生过度分割等问题.为解决上述问题,本文提出了一种基于特征提取网络DCED-Net(密集连接的卷积编码-解码网络)的多模态手术轨迹分割方法.DCED-Net采用无监督方法,不必进行十分耗时的人工标注,使用密集连接结构,使图像信息能更有效地在卷积层间传递,从而提高了特征提取质量.将特征提取后的视频数据和运动学数据投入转移状态聚类(TSC)模型得到预分割结果.为进一步提高分割精度,提出了一种基于轨迹段间相似性的合并后处理算法,通过衡量轨迹段间的4个相似性指标,包括主成分分析、互信息、数据中心距离和动态时间规整,将相似度高的分割段进行迭代合并,从而降低过度分割造成的影响.公开数据集JIGSAWS上的大量实验证明,与经典的轨迹分割聚类方法相比,本文方法的分割准确率最高提升了48.4%,分割速度加快了6倍以上.     

多模态工业控制器

本文介绍了两类基于多种控制策略的多模态自适应控制方法。通过在线获取对象的有关信息，对各控制策略中的相应参数和规则进行修正，以期在复杂工况下提高系统的控制性能──鲁棒性。     

知识驱动的多模态语义理解研究综述

基于深度学习模型的多模态学习方法已在静态、可控等简单场景下取得较优的语义理解性能,但在动态、开放等复杂场景下的泛化性仍然较低.近期已有不少研究工作尝试将类人知识引入多模态语义理解方法中,并取得不错效果.为了更深入了解当前知识驱动的多模态语义理解研究进展,文中在对相关方法进行系统调研与分析的基础上,归纳总结关系型和对齐型这两类主要的多模态知识表示框架.然后选择多个代表性应用进行具体介绍,包括图文匹配、目标检测、语义分割、视觉-语言导航等.此外,文中总结当前相关方法的优缺点并展望未来可能的发展趋势.     

基于深度情感唤醒网络的多模态情感分析与情绪识别

随着网络平台上各类图像、视频数据的快速增长,多模态情感分析与情绪识别已成为一个日益热门的研究领域.相比于单模态情感分析,多模态情感分析中的模态融合是一个亟待解决的关键问题.受到认知科学中情感唤起模型的启发,提出一种能够模拟人类处理多通道输入信息机制的深度情感唤醒网络(DEAN),该网络可实现多模态信息的有机融合,既能处理情绪的连贯性,又能避免融合机制的选择不当而带来的问题.DEAN网络主要由以下3部分组成:跨模态Transformer模块,用以模拟人类知觉分析系统的功能;多模态BiLSTM系统,用以模拟认知比较器;多模态门控模块,用以模拟情感唤起模型中的激活结构.在多模态情感分析与情绪识别的3个经典数据集上进行的比较实验结果表明,DEAN模型在各数据集上的性能均超越了目前最先进的情感分析模型.     

基于深度学习的多模态医学影像分割研究综述

多模态医学影像分割是医学影像分析领域的研究热点之一。有效利用不同模态影像的互补信息,从多种层面提供病灶区域及其周围区域的更多信息,可提高临床诊断的准确性。为了分析深度学习在多模态医学影像分割领域的研究现状及发展方向,对该领域近些年的分割方法进行了整理和研究。在分析它们的特点及存在的问题的基础上,对未来研究方向进行了展望,可帮助相关研究者全面、快速地了解该领域的研究现状、存在的问题和未来研究方向。     

基于语义关系的多Agent多模态表示规划

介绍了一个用于多模态规划的多Ａｇｅｎｔ系统。为了显示被表示对象之间的语义关系,表示规划需满足一定的约束,阐述了多Ａｇｅｎｔ合作进行规划的机制,重点论述了约束的传播以及动态修改。     

基于Transformer-ESIM注意力机制的多模态情绪识别

为了提高语音和文本融合的情绪识别准确率,提出一种基于Transformer-ESIM(Transformer-enhanced sequential inference model)注意力机制的多模态情绪识别方法.传统循环神经网络在语音和文本序列特征提取时存在长期依赖性,其自身顺序属性无法捕获长距离特征,因此采用Tra...     

基于多模态信息的视频描述算法

为了挖掘视频中不同的模态信息,提出一种基于多模态信息的视频描述算法。在基本的编码解码器网络基础上,更加关注视频多模态信息和高级语义属性。在编码器阶段,提取视频的静态特征、光流特征和视频段特征,同时设计语义属性检测网络得到视频高级语义特征。为了避免解码器阶段的曝光偏差和训练损失与评价准则不统一的问题,采用基于强化学习的训练算法直接将客观评价准则作为优化目标来训练模型。所提出的算法在公开视频描述数据集MSVD上取得了很好的实验效果。     

基于出行方式及语义轨迹的位置预测模型

现有位置预测方法的研究多集中于对轨迹数据的挖掘和分析,而在如何通过轨迹数据中含有的信息内容以及外源数据以提高位置预测精确度方面的研究尚不深入,有很大研究空间.提出了一种挖掘语义轨迹信息并结合出行方式的未来位置预测模型,该模型首先可实现根据语义轨迹进行相似用户挖掘,并结合个人语义轨迹和相似用户位置轨迹得到频繁模式集合,最后结合2个集合对目标轨迹得到未来位置预测候选集;然后可实现对未来出行方式进行识别,同时结合历史出行方式和位置轨迹数据,建立Markov模型对未来位置进行预测得到候选集,最后结合前一部分的候选集得到最终未来位置结果.此模型不仅能结合语义轨迹挖掘相似用户的行为活动,还可同时融合出行方式的外源数据克服位置轨迹的局限性.实验验证表明：该模型能对日常生活中的轨迹位置数据进行预测并达到86%的精确度,同时在不同的频繁模式支持度下,其精确度都比未结合出行方式模型时平均高出5%,因此本模型对位置预测结果的提高具有有效性.     

基于LSTM的船舶航迹预测模型

针对海上日趋复杂的情形,提高船舶交通服务系统(Vessel Traffic Service,VTS)的决策水平迫在眉睫。针对船舶航行轨迹多维度的特点以及对船舶轨迹预测的精确度和实时性的需求,提出了结合船舶自动识别系统(Automatic Identification System,AIS)数据和深度学习的船舶航行轨迹预测方法。构造基于AIS数据的航行轨迹特征,提出了循环神经网络-长短期记忆(Recurrent Neural Networks-Long Short-Term Memory,RNN-LSTM)模型,利用广州港内的船舶AIS数据对模型进行训练,并对未来船舶航行轨迹进行预测。实验结果表明,利用RNN-LSTM模型的预测方法具有精确度高、易实现的特点,并且与传统处理方法相比,其在处理序列数据方面更具优越性。     

基于高斯混合-贝叶斯模型的轨迹预测

如今，在交通管理系统、军事机械化战场、安全行驶系统中，对实时、准确、可靠的移动对象轨迹预测具有很重要的作用，在市场上的应用越来越广，简称智能化预测。智能化预测可以提供精准的基于位置的服务，还可以根据预判，给车主推荐最优路线，这成为移动对象数据库研究的热点。针对现有方法的不足，提出基于高斯混合-贝叶斯模型的轨迹预测模型。实验表明，GM-BM模型在路段车流量正常情况下，通过调整混合模型中子模型的权重，可预测出最可能的轨迹，经计算与相同参数设置下的单模型相比，预测准确性至少提高10.00%。     

基于前缀投影技术的大规模轨迹预测模型

智能手机、车载GPS终端、可穿戴设备产生了海量的轨迹数据,这些数据不仅描述了移动对象的历史轨迹,而且精确地反映出移动对象的运动特点.已有轨迹预测方法的不足在于：不能同时兼具预测的准确性和时效性,有效的轨迹预测受限于路网等局部空间范围,无法处理复杂、大规模位置数据.为了解决上述问题,针对海量移动对象轨迹数据,结合频繁序列模式发现的思想,提出了基于前缀投影技术的轨迹预测模型PPTP（prefix projection based trajectory prediction model）,包含两个关键步骤：（1）挖掘频繁轨迹模式,构造投影数据库并递归挖掘频繁前序轨迹模式;（2）轨迹匹配,以不同频繁序列模式作为前缀增量式扩展生成频繁后序轨迹,将大于最小支持度阈值的最长连续轨迹作为结果输出.算法的优势在于：可以通过较短的频繁序列模式,增量式生成长轨迹模式;不会产生无用的候选轨迹,弥补频繁模式挖掘计算代价较高的不足.利用真实大规模轨迹数据进行多角度实验,表明PPTP轨迹预测算法具有较高的预测准确性,相对于1阶马尔可夫链预测算法,其平均预测准确率可以提升39.8%.基于所提出的轨迹预测模型,开发了一个通用的轨迹预测系统,能够可视化输出完整的轨迹路线,为用户路径规划提供辅助决策支持.     

基于时空图的行人轨迹预测

在蓬勃发展的自动驾驶技术中, 行人轨迹预测的结果往往会影响到自动驾驶的安全性. 行人轨迹预测技术目前面临着在实际场景中应用时与他人的交互问题, 需要在预测轨迹的同时考虑社会交互性与逻辑自洽. 因此, 提出了一种基于时空图的行人轨迹预测方法, 该方法采用图注意力网络对场景中的行人交互进行建模, 并使用一种自动生成正负样本的方法来通过对比学习降低输出轨迹的碰撞率, 达到了提高输出轨迹的安全性以及逻辑自洽的效果. 在ETH和UCY数据集上进行模型训练与测试, 结果分析表明, 本文提出的方法有效降低了碰撞率, 且预测准确度优于主流算法.     

一种基于高斯混合模型的轨迹预测算法

在智能交通控制系统、军事数字化战场、辅助驾驶系统中,实时、精确、可靠的移动对象不确定性轨迹预测具有极高的应用价值.智能轨迹预测不仅可以提供精准的基于位置的服务,而且可以提前监测和预判交通状况,进而推荐最佳路线,已经成为移动对象数据库研究的热点,亟需设计准确而高效的位置预测方法.针对现有方法的不足,提出了基于高斯混合模型的轨迹预测方法GMTP,主要步骤包括:(1) 针对复杂运动模式利用高斯混合模型建模;(2) 利用高斯混合模型计算不同运动模式的概率分布,进而将轨迹数据划分为不同分量;(3) 利用高斯过程回归预测移动对象最可能的运动轨迹.GMTP是高斯非线性概率统计模型,其优势在于:计算结果不仅是位置预测值,更是关于移动对象未来所有可能运动轨迹的概率分布,可以利用概率统计分布特性获得某种运动模式(如匀加速运动)下的位置预测.大量真实轨迹数据集上的实验结果表明:与相同参数设置下的高斯回归预测和卡尔曼滤波预测法相比,GMTP的预测准确性平均提高了22.2%和23.8%,预测时间平均缩减了92.7%和95.9%.     

基于时频域信息融合和多尺度对抗的轨迹预测

目前已有许多工作将Transformer运用到时间序列预测相关任务. 然而, 相比其他时间序列, 运动轨迹数据存在运动学的不确定性, 没有明显的周期特性. 为了降低噪声干扰, 增强趋势建模, 本文在Transformer架构的基础上, 提出一种基于时频域信息融合和多尺度对抗训练的目标轨迹预测方法. 将小波分解嵌入网络模型, 实现时频域自适应滤波; 并与时域注意力进行融合, 能够更有效地对观测轨迹的长期趋势特性进行编码. 并设计了一个全卷积判别器, 通过对抗训练学习序列的多尺度短期微运动表示, 进一步提高预测精度. 本文建立了一个包括2维船舶轨迹和3维飞行器轨迹的轨迹预测数据集DT作为基准, 并在此与Transformer、LogTrans、Informer等模型进行对比实验. 实验结果表明本文的方法在中长期轨迹预测任务上优于其他模型.     

基于上下文的多通道语义融合

多通道交互已经成为人机交互领域一个重要的研究方向,对多通道输入的信息进行语义融合是其中的关键问题.提出了一种将上下文与传统语义融合相结合的方法,并将这一方法应用在面向儿童使用的讲故事原型系统中.儿童通过受限的自然语言、笔的勾画等方式进行故事创作.结果表明,笔和语音结合的多通道交互方式能够使得儿童更方便、自然地与计算机进行交互,结合上下文的语义融合方法能够在一定程度上修正输入错误.     

基于语义的移动对象轨迹知识发现研究

针对采用欧式空间坐标或线性参考坐标表达轨迹的方法对与应用需求相关的背景地理语义知识考虑不够,使得不能有效挖掘轨迹中隐含信息的问题,提出一种基于语义的轨迹建模和知识发现方法,该方法通过预先定义与应用需求相关的重要地点作为关键点,对与该地点具有同种空间关系的轨迹点进行聚类,以聚类后的关键点序列表达轨迹,运用正则表达式实现轨迹中隐含的关联规则和频繁模式的发现,通过实例表明该方法的可行有效。     

多交互车辆轨迹预测研究

现有的车辆轨迹预测大多是单目标轨迹预测,无双向交互和关系推理,不能实现混合实体的交互建模.针对上述问题,结合强化学习的Q-learning算法和深度学习的LSTM网络,设计一个完全可扩展的轨迹预测模型Q-LSTM.该模型中,LSTM网络捕获了车辆轨迹的时间特性,而Q-learning算法则表示了多车辆的交互过程,因此Q...