基于时空注意力网络的动态高速路网交通速度预测

交通速度是影响高速路网通行效率和安全的重要指标,精准预测高速路网交通速度可以减少交通事故和通行时间,预先为交通控制提供有价值的参考信息,对高速公路管理具有重要意义。基于时空注意力网络,提出一种由数据和长期预测任务驱动面向动态高速路网的交通速度预测模型(ST-ANet)。通过图注意力网络提取高速路网的动态空间关联特征,使用长短期记忆网络提取输入数据的时间关联特征。在此基础上,采用基于多头自注意力机制的时间注意力网络计算历史输入数据和预测值之间的相关性,并利用密集连接和层归一化方法进一步提升模型性能。基于中国宁夏回族自治区银川市高速路网监测数据进行实验,结果表明,与GCN-LSTM模型相比,STANet模型预测未来1 h、2 h和3 h内高速路网交通速度的平均绝对误差分别降低4.0%、3.6%和3.9%。     

融合多种时空自注意力机制的Transformer交通流预测模型

交通流预测是智能交通系统中实现城市交通优化的一种重要方法,准确的交通流量预测对交通管理和诱导具有重要意义.然而,因交通流本身存在高度时空依赖性而表现出复杂的非线性特征,现有的方法主要考虑路网中节点的局部时空特征,忽略了路网中所有节点的长期时空特征.为了充分挖掘交通流数据复杂的时空依赖,提出一种融合多种时空自注意力机制的Transformer交通流预测模型(MSTTF).该模型在嵌入层通过位置编码嵌入时间和空间信息,并在注意力机制层融合邻接空间自注意力机制,相似空间自注意力机制,时间自注意力机制,时间-空间自注意力机制等多种自注意力机制挖掘数据中潜在的时空依赖关系,最后在输出层进行预测.结果表明, MSTTF模型与传统时空Transformer相比, MAE平均降低了10.36%.特别地,相比于目前最先进的PDFormer模型, MAE平均降低了1.24%,能取得更好的预测效果.     

基于注意力机制的CNN-LSTM模型及其应用

时序数据存在时序性，并且其短序列的特征存在重要程度差异性。针对时序数据特征，提出一种基于注意力机制的卷积神经网络（CNN）联合长短期记忆网络（LSTM）的神经网络预测模型，融合粗细粒度特征实现准确的时间序列预测。该模型由两部分构成：基于注意力机制的CNN，在标准CNN网络上增加注意力分支，以抽取重要细粒度特征；后端为LSTM，由细粒度特征抽取潜藏时序规律的粗粒度特征。在真实的热电联产供热数据上的实验表明，该模型比差分整合移动平均自回归、支持向量回归、CNN以及LSTM模型的预测效果更好，对比目前企业将预定量作为预测量的方法，预测缩放误差平均值（MASE）与均方根误差（RMSE）指标分别提升了89.64%和61.73%。     

基于自注意力机制的中文标点符号预测模型

中文标点符号预测是自然语言处理的一项重要任务,能够帮助人们消除歧义,更准确地理解文本。为解决传统自注意力机制模型不能处理序列位置信息的问题,提出一种基于自注意力机制的中文标点符号预测模型。在自注意力机制的基础上堆叠多层Bi-LSTM网络,并结合词性与语法信息进行联合学习,完成标点符号预测。自注意力机制可以捕获任意两个词的关系而不依赖距离,同时词性和语法信息能够提升预测标点符号的正确率。在真实新闻数据集上的实验结果表明,该模型F1值达到85.63%,明显高于传统CRF、LSTM预测方法,可实现对中文标点符号的准确预测。     

基于改进CNN嵌入注意力的多因素心理问题智能化评估系统设计

针对公众日益关注的心理问题，首先从需求目标、操作性能和主要功能方面进行多因素心理问题智能化评估系统设计，再将卷积神经网络与双向长短时记忆网络相结合，并在卷积层中设计了多种卷积核，最后嵌入自注意力机制共同进行心理障碍状态预测。结果表明，在高校心理问题数据库中，所提出的改进模型仅需2 105次迭代均方误差即达到0.056 2,并且在心理问题评估系统中的预测精度高达96.4%,运行时间仅需13.5 s。说明研究所提出的改进模型收敛速度得到了较大提升，误差率和损失值均更小。将其应用于多因素心理问题评估系统中，能够在较短的时间内实现更高的预测精度，具有更强的性能表现，验证了该系统的优越性，为其进一步优化设计提供了思路和方法参考。     

基于轻量化神经网络的石窟壁画破损检测方法

针对石窟壁画脱落与破损检测过程中存在检测精度低、实时性差的问题,提出了基于轻量化神经网络和多重注意力机制的石窟壁画破损检测方法。首先,引入Ghost Conv完成轻量化特征提取,降低模型复杂度;其次,加入双重注意力机制增加特征提取的倾向性,加快模型收敛速度;最后,使用加权双向特征金字塔拼接方式高效融合特征信息,通过复合缩放完成预测。实验结果表明：改进后的算法网络层数减少了34.40%。参数量和浮点运算量分别降低了62.98%和68.77%,模型体积压缩了62.78%。检测精度高达64.7%,实时检测速度从63.60帧/s提升至97.56帧/s,提高了约53.39%。     

自监督学习HOG预测辅助任务下的车位检测方法

针对智能车位管理系统中，光照变化、车位遮挡等因素导致车位预测的精度下降、有效性变差的问题，提出一种自监督学习方向梯度直方图（HOG）预测辅助任务下的车位检测方法。首先，设计预测图像遮挡部分HOG特征的自监督学习辅助任务，利用MobileViTBlock(light-weight, general-purpose, and Mobile-friendly Vision Transformer Block)综合图像全局信息，使模型更充分地学习图像的视觉表征，并提高模型的特征提取能力；其次，改进SE(Squeeze-and-Excitation)注意力机制，使模型在更低的计算开销上达到甚至高于原始SE注意力机制的效果；最后，将辅助任务训练的特征提取部分应用于下游的分类任务进行车位状态预测，在PKLot和CNRPark的混合数据集上进行实验。实验结果表明，所提模型在测试集上的准确率达到了97.49%，相较于RepVGG，遮挡预测准确率提高了5.46个百分点，与其他的车位检测算法相比进步较大。     

改进YOLOv5的轻量化口罩检测算法

为了提高现有口罩检测算法检测效率，降低算法参数量以及模型大小，提出了一种改进的轻量化口罩检测算法YOLOv5-MBF。用GELU激活函数替换MobileNetV3深层网络的hard-swish激活函数，优化了模型收敛效果，将改进的MobileNetV3网络替换YOLOv5s主干网络，降低计算量提高模型检测速度。增加BiFPN特征金字塔结构与不同特征层融合，提高了检测精度。在数据处理方面使用Mosaic和Mixup数据增强提高该模型的泛化性和鲁棒性。边框回归损失函数使用Focal-Loss EIoU，优化了模型训练收敛速度且提高了口罩和人脸边框定位精度。最后添加CBAM注意力机制使得模型更关注重要特征抑制不显著特征提高检测性能。实验结果表明，该算法在佩戴口罩目标和无佩戴口罩目标上的平均精度均值达到了89.5%，模型推理速度提升了43%，模型参数了减少了49%，模型大小降低了48%，满足口罩检测任务的实时性和检测精度要求。     

增强局部注意力的时间序列分类方法

现有时间序列分类方法普遍基于一种循环网络结构解决时间序列点值耦合问题，无法并行计算，导致计算资源浪费，因此提出一种增强局部注意力的时间序列分类方法。该方法拟合混合距离信息以增加时间序列位置感知能力，将混合距离信息融入自注意矩阵计算中，从而扩展自注意力机制；构造多尺度卷积注意力获取多尺度局部前向信息，以解决标准自注意力机制基于点值计算存在注意力混淆的问题；使用改进后的自注意力机制构造时序自注意分类模块，并行计算处理时间序列分类任务。实验结果表明，与现有时间序列分类方法相比，基于局部注意力增强的时间序列分类方法能够加速收敛，有效提高时序序列分类效果。     

基于自注意力机制的多模态语义轨迹预测

随着社交媒体的快速发展,多模态语义轨迹的预测成为新的挑战。轨迹点间的依赖关系在预测中起到重要作用,同时也存在着以下挑战：轨迹信息中包含多种模态信息(时间、兴趣点和活动文本等),存在时间、空间和活动意图等多种依赖,这些依赖关系很复杂,现有方法很难量化这些复杂依赖关系。为了解决以上问题,提出一种基于自注意力机制的多模态语义轨迹预测模型SAMSTP。SAMSTP先对多模态特征进行联合嵌入,再设计自注意力机制结合Position Encoding计算轨迹点之间的特征相似度,自动学习并量化复杂依赖权重,同时解决轨迹的长期依赖关系。最后,采用LSTM网络处理轨迹时序关系,并设计模式规范化机制解决依赖关系失真问题,加快模型收敛速度。在真实数据集上的实验结果表明,SAMSTP是有效的,并且优于现有最新方法。     

基于图注意力机制的交通流预测模型

针对现有交通流预测模型在预测精度上的不足,提出一种基于注意力机制的图模型。首先,利用多头注意力机制在交通图中编码高阶邻域结构,提取交通网络中的高阶空间特征。然后,嵌入长距离时间结构注意力机制提取长期性的历史周期信息。模型采用注意力机制替代传统的局部卷积核结构,可以有效提取长距离时空依赖关系。在METR-LA(洛杉矶路网)、PeMS-BAY(加州湾区路网)、PeMS-S(加州小型路网)三个真实的交通数据集上进行实验证明,模型在预测未来60 min的交通流精度上较传统深度学习方法,RMSE(均方根误差)平均降低3.1%、3.9%和1.8%,表明所提模型的长时间预测能力优势明显。     

伪3D卷积神经网络与注意力机制结合的疲劳驾驶检测

目的 复杂环境下的疲劳驾驶检测是一个具有挑战性的技术问题。为了充分利用驾驶员面部特征信息与时间特征,提出一种基于伪3D（Pseudo-3D,P3D）卷积神经网络（convolutional neural network,CNN）与注意力机制的驾驶疲劳检测方法。方法 采用伪3D卷积模块进行时空特征学习;提出P3D-Attention模块,利用P3D的结构融合双通道注意力模块和适应的空间注意力模块,提高对重要通道特征的相关度,增加特征图的全局相关性,将多层深度卷积特征进行融合。利用双通道注意力模块分别在视频帧之间和每一帧的通道上施加关注,去除背景和噪声对识别的干扰,使用自适应空间注意模块使模型训练更快、收敛更好;使用2D全局平均池化层替代3D全局平均池化层获得更具表达能力的特征,进而提高网络收敛速度;运用softmax分类层进行分类。结果 在公共数据集YawDD（a yawning detection dataset）上开展对比实验,本文方法在测试集上的F1-score检测准确率达到99.89%,在打哈欠类别上召回率达到100%;在数据集UTA-RLDD（University of Texas at Arlington real-life drowsiness dataset）上,本文方法在测试集上的F1-score检测准确率达到99.64%,在困倦类别上召回率达到100%;与Inception-V3融合LSTM（long short-term memory）的方法相比,本文方法模型大小为42.5 MB,是其模型大小的1/9,本文方法预测时间约660 ms,是其11%左右。结论 提出一种基于伪3D卷积神经网络与注意力机制的驾驶疲劳检测方法,利用注意力机制进一步分析哈欠、眨眼和头部特征运动,将哈欠行为与说话行为动作很好地区分开来。     

基于注意力机制的航班配餐备份数预测算法

航班配餐备份量受到历史订票人数和多种外部因素的影响,可以利用注意力机制捕获航班历史订票人数对最终离港人数的影响程度,通过编解码器结构捕获外部复杂因素与航班旅客订票序列间的关系,再引入残差设计加快模型的收敛速度并防止梯度爆炸问题。文章提出一种基于注意力机制的航班配餐备份数预测算法,并在真实航班旅客数据集上进行实验,以MAPE(平均绝对百分比误差)为评价指标,该算法较传统的统计学方法、机器学习方法和深度学习方法,误差分别降低2.19%、0.42%和3.02%。     

融合MS-IRB与CAM的入侵检测模型

针对深度学习模型复杂度高导致的模型训练时间长、收敛速度慢等问题，本文提出了一种融合多尺度倒残差块(Multiscale-Inverted Residual Block, MS-IRB)与通道注意力机制(Channel Attention Mechanism, CAM)的入侵检测模型，该模型在确保检测性能的同时降低了复杂度.首先，将数据集中的一维网络流量数据进行数值化、归一化处理，进而转化为三通道格式；其次，利用三组倒残差块对数据进行多尺度特征提取，所使用的卷积核尺寸分别为1×1、2×2、3×3,采用通道注意力机制为各个卷积通道分配不同权重，提高了本文模型对包含更多有效信息通道的关注度，选用BN方法来降低过拟合程度并加快模型的收敛速度；最后，将全连接处理所得特征矩阵通过Softmax函数映射获得分类结果.为验证本文模型，在UNSW-NB15数据集上进行实验评估.实验结果表明：本文模型参数数量分别比CNN少34%、比LSTM少60%,且计算量比CNN小45%;同时，分类准确率相比CNN提高了0.7%.     

智能车交通标志的改进YOLOv5识别算法

在硬件平台受限条件下，为提高智能车的性能，权衡实时识别交通标志的精度和速度，在YOLOv5的基础上，提出了针对嵌入式边缘设备的智能车交通标志识别的YOLOv5s_ghost_bi_sa算法。使用GhostConv替代部分普通卷积，在减少卷积结构参数的同时提高网络的拟合能力；添加置换注意力机制(Shuffle Attention, SE)，在空间注意力与通道注意力的基础上加入了特征分组与通道置换，提高对小目标的关注度；采用加权双向特征金字塔网络结构，加强特征融合。由华为ModelArts平台协同Hilens_kit设备收集制作数据集，实验结果表明:针对数据集大图像中的小目标采用双向跨尺度连接，将表层特征与深层特征融合配合注意力机制增加重要特征的权重，从而提高算法对于小目标检测的精度，YOLOv5s_ghost_bi_sa算法的mAP0.5达到98.8%，召回率达到0.979%，模型大小仅为11.6MB，Hilens_kit平台上预测速度为62帧/秒。在相同的测试环境下与原YOLOv5s算法相比，精度高出0.8%，浮点运算量下降58%，模型体积压缩4.6倍，预测速度提升2.7倍。YOLOv5s_ghost_bi_sa算法可以有效地实现智能车交通标志的实时识别。     

片段抽取型机器阅读理解算法研究

针对现有的机器阅读理解模型主要使用循环模型处理文本序列信息,这容易导致训练和预测速度慢且模型预测准确性不高等问题,提出了一种片段抽取型机器阅读理解算法QA-Reader.该算法利用大型预训练语言模型RoBERTa-www-ext获取问题和上下文的词嵌入表示;使用深度可分离卷积和多头自注意力机制进行编码;计算上下文和问题的双向注意力及上下文的自注意力,以融合上下文和问题之间的关联信息,拼接得到最终的语义表征;经过模型编码器预测得到答案,模型针对不可回答的问题计算了其不可回答的概率.在中文片段抽取型机器阅读理解数据集上进行了实验,结果表明QA-Reader模型与基线模型相比,其性能方面EM和F1值分别提高了3.821％、2.740％,训练速度提高了0.089％.     

基于循环神经网络的计算机辅助翻译系统设计

深度学习算法使得多语言智能翻译成为可能。但现有神经网络机器翻译模型使用了定长切分方式处理长句，这使得语义信息容易遗漏。为此，研究基于多层注意力机制和多跳注意力机制以及动态词向量和动态掩膜注意力机制对现有BiLSTM模型进行优化，旨在建立一种有效且准确的机器翻译模型。结果显示，研究所提模型在BLEU指标上比没有引入注意力机制的模型提高了3.4,比引入多头注意力机制的模型提高了1.5,比引入多跳注意力机制的模型提高了2.2。在P-BLEU指标最大值上，研究所提模型比基于静态掩码注意力机制的模型提高了0.71。此外，研究所提模型在正确匹配率上，比改进RNN和TermMind分别提高了9.66%和3.92%。因此，这表明优化后的模型在翻译准确性以及多样性上具备优势。     

基于改进领域分离网络的迁移学习模型

为进一步提高迁移学习的特征识别和提取效率、减少负迁移并增强模型的学习性能，提出了一种基于改进领域分离网络（DSN）的迁移学习模型AMCN-DSN(Attention Mechanism Capsule Network-DSN)。首先，使用融合多头注意力机制的胶囊网络（MHAC）完成源域和目标域特征信息的提取与重构，基于注意力机制有效筛选特征信息，并利用胶囊网络提高深层信息的提取质量；其次，引入动态对抗因子优化重构损失函数，使重构器可动态衡量源域与目标域信息的相对重要性，从而增强迁移学习的鲁棒性和提升收敛速度；最后，在分类器中融入多头自注意力机制，以强化对公有特征的语义理解并提高分类性能。在情感分析实验中，相较于其他迁移学习模型，所提模型能够将学习到的知识迁移到数据量少但相似性高的任务中，分类性能的下降幅度最小，迁移表现较好；在意图识别实验中，相较于分类性能次优的胶囊网络改进领域对抗神经网络（DANN+CapsNet）模型，所提模型的精确度、召回率和F1值分别提升了4.5%、4.3%和4.4%，表明所提模型在处理小数据问题和个性化问题上具有一定优势。与DSN相比，AMCNDSN在上述两类...     

基于数据增强的自监督飞行航迹预测

准确的飞行航迹预测可以帮助空中交通管理系统对潜在的危险提出预警，并有效地为安全出行提供指导。飞机飞行所处的大气情况复杂多变，飞行航迹受大气扰动、空中云层等外部因素的影响很大，使得飞行航迹预测问题十分复杂和困难。另外，由于某些飞行区域所在的地面环境恶劣，无法部署足够的信号基站，而某些飞行区域的飞行信号由多个信号基站采集组合而成，造成最终得到的飞行航迹数据存在稀疏和含噪等问题，进一步增加了飞行航迹预测的难度。文中提出了一种基于数据增强的自监督飞行航迹学习方法。此方法采用基于正则化的数据增强方式，扩充了稀疏的航迹数据集并处理了数据中包含的异常值，利用最大化互信息的方式进行自监督预训练，以挖掘飞行航迹中蕴含的运动模式和航行意图，采用一种带有蒸馏机制的多头自注意力模型作为基础模型，解除了循环神经网络长期依赖和无法并行计算的限制，并利用注意力蒸馏机制和生成式解码方式降低了模型的复杂度，加快了其训练和预测的速度。在飞行航迹数据集上的评测结果显示，此方法较目前预测表现最优秀的方法在纬度、经度和高度上的预测结果的均方根误差各减少了20.8%,26.4%和25.6%,极大地提高了预测准确性。     

正交约束多头自注意力的场景文本识别

目的 场景文本识别（scene text recognition，STR）是计算机视觉中的一个热门研究领域。最近，基于多头自注意力机制的视觉Transformer （vision Transformer，ViT）模型被提出用于STR，以实现精度、速度和计算负载的平衡。然而，没有机制可以保证不同的自注意力头确实捕捉到多样性的特征，这将导致使用多头自注意力机制的ViT模型在多样性极强的场景文本识别任务中表现不佳。针对这个问题，提出了一种新颖的正交约束来显式增强多个自注意力头之间的多样性，提高多头自注意力对不同子空间信息的捕获能力，在保证速度和计算效率的同时进一步提高网络的精度。方法 首先提出了针对不同自注意力头上Q （query）、K （key）和V （value）特征的正交约束，这可以使不同的自注意力头能够关注到不同的查询子空间、键子空间、值子空间的特征，关注不同子空间的特征可以显式地使不同的自注意力头捕捉到更具差异的特征。还提出了针对不同自注意力头上Q 、K 和V 特征线性变换权重的正交约束，这将为Q、K和V特征的学习提供正交权重空间的解决方案，并在网络训练中带来隐式正则化的效果。结果 实验在7个数据集上与基准方法进行比较，在规则数据集Street View Text （SVT）上精度提高了0.5%；在不规则数据集CUTE80 （CT）上精度提高了1.1%；在7个公共数据集上的整体精度提升了0.5%。结论 提出的即插即用的正交约束能够提高多头自注意力机制在STR任务中的特征捕获能力，使ViT模型在STR任务上的识别精度得到提高。本文代码已公开： https：//github.com/lexiaoyuan/XViTSTR。