基于时空特征的公交站点短时客流量预测

针对以往公交客流量预测只考虑时序特征而忽略空间维度特征的缺点,提出一种结合注意力机制的图卷积长短期记忆单元预测模型(AGLSTM)来预测公交站点的客流量。该模型运用图卷积网络(GCN)对每个时刻的公交站点客流量进行空间维度的特征提取,使用长短期记忆网络(LSTM)对公交站点客流量进行时间特征的提取。为了更关注公交站点客流量有重大影响时刻的特征,该模型还引入了注意力机制模块。注意力机制可以通过计算不同时刻长短期记忆单元隐藏状态的权重,来评估各隐藏状态对输出结果的影响。通过对北京4条公交线路的真实刷卡数据进行实验分析,并与部分经典预测算法进行对比,证明了提出的考虑时空特征的组合模型能够有效地提高模型的预测精度。     

基于深度学习的伺服系统状态预测算法

针对传统状态预测方法难以从伺服系统历史数据中有效提取特征的问题,提出一种基于深度学习的伺服系统状态预测算法。该算法利用长短时记忆网络LSTM(Long Short-Term Memory)从时序和特征参数两个维度在系统状态参数中提取数据特征。并在多任务学习MTL(Multi-task Learning)框架下将具有相同特征参数的预测任务整合到同一个模型当中,所有预测任务共享LSTM网络权重。在每一状态参数预测阶段,独立地引入注意力机制,以调节不同时刻、不同特征对所预测状态的影响。针对应用中预测参数的重要性不同,构建加权损失函数,以减小重要参数的预测误差。实验结果表明,该算法与传统LSTM模型、单任务模型STL-LSTM相比,预测误差平均降低40.9%、19.8%。     

结合视觉属性注意力和残差连接的图像描述生成模型

使机器自动描述图像一直是计算机视觉研究的长期目标之一.为了提高图像内容描述模型的精度,提出一种结合自适应注意力机制和残差连接的长短时间记忆网络(LSTM)的图像描述模型.首先根据pointer-net网络改进基本LSTM结构,增加记录图像视觉属性信息的单元;然后利用改进的LSTM结构,设计基于图像视觉语义属性的自适应注意力机制,自适应注意力机制根据上一时刻模型隐藏层状态,自动选择下一时刻模型需要处理的图像区域;此外,为了得到更紧密的图像与描述语句之间映射关系,构建基于残差连接的双层LSTM结构;最终得到模型能够联合图像视觉特征和语义特征对图像进行内容描述.在MSCOCO和Flickr30K图像集中进行训练和测试,并使用不同的评估方法对模型进行实验验证,结果表明所提模型的性能有较大的提高.     

基于多层级上下文投票的三维密集字幕

传统的三维密集字幕方法存在未充分考虑上下文信息、点云特征信息丢失以及隐藏状态信息量单一等问题.为了应对这些挑战,提出了多层级上下文投票网络,该网络在投票过程中使用自注意力机制捕获点云的上下文信息并加以多层级利用,提升检测对象的准确率.同时,还设计了隐藏状态-注意力时序融合模块,将当前时刻隐藏状态融合与前一时刻注意力结果融合,丰富隐藏状态信息量,从而提高模型表达能力.除此之外,采用“两阶段”训练方法,有效过滤掉生成的低质量对象提案,增强描述效果.在官方数据集ScanNet和ScanRefer上的大量实验表明,该方法与基线方法相比取得了更有竞争力的结果.     

基于卷积注意力长短时记忆网络的轴承寿命预测方法EI北大核心CSCD

传统的滚动轴承寿命预测方法缺乏明确的学习机制,无法有效识别不同时序特征之间的差异并突出重要特征,影响其预测精度.为克服上述缺点,本文提出了一种基于卷积注意力长短时记忆网络(CAN-LSTM)的剩余使用寿命预测模型.该模型主要由两部分组成:前端为卷积注意力网络(CAN),学习通道和时间维度中的深层故障特征,提高特征的表征能力;后端为改进LSTM网络,基于退化特征对轴承进行寿命预测.归一化健康指标至[0,1]区间内,得到相同的失效阈值;使用五点平滑法对预测结果进行处理,实现预测结果的输出;利用留一法对轴承全寿命试验数据进行验证,测试模型的准确性和适应性.试验结果表明:所提模型的平均均方根误差和平均绝对值误差比仅用CNN模型预测值低54.12%和59.05%,比仅用LSTM模型预测值低39.06%和43.42%,比卷积长短时记忆网络(CNN-LSTM)低20.41%和25.86%.     

基于Mogrifier LSTM的序列标注关系抽取方法

对文本中的上下文信息进行充分利用能够提高关系抽取性能,但当前多数基于深度学习的关系抽取方法仅捕获文本序列中的浅层特征信息,在长序列文本中易丢失上下文信息。针对传统LSTM中输入和隐藏状态之间相互独立且缺少信息交互的问题,建立一种基于Mogrifier LSTM的序列标注关系抽取模型。将由词嵌入、字符嵌入和位置嵌入构成的嵌入层结果输入Mogrifier LSTM层,该层通过在传统LSTM计算之前交替地让当前输入与之前隐藏状态进行多轮运算,以增强上下文交互能力。使用自注意力机制提高模型对重要特征的关注度,同时采用基于关系的注意力机制获取特定关系下的句子表示,从而解决实体关系重叠问题。在关系分类模块,利用Bi-LSTM进行序列标注,将句子中的每个词汇映射为相应的标签。实验结果表明,在NYT数据集上该模型的F1值达到0.841,优于HRL、OrderRL等模型,在存在SEO重叠类型的关系抽取中,F1值仍能达到0.745,所提模型能够在一定程度上解决关系重叠问题同时有效提升关系抽取性能。     

基于注意力机制的短道速滑运动轨迹预测模型

为了解决短道速滑中多名运动员在拥挤状态下容易出现轨迹判断错误的问题,本文设计了一种基于注意力机制的轨迹预测模型。把位置和速度信息输入LSTM编码器中,再通过注意力模块对速度信息进行加权求和,最后整合速度和位置的隐藏状态输入到LSTM解码器来对短道速滑轨迹进行预测。结果采用平均位移误差（ADE）和最终位移误差（FDE）进行评估。结果表明：提出的轨迹预测模型在短道速滑运动员训练数据集中和在公开数据集中与基准模型相比平均ADE和FDE精度明显优于其他网络模型,具有一定的实用价值。     

基于注意力机制的LSTM的语义关系抽取*

目前关系抽取方法中,传统深度学习方法存在长距离依赖问题,并且未考虑模型输入与输出的相关性。针对以上问题,提出了一种将LSTM模型(Long Short-term memory)与注意力机制(Attention Mechanism)相结合的关系抽取方法。首先将文本信息向量化,提取文本局部特征;然后将文本局部特征导入双向LSTM模型中,通过注意力机制对LSTM模型的输入与输出之间的相关性进行重要度计算,根据重要度获取文本整体特征;最后将局部特征和整体特征进行特征融合,通过分类器输出分类结果。在SemEval-2010 Task 8语料库上的实验结果表明,该方法的准确率和稳定性较传统深度学习方法有进一步提高,为自动问答、信息检索以及本体学习等领域提供了方法支持。     

基于融合注意力机制的图像标题生成

图像标题生成利用机器自动产生描述图像的句子,属于计算机视觉与自然语言处理的交叉领域.传统基于注意力机制的算法侧重特征图不同区域,忽略特征图通道,易造成注意偏差.该模型通过当前嵌入单词与隐藏层状态的耦合度来赋予特征图不同通道相应权重,并将其与传统方法结合为融合注意力机制,准确定位注意位置.实验结果均在指定的评估方法上有一定的提升,表明该模型可以生成更加流利准确的自然语句.     

基于注意力机制优化EDM机场客流量预测

针对标准编码解码模型(Encoder-Decoder Model,EDM)对于时间序列数据提取能力弱的问题,提出一种融合双向长短时记忆网络(Bi-directional Long Short-Term Memory,Bi-LSTM)和注意力机制(Attention)的编码解码模型.通过Bi-LSTM对输入数据从正反两个方向进行特征提取,基于注意力机制将所得到的特征根据不同时刻分配不同权重,根据解码阶段的不同时刻生成相应背景变量,进而实现对机场客流量的预测.选取上海虹桥机场为例用该算法进行实验仿真,实验结果表明,本文所提方法与RNN、LSTM相比,平均标准误差降低了57.9％以上,为机场客流量预测提供了一种新的思路.     

基于时空注意力网络的动态高速路网交通速度预测

交通速度是影响高速路网通行效率和安全的重要指标,精准预测高速路网交通速度可以减少交通事故和通行时间,预先为交通控制提供有价值的参考信息,对高速公路管理具有重要意义。基于时空注意力网络,提出一种由数据和长期预测任务驱动面向动态高速路网的交通速度预测模型(ST-ANet)。通过图注意力网络提取高速路网的动态空间关联特征,使用长短期记忆网络提取输入数据的时间关联特征。在此基础上,采用基于多头自注意力机制的时间注意力网络计算历史输入数据和预测值之间的相关性,并利用密集连接和层归一化方法进一步提升模型性能。基于中国宁夏回族自治区银川市高速路网监测数据进行实验,结果表明,与GCN-LSTM模型相比,STANet模型预测未来1 h、2 h和3 h内高速路网交通速度的平均绝对误差分别降低4.0%、3.6%和3.9%。     

基于改进的Transformer_decoder的增强图像描述

Transformer的解码器（Transformer_decoder）模型已被广泛应用于图像描述任务中,其中自注意力机制（Self Attention）通过捕获细粒度的特征来实现更深层次的图像理解。本文对Self Attention机制进行2方面改进,包括视觉增强注意力机制（Vision-Boosted Attention, VBA）和相对位置注意力机制（Relative-Position Attention, RPA）。视觉增强注意力机制为Transformer_decoder添加VBA层,将视觉特征作为辅助信息引入Self Attention模型中,指导解码器模型生成与图像内容更匹配的描述语义。相对位置注意力机制在Self Attention的基础上,引入可训练的相对位置参数,为输入序列添加词与词之间的相对位置关系。基于COCO2014进行实验,结果表明VBA和RPA这2种注意力机制对图像描述任务都有一定改进,且2种注意力机制相结合的解码器模型有更好的语义表述效果。     

Visual question answering via Attention-based syntactic structure tree-LSTM

Due to the various patterns of the image and free-form language of the question, the performance of Visual Question Answering (VQA) still lags behind satisfaction. Existing approaches mainly infer answers from the low-level features and sequential question words, which neglects the syntactic structure information of the question sentence and its correlation with the spatial structure of the image. To address these problems, we propose a novel VQA model, i.e., Attention-based Syntactic Structure Tree-LSTM (ASST-LSTM). Specifically, a tree-structured LSTM is used to encode the syntactic structure of the question sentence. A spatial-semantic attention model is proposed to learn the visual-textual correlation and the alignment between image regions and question words. In the attention model, Siamese network is employed to explore the alignment between visual and textual contents. Then, the tree-structured LSTM and the spatial-semantic attention model are integrated with a joint deep model, in which the multi-task learning method is used to train the model for answer inferring. Experiments conducted on three widely used VQA benchmark datasets demonstrate the superiority of the proposed model compared with state-of-the-art approaches.     

基于显著性目标检测的弹着点定位算法

针对目前炮弹定位方法安全隐患大、人工测量效率低、精度差的问题,本文提出一种基于显著性目标检测网络BASNet(Boundary-Aware Salient Object Detection)的弹着点定位方法。采用改进的BASNet网络,结合注意力机制模块CBAM(Convolutional Block Attention Module)、金字塔池化模块PPM(Pyramid Pooling Module)与深度可分离卷积,对炮弹火焰进行显著性检测,提取弹着点图像坐标。实验结果表明,该方法在自制的炮弹火焰数据集上的检测精度F值达到0.914,MAE为0.006,推理速度为3.86 fps,优于BASNet、U2Net等显著性目标检测网络。该方法提取的弹着点图像坐标与真实坐标误差为5.92个像素值,相比于BASNet网络减少近4.85个像素值。综合可知,该算法增强了网络对显著性物体内部的检测精度,提高了模型推理效率,减少了图像弹着点坐标误差,适用于靶场小范围炮弹火焰烟雾的检测,能够满足靶场应用的实测需求。     

基于时空注意力机制的加油站级客流量预测

加油站是重要的能源供给单位,对加油站站点的下一时段客流量进行精准预测,可为相关资源的调度与分配提供决策支撑.针对加油站级客流量预测问题,结合加油站客流数据的时空特征,提出一种基于注意力机制的时空网络模型.以路网结构建模的站级客流数据为输入,结合卷积神经网络、长短期记忆网络与注意力机制,解决站点间的空间依赖、短期与长期时...     

基于注意力机制的图像超分辨率重建

目前,单幅图像超分辨率重建取得了很好的效果,然而大多数模型都是通过增加网络层数来达到好的效果,并没有去发掘各通道之间的相关性.针对上述问题,提出了一种基于通道注意力机制(CA)和深度可分离卷积(DSC)的图像超分辨率重建方法.整个模型采用多路径模式的全局和局部残差学习,首先利用浅层特征提取块来提取输入图像的特征;然后,...     

结合DCGAN与LSTM的阿兹海默症分类算法

针对传统的阿兹海默症（AD）分类3D模型参数过多以及2D模型缺乏连续性特征的问题,提出了一种结合2D卷积神经网络与长短时记忆网络的脑部核磁共振成像（MRI）图像分类算法。利用深度卷积生成对抗网络（DCGAN）,卷积层能够在无标签的情况下自动提取到图像特征。首先以无监督的方式训练卷积神经网络;然后将MRI图像序列转换为特征序列,再输入到长短时记忆网络进行训练;最后结合特征序列与LSTM的隐藏状态进行分类。实验结果显示,相比3D模型,该算法有着更少的参数,对于NC与AD的分类达到了93.93%的准确率,对于NC与MCI的分类达到了86.27%的准确率。     

基于LSTM-CNN-CBAM模型的股票预测研究

为了更好地对股票价格进行预测,进而为股民提供合理化的建议,提出了一种在结合长短期记忆网络(LSTM)和卷积神经网络(CNN)的基础上引入注意力机制的股票预测混合模型(LSTM-CNN-CBAM),该模型采用的是端到端的网络结构,使用LSTM来提取数据中的时序特征,利用CNN挖掘数据中的深层特征,通过在网络结构中加入注意...     

结合引导解码和视觉注意力的图像语义描述模型

针对输入的图像视觉信息不能在每一步解码过程中动态调整,同时为了提高图像语义描述模型的精度和泛化能力,提出了一种结合引导解码和视觉注意力机制的双层长短时记忆（long short term memory,LSTM）网络的图像语义描述模型。将提取到的图像的视觉和目标特征通过一个引导网络建模后送入LSTM网络的每一时刻,实现端到端的训练过程;同时设计了基于图像通道特征的视觉注意力机制,提高了模型对图像细节部分的描述。利用MSCOCO和Flickr30k数据集对模型进行了训练和测试,结果显示模型性能在不同的评价指标上都得到了提升。