基于节点相似性的图注意力网络表示学习模型

图注意力网络(GAT)通过注意力机制聚合节点的邻居信息以提取节点的结构特征,然而并没有考虑网络中潜在的节点相似性特征。针对以上问题,提出了一种考虑网络中相似节点的网络表示学习方法NSGAN。首先,在节点层面上,通过图注意力机制分别学习相似网络和原始网络的结构特征;其次,在图层面上,将两个网络对应的节点嵌入通过基于图层面的注意力机制聚合在一起,生成节点最终的嵌入表示。在三个数据集上进行节点分类实验,NSGAN比传统的图注意力网络方法的准确率提高了约2%。     

引入坐标注意力和自注意力的人体关键点检测研究

人体关键点检测在智能视频监控、人机交互等领域具有重要应用。多数基于深度学习的人体关键点检测算法仅聚焦于增加多尺度特征或加深网络模型深度,忽略了在获取低分辨率特征图过程中因重复下采样操作而造成的信息丢失。针对该问题,提出一种高分辨率的人体关键点检测网络CASANet,以实现二维图像人体姿态估计。使用HRNet作为骨干网络,引入坐标注意力模块在1/16分辨率特征图分支上捕获位置信息和通道信息,利用自注意力模块在1/32分辨率特征图分支上捕获位置信息和通道信息的内部相关性,通过这2个模块克服网络在获取低分辨率特征图过程中的信息丢失问题。在MS COCOVAL 2017数据集上进行实验,结果表明, CASANet网络可以在参数量和计算量有少量提升的情况下获得更高的检测准确度,有效提升通道信息和位置信息的提取效果,相较基线方法,CASANet的AP值提高2.4个百分点。     

基于图动态注意力网络的多站点风速预测

时空序列预测任务在交通、气象、智慧城市等领域有着广泛应用。站点风速预测作为气象预测中的主要任务之一,需要结合降水、气温等外部因素,学习不同数据的时空特征。气象站点的不规则分布和风本身的固有间歇性成为实现高精度风速预测的挑战。为考虑多站点空间分布对风速的影响以获得准确可靠的预测结果,提出一种基于图的动态转换注意力网络（Graph-DSAN）风速预测模型。首先,利用不同站点之间的距离重新构建它们的连接;其次,使用局部采样的过程建模不同采样大小的邻接矩阵,实现图卷积过程中邻居节点信息的聚合与传递;接着,将时空位置编码（STPE）处理后的图卷积结果加入动态注意力编码器（DAE）和转换注意力解码器（SAD）以实现动态注意力计算,从而提取时空相关性;最后,利用自回归的方式形成多步预测。在纽约州15个站点的风速预测实验中,将所设计模型与ConvLSTM、图多注意力网络（GMAN）、时空图卷积网络（STGCN）、动态转换注意力网络（DSAN）和时空动态网络（STDN）进行比较,Graph-DSAN的12 h预测均方根误差（RMSE）分别降低了28.2%、6.9%、27.7%、14.4%和8.9%,验证...     

用于特定目标情感分析的交互注意力网络模型

特定目标情感分析旨在判别评论中不同目标所对应的情感极性。越来越多的研究人员采用基于神经网络的各种方法在特定目标情感分析任务中取得了较好的成绩。但大多数与目标相关的模型只关注目标对上下文建模的影响,而忽略了上下文在目标建模中的作用。为了解决上述问题,提出一种交互注意力网络模型（LT-T-TR）,该模型将一条评论分为三个部分：包含目标的上文,目标,包含目标的下文。通过注意力机制进行目标与上下文的交互,学习各自的特征表示,从中捕获目标短语和上下文中最重要的情感特征信息。通过在两个标准数据集上的实验验证了模型的有效性。     

深度层次注意力矩阵分解

矩阵分解由于其较好的评分预测能力而被广泛应用于的个性化推荐中,很多模型也在矩阵分解的基础上改进以提升推荐性能。但是,这些模型由于获取用户偏好信息的能力有限而导致其推荐效果不佳。为了充分挖掘用户的偏好信息,提出了深度层次注意矩阵分解(DeepHAMF)的推荐模型。首先,对于原始数据除了输入到多层感知机之外,还采用自注意力机制编码后再输入到多层感知机中,目标是捕获显式偏好信息,并将这部分命名为自注意力层;其次,将原始矩阵分解与注意力编码之后的矩阵分解结果分别与多层感知机输出的结果通过注意力机制融合,这样能够充分挖掘出用户的潜在偏好信息,这部分命名为层次注意力模块;最后,通过残差网络将层次注意力模块和自注意力层进行信息拟合,这部分命名为残差融合层。在公开评分数据集上的实验结果表明,DeepHAMF比现有的评分预测模型效果更好。     

注意力经济与网络

随着信息的爆炸式增长,我们面临着如何选择的难题,这其实是我们的注意力缺乏的一个信号。我们有限的注意力已经无法抵挡大量信息汹涌而来。物以稀为贵,日渐缺乏的注意力便催生了一种新的经济形式—注意力经济,这种经济正在到来。注意力经济促使了隐式网络的出现。人们的注意力正在被这些网站收集和使用没有意识到,AttentionTrust制定的规则试图改变这一现状。注意力经济的发展还面临诸多挑战,但终将取代旧经济。     

基于LSTM-att的车辆异常驾驶行为识别

车辆的异常行为可能引发交通事故, 甚至造成经济损失和人员伤亡. 准确识别车辆异常行为可以预防潜在的危险. 针对现有研究存在的数据难以保留时间特征等问题, 本文提出一种带有注意力层的长短记忆神经网络的识别模型, 利用真实交通场景车辆异常轨迹对所提出的模型进行训练和验证. 实验结果表明, 所提出的模型能够有效的识别车辆异常驾驶行为, 准确率可达到98.4%.     

基于Attention-DenseNet-BC的恶意软件家族分类方法

恶意软件是互联网最严重的威胁之一.现存的恶意软件数据庞大,特征多样.卷积神经网络具有自主学习的特点,可以用来解决恶意软件特征提取复杂、特征选择困难的问题.但卷积神经网络连续增加网络层数会引起梯度消失,导致网络性能退化、分类准确率较低.针对此问题,提出了一种适用于恶意软件图像检测的Attention-DenseNet-BC模型.首先结合DenseNet-BC网络和注意力机制(attention mechanism)构建了Attention-DenseNet-BC模型,然后将恶意软件图像作为模型的输入,通过对模型进行训练和测试得到检测结果.实验结果表明,相比其他深度学习模型,Attention-DenseNet-BC模型可以取得更好的分类结果.在Malimg公开数据集上该模型取得了较高的分类精确率.     

基于有监督注意力网络的伪造人脸视频检测

在伪造人脸视频检测中,大多数方法都以单一的卷积神经网络作为特征提取模块,提取的特征可能与人类的视觉机制不符。针对此类问题,提出基于有监督注意力网络的伪造人脸视频检测方法。基于胶囊网络检测伪造人脸视频,使用注意力分支提高对伪造人脸图像细节特征的提取能力,使用焦点损失提高模型对难检测样本的检测能力。在数据集FaceForensics++上的实验结果表明,提出方案有更优越的性能。     

分段时间注意力时空图卷积网络的动作识别

得益于图卷积网络(GCN)对于处理非欧几里得数据有着非常好的效果,同时人体的骨骼点数据相对于RGB视频数据具有更好的环境适应性和动作表达能力.因此,基于骨骼点的人体动作识别方法得到了越来越多的关注和研究.将人体骨骼建模为时空图形的数据进行基于GCN模型的动作识别取得了显著的性能提升,但是现有的基于GCN的动作识别模型往往无法捕获动作视频流中的细节特征.针对此问题,本文提出了一种基于分段时间注意力时空图卷积骨骼点动作识别方法.通过将数据的时间帧进行分段处理,提取注意力,来提高模型对细节特征的提取能力.同时引入协调注意力模块,将位置信息嵌入注意力图中,这种方法增强了模型的泛化能力.在NTU-RGBD数据集和Kinetics-Skeleton数据集上的大量实验表明,本文所提模型可以获得比目前多数文献更高的动作识别精度,有更好的识别效果.     

基于类时序注意力机制的图像描述方法

近年来, 注意力机制已经广泛应用于计算机视觉领域, 图像描述常用的编码器-解码器框架也不例外. 然而,当前的解码框架并未较清楚地分析图像特征与长短期记忆神经网络(LSTM)隐藏状态之间的相关性, 这也是引起累积误差的原因之一. 基于该问题, 本文提出一个类时序注意力网络(Similar Temporal Attention Network, STAN),该网络扩展了传统的注意力机制, 目的是加强注意力结果与隐藏状态在不同时刻的相关性. STAN首先对当前时刻的隐藏状态和特征向量施加注意力, 然后通过注意力融合槽(AFS)将两个相邻LSTM片段的注意力结果引入到下一时刻的网络循环中, 以增强注意力结果与隐藏状态之间的相关性. 同时, 本文设计一个隐藏状态开关(HSS)来指导单词的生成, 将其与AFS结合起来可以在一定程度上解决累积误差的问题. 在官方数据集Microsoft COCO上的大量实验和各种评估机制的结果表明, 本文提出的模型与基线模型相比, 具有明显的优越性, 取得了更有竞争力的结果.     

基于注意力机制与图网络的多目标跟踪

在基于检测的多目标跟踪算法中,为了获取更具鉴别性的特征以及解决复杂场景下目标的频繁带来的目标丢失以及身份切换问题,提出了一种基于注意力机制与图网络的多目标跟踪算法。算法利用Resnet-34-CBAM网络作为外观特征提取网络,分别将相邻帧的外观特征、位置信息利用特征融合网络进行融合,将获得的融合特征与运动特征分别使用不同更新策略的图网络进行更新,分别获得融合特征与运动特征相似度,使用超参数将两种相似度结合,进而获得相邻帧目标之间的相似度。最终使用匈牙利算法完成关联实现跟踪任务。最后在MOT17数据集进行实验,相较MOTDT算法,MOTA指标提升2.7%,MOTP指标提升6.4%,IDF1指标提升5.9%。实验结果证明,提出的基于图网络与注意力机制的多目标跟踪算法可以有效提高多目标跟踪的整体性能,并有效降低身份切换。     

融合双层注意力机制的属性网络节点嵌入

属性网络嵌入旨在学习网络中节点的低维表示,具有拓扑和属性相似的节点在嵌入空间彼此接近.注意力机制能有效学习网络中节点与其邻居的相对重要性并基于邻居重要性聚合节点表示.据此,提出一种在属性网络中融合双层注意力机制的节点嵌入算法NETA,可以有效地实现属性网络嵌入.该算法首先从拓扑结构捕获直接邻居,基于属性关系捕获间接邻居...     

基于结构感知混合编码模型的代码注释生成方法

代码注释能够提高程序代码的可读性，从而提升软件开发效率并降低成本。现有的代码注释生成方法将程序代码的序列表示或者抽象语法树表示输入到不同结构的编码器网络，无法融合程序代码不同抽象形式的结构特性，导致生成的注释可读性较差。构建一种结构感知的混合编码模型，同时考虑程序代码的序列表示和结构表示，通过序列编码层和图编码层分别捕获程序代码的序列信息和语法结构信息，并利用聚合编码过程将两类信息融合至解码器。设计一种结构感知的图注意力网络，通过将程序代码的语法结构的层次和类型信息嵌入图注意力网络的学习参数，有效提升了混合编码模型对程序代码的复杂语法结构的学习能力。实验结果表明，与SiT基准模型相比，混合编码模型在Python和Java数据集上的BLEU、ROUGE-L、METEOR得分分别提高了2.68%、1.47%、3.82%和2.51%、2.24%、3.55%，能生成更准确的代码注释。     

基于多头软注意力图卷积网络的行人轨迹预测

行人间交互作用的复杂性给行人轨迹预测带来了挑战,且现有算法难以捕获行人间有意义的交互信息,不能直观地建模行人间的交互作用。针对以上问题,提出多头软注意力图卷积网络。首先利用多头软注意力（MS ATT）结合内卷网络Involution分别从空间图和时间图输入中提取稀疏空间和稀疏时间邻接矩阵,生成稀疏空间和稀疏时间有向图;然后,利用图卷积网络（GCN）从稀疏空间和稀疏时间有向图中学习交互作用与运动趋势特征;最后,将学习到的轨迹特征输入时间卷积网络（TCN）以预测双高斯分布参数,生成行人预测轨迹。在ETH和UCY数据集上的实验结果表明：相较于空时社交关系池化行人轨迹预测模型（SOPM）,所提算法的平均位移误差（ADE）降低了2.78%;相较于稀疏图卷积网络（SGCN）,所提算法的最终位移误差（FDE）降低了16.92%。     

基于图的人-物交互识别

提出了一种基于图的人与物体的交互（Human-Object Interactions,HOIs）识别方法。为了对静态图像中人与物体间丰富的交互关系进行有效的表示,采用具有强大关系建模能力的图结构为图像生成对应的人-物交互关系图。为了对图像中上下文（context）信息加以利用,提出了引入注意力机制的特征处理网络（Feature Processing Network,FPNet）。通过图注意力（Graph Attention Network,GAT）网络完成对真实的HOIs的检测和识别。该方法在V-COCO数据集与HICO-DET数据集上进行了验证,并与其他方法进行了比较,结果表明该方法具有较好的效果。     

多注意力机制的文本摘要事实一致性评估模型

事实一致性是摘要内容与源文档内容的信息一致。最近的研究表明,文本摘要模型生成的摘要存在较多与原文事实不一致的问题,设计能够检测并评估出事实不一致错误的方法至关重要。目前基于自然语言推理的方法存在对源文档内容提取简单,推理信息交互不充分等问题。提出多注意力机制的文本摘要事实一致性评估模型,利用预训练模型微调的sentence-BERT模型挑选源文档中的关键句,然后将摘要句与关键句组合成句子对,输入BERT模型编码获得向量表示结合ESIM进行句子对的推理,利用图注意力网络完成推理信息的聚合,提高文本摘要事实一致性评估模型的准确率。实验结果表明,该算法与多个典型算法在在领域内常用的数据集进行实验比较,其可行性和有效性得到验证。     

面向文本结构的混合分层注意力网络的话题归类

针对目前话题归类模型中文本逻辑结构特征与文本组织结构特征利用不充分的问题,该文提出一种面向文本结构的混合分层注意力网络的话题归类模型(TSOHHAN)。文本结构包括逻辑结构和组织结构,文本的逻辑结构包括标题和正文等信息;文本的组织结构包括字—词语—句层次。TSOHHAN模型采用竞争机制融合标题和正文以增强文本逻辑结构特征在话题归类中的作用;同时该模型采用字-词语-句层次的注意力机制增强文本组织结构特征在话题归类中的作用。在4个标准数据集上的实验结果表明,TSOHHAN模型能够提高话题归类任务的准确率。     

注意力机制在自然场景文字检测中的应用

针对目前主流的基于分割的文字检测方法中由于需要复杂的后处理过程保证检测精度,通常难以实现高检测速度的问题,提出一种应用位置注意力模块和金字塔注意力网络2种注意力机制的方法.首先用金字塔注意力网络对图像进行特征提取及语义分割;同时将位置注意力模块应用于高层特征,通过加强图像中相似物体的权重加强对文字的检测效果;最后进行简单有效的后处理,在实现较高检测准确度的前提下提高检测速度.实验结果表明,在Total-text数据集中,采用更轻量化的骨干网络时,所提方法在检测速度上优势明显;采用更深层的骨干网络时,所提方法的检测准确度领先2.0％.