基于注意力机制修正网络的行人属性识别

针对现有行人属性识别方法模型复杂,识别性能较低的问题,提出一种端到端的行人属性识别方法。构建注意力机制修正网络,在主干网络的不同卷积层后添加注意力分支,以提取注意力特征关注属性相关空域;提出一种注意力机制辅助训练方法,将注意力分支与主网络在预测级进行损失融合,通过梯度反向传播修正主网络权重,实现主网络的有效训练;在预测阶段,利用权重修正后的主网络实现属性识别。在RAP数据集上的实验结果表明,提出方法在没有额外辅助信息、不增加主网络体积和计算量的情况下,提升了行人属性识别性能。     

融合双层注意力机制的属性网络节点嵌入

属性网络嵌入旨在学习网络中节点的低维表示,具有拓扑和属性相似的节点在嵌入空间彼此接近.注意力机制能有效学习网络中节点与其邻居的相对重要性并基于邻居重要性聚合节点表示.据此,提出一种在属性网络中融合双层注意力机制的节点嵌入算法NETA,可以有效地实现属性网络嵌入.该算法首先从拓扑结构捕获直接邻居,基于属性关系捕获间接邻居...     

结合全局注意力机制的实时语义分割网络

针对轻量化网络结构从特征图提取有效语义信息不足,以及语义信息与空间细节信息融合模块设计不合理而导致分割精度降低的问题,本文提出一种结合全局注意力机制的实时语义分割网络(global attention mechanism with real time semantic segmentation network ,GaSeNet)。首先在双分支结构的语义分支中引入全局注意力机制,在通道与空间两个维度引导卷积神经网来关注与分割任务相关的语义类别,以提取更多有效语义信息;其次在空间细节分支设计混合空洞卷积块,在卷积核大小不变的情况下扩大感受野,以获取更多全局空间细节信息,弥补关键特征信息损失。然后重新设计特征融合模块,引入深度聚合金塔池化,将不同尺度的特征图深度融合,从而提高网络的语义分割性能。最后将所提出的方法在CamVid数据集和Vaihingen数据集上进行实验,通过与最新的语义分割方法对比分析可知,GaSeNet在分割精度上分别提高了4.29%、16.06%,实验结果验证了本文方法处理实时语义分割问题的有效性。     

基于AlexNet的注意力机制网络研究

本文采用引入人类视觉系统的注意力机制对AlexNet网络模型进行改进,通过融入注意力机制对AlexNet注意力机制网络进行研究,并通过CIFAR-10数据集进行实验对比验证.实验对比结果表明,AlexNet注意力机制网络模型比传统AlexNet网络模型具有更好的分类效果,其分类准确率提升了2％.     

基于全局空间注意力的人脸表情识别

人脸表情识别是模式识别领域中一个重要的研究方向。传统的机器学习方法受限于需要手动提取特征,该方式会导致识别结果的泛化能力不足,且稳定性较差。针对该限制,设计了一种基于深度学习的人脸表情识别算法,该算法通过卷积神经网络提取特征,然后经过全局空间注意力模块对特征分配权重,增强并融合重要特征、抑制边缘特征,从而提升网络分类的准确性。通过在FER2013人脸表情数据集上的实验,验证了该算法的合理性与有效性,最高达到了1.014%的准确度提升。最后,将算法应用于真实场景下的人脸表情识别,同样能拥有较高的识别精度,验证了该算法在真实环境下的有效性。     

CBFaceNet基于双注意力机制的微表情识别网络

微表情识别在学生课堂、医疗等方面都发挥着重要作用。现有的微表情识别模型技术大多使用传统的特征学习方法进行特征提取,但是传统的特征学习方法识别率不高,而深度学习的方法会产生大量的运行参数。因此,提出一种轻量级的微表情识别方法,称为CBFaceNet。该模型可以实现端到端的检测,适合应用于资源有限的移动设备。在提出的模型中,融合三维注意力机制simAM增强模型对微表情关键部位特征的提取,并且能够降低模型参数。在模型中插入通道和空间注意力模块CBAM,使提取的面部特征更加丰富,同时,采用混合损失函数测试该模型。在SMIC微表情数据集中将CBFaceNet与其他模型进行比较,实验结果表明,CBFaceNet在识别精度、复杂度和模型参数方面都有着优越的性能。     

基于带注意力机制CNN的联合知识表示模型

知识表示学习在自然语言处理领域获得了广泛关注,尤其在实体链指、关系抽取及自动问答等任务上表现优异。然而,大部分已有的表示学习模型仅利用知识库中的结构信息,无法很好地处理新的实体或关联事实极少的实体。为解决该问题,该文提出了引入实体描述信息的联合知识表示模型。该模型先利用卷积神经网络编码实体描述,然后利用注意力机制来选择文本中的有效信息,接着又引入位置向量作为补充信息,最后利用门机制联合结构和文本的向量,形成最终的联合表示。实验表明,该文的模型在链路预测和三元组分类任务上与目前最好的模型性能相近。     

基于全局属性注意力神经过程模型的数据补全研究

注意力神经过程(Attentive Neural Process, ANP)模型采用生成模型的方法,以样本的任意局部上下文点为输入,输出整个样本的分布函数,从而模仿高斯过程回归完成数据补全任务。样本的属性信息可以为样本的生成提供重要信息,然而ANP模型忽略了对属性信息的使用。受条件变分自动编码机(CVAE)模型以标签为条件控制样本生成的启发,文中提出了全局属性注意力神经过程(Global-attribute Attentive Neural Process, GANP),将样本属性嵌入到编码器网络,从而使浅层变量隐含样本属性信息。同时,在解码器网络中加入样本属性作为特征,使模型的生成样本更为准确,特别是当输入上下文点数量稀少时,属性信息能够帮助模型生成更清晰、准确的样本。最后,从定性和定量两个方面证明了GANP性能的优越性,可以看出该模型扩展了NP家族模型的应用范围,从而更灵活、快速、准确地解决只有部分上下文信息时整个样本的数据补全问题。     

自注意力机制的属性异构信息网络嵌入的商品推荐

基于异构信息网络嵌入的推荐技术能够有效地捕捉网络中的结构信息,从而提升推荐性能.然而现有的基于异构信息网络嵌入的推荐技术不仅忽略了节点的属性信息与节点间多种类型的边关系,还忽略了节点不同的属性信息对推荐结果不同的影响.为了解决上述问题,提出一个自注意力机制的属性异构信息网络嵌入的商品推荐(attributed heterogeneous information network embedding with self-attention mechanism for product recommendation, AHNER)框架.该框架利用属性异构信息网络嵌入学习用户与商品统一、低维的嵌入表示,并在学习节点嵌入表示时,考虑到不同属性信息对推荐结果的影响不同和不同边关系反映用户对商品不同程度的偏好,引入自注意力机制挖掘节点属性信息与不同边类型所蕴含的潜在信息并学习属性嵌入表示.与此同时,为了克服传统点积方法作为匹配函数的局限性,该框架还利用深度神经网络学习更有效的匹配函数解决推荐问题.AHNER在3个公开数据集上进行大量的实验评估性能,实验结果表明AHNER的可行性与有效性.     

基于图注意力网络表示学习的协同过滤推荐算法

针对传统的基于模型的协同过滤推荐算法未能有效利用用户与项目的属性信息以及用户之间与项目之间的关系结构信息, 本文提出一种基于图注意力网络表示学习的协同过滤推荐算法. 该算法使用知识图谱表示节点的属性特征信息和节点间的关系结构信息, 并在用户和项目的同质网络上进行节点的图注意力网络表示学习, 得到用户和项目的网络嵌入特征表示, 最后构建融合网络嵌入信息的神经矩阵分解模型获得推荐结果. 本文在Movielens数据集上与相关算法进行对比实验, 实验证明该算法能优化模型的推荐性能, 提高推荐的召回率HR@K和归一化折损累计增益NDCG@K.     

基于元路径与层次注意力的时序异质信息网络表示学习方法

异质信息网络表示学习在节点分类、链接预测、个性化推荐等多个领域上被广泛应用.现有的异质信息网络表示学习方法大多集中在静态网络,忽略网络中时间属性对节点表示的影响.为了解决该问题,文中提出基于元路径和层次注意力的时序异质信息网络表示学习方法.利用元路径捕获异质信息网络中的结构和语义信息.通过时间衰减注意力层,捕获不同元路径实例在特定时间对目标节点的影响.通过元路径级别注意力,融合不同元路径下的节点表示,得到最终表示.在DBLP、IMDB数据集上的实验表明,文中方法在节点分类和节点聚类任务上均可达到较优效果.     

基于层级注意力模型的无监督文档表示学习

许多自然语言应用需要将输入的文本表示成一个固定长度的向量,现有的技术如词嵌入（Word Embeddings）和文档表示（Document Representation）为自然语言任务提供特征表示,但是它们没有考虑句子中每个单词的重要性差别,同时也忽略一个句子在一篇文档中的重要性差别.本文提出一个基于层级注意力机制的文档表示模型（HADR）,而且考虑文档中重要的句子和句子中重要的单词因素.实验结果表明,在考虑了单词的重要和句子重要性的文档表示具有更好的性能.该模型在文档（IMBD）的情感分类上的正确率高于Doc2Vec和Word2Vec模型.     

基于多级注意力跳跃连接网络的行人属性识别

行人属性识别易受视角、尺度和光照等非理想自然条件变化的影响,且某些细粒度属性识别难度较大。为此,提出一种多级注意力跳跃连接网络MLASC-Net。在网络中间层,利用敏感注意力模块在通道及空间维度上对原特征向量进行筛选加权,设计多级跳跃连接结构来融合所提取的显著性特征。在网络顶层,改进多尺度金字塔池化以融合局部特征和全局特征。在网络输出层,结合验证损失算法自适应更新损失层,加速模型的收敛并提高精度。在PETA和RAP数据集上的实验结果表明,MLASC-Net的识别准确率相较原基准网络分别提高约4.62和6.54个百分点,其在识别效果和模型收敛速度上有明显优势,同时在非理想自然条件下具有良好的泛化能力,可有效提高网络对细粒度属性的鲁棒性。     

集成时空轨迹的动态属性网络表征学习

网络表征学习是当前信息网络数据表示的研究热点,相比于传统网络分析技术已显示出它的有效性和高效性.目前绝大多数研究仅将网络视为静态来处理,即网络结构不随时间演化而变化,而且很少考虑网络中丰富的节点属性信息,难以适应现实信息网络时刻变化的动态特性.同时考虑网络的动态性和节点属性,提出基于时空路径的动态属性网络表征学习(DA...     

基于异质网络表示学习的姓名消歧

在系统中搜索某一姓名时,会返回该同名作者的所有文档(如论文、网页),严重影响用户体验,姓名消歧可提高检索精度.因此,文中提出基于异质网络表示学习的姓名消歧方法.首先为每个歧义姓名构造一个论文异质网络.然后使用异质网络表示学习并结合词向量化语义表征学习方法,获取网络中每个论文节点的表征向量.最后使用具有噪声的基于密度的聚类方法与规则匹配结合的聚类方法将论文划分给不同的作者实体.文中方法在OAG-WholsWho比赛数据集上的性能较优,结果验证方法的有效性.     

基于网络表示学习的链路预测算法

网络是表达对象之间复杂联系的重要形式,广泛存在。而链路预测作为网络分析的重要方法,具有很大的研究意义和应用价值。传统的链路预测算法普遍是基于邻接矩阵的稀疏表示方案而设计,计算效率低且扩展性差。首先引入网络表示学习的概念,创新性地提出基于几何布朗运动的随机游走算法GbmRw,然后进一步设计出网络表示学习算法GBMLA,实现更具区分能力与表达能力的网络表示,最后以节点表示向量的欧式距离来表征节点之间的相似性,从而预测其链路存在的可能性。不同领域的多个网络中进行反复实验的结果表明,该算法较之于基于原始网络设计的传统算法,预测效果得到了明显的提升,也进一步肯定了网络表示学习对于链路预测工作的重要意义。     

基于多视图集成的网络表示学习算法

现有的网络表示学习算法主要为基于浅层神经网络的网络表示学习和基于神经矩阵分解的网络表示学习。基于浅层神经网络的网络表示学习又被证实是分解网络结构的特征矩阵。另外,现有的大多数网络表示学习仅仅从网络的结构学习特征,即单视图的表示学习;然而,网络本身蕴含有多种视图。因此,文中提出了一种基于多视图集成的网络表示学习算法(MVENR)。该算法摈弃了神经网络的训练过程,将矩阵的信息融合和分解思想融入到网络表示学习中。另外,将网络的结构视图、连边权重视图和节点属性视图进行了有效的融合,弥补了现有网络表示学习中忽略了网络连边权重的不足,解决了基于单一视图训练时网络特征稀疏的问题。实验结果表明,所提MVENR算法的性能优于网络表示学习中部分常用的联合学习算法和基于结构的网络表示学习算法,是一种简单且高效的网络表示学习算法。     

基于异构网络表示学习的相关图书推荐研究

扩展和综合利用多种图书特征及其关联关系,从语义相关的角度提高图书推荐的准确性和多样性,探索不同特征对于图书推荐的贡献程度和影响.抽取多种图书特征构建图书异构网络并设计形成特征间的多维关联关系.引入异构网络表示学习方法,融合多种图书特征,形成图书的语义向量表示,选取向量相似度指标计算并表示图书间的语义相关程度,实现相关图...     

基于属性嵌入与图注意力网络的实体对齐算法

实体对齐旨在找到位于不同知识图谱中的等效实体,是实现知识融合的重要步骤.当前主流的方法是基于图神经网络的实体对齐方法,这些方法往往过于依赖图的结构信息,导致在特定图结构上训练得到的模型不能拓展应用于其他图结构中.同时,大多数方法未能充分利用辅助信息,例如属性信息.为此,本文提出了一种基于图注意力网络和属性嵌入的实体对齐方法,该方法使用图注意力网络对不同的知识图谱进行编码,引入注意力机制从实体应用到属性,在对齐阶段将结构嵌入和属性嵌入进行结合实现实体对齐效果的提升.在现实世界的3个真实数据集上对本文模型进行了验证,实验结果表明提出的方法在很大程度上优于基准的实体对齐方法.