结合多注意力机制的自监督目标跟踪

为解决现有目标跟踪数据集不足及手工标注数据成本过大的问题,提出结合判别式相关滤波及多注意力机制的自监督目标跟踪方法.训练集选用原始未标记的视频图像,使用子空间注意力机制及通道注意力机制针对不同的输入目标对特征进行自适应调整,构建相关滤波输出响应图进行跟踪定位;通过前向跟踪和后向跟踪两个跟踪过程,以自监督的训练方式用最终响应结果与初始标签构建循环一致性损失.在O T B50和O T B100两个公开数据集的实验结果表明了所提方法的实时性和有效性.     

结合自注意力机制的神经网络文本分类算法研究

在长文本数据中存在很多与主题不相关词汇,导致这些文本数据具有信息容量大、特征表征不突出等特点。增加这些文本中关键词汇的特征影响,是提高文本分类器性能需要解决的问题。提出一种结合自注意力机制的循环卷积神经网络文本分类模型RCNN_A。注意力机制对文本词向量计算其对正确分类类别的贡献度,得到注意力矩阵,将注意力矩阵和词向量矩阵相结合作为后续结构的输入。实验结果表明,RCNN_A在10类搜狗新闻数据集上,得到了97.35%的分类正确率,比Bi-LSTM(94.75%)、Bi-GRU(94.25%)、TextCNN(93.31%)、RCNN(95.75%)具有更好的文本分类表现。通过在深度神经网络模型中引入注意力机制,能够有效提升文本分类器性能。     

基于自注意力机制的方面情感分类

基于方面的情感分类方法判断句子中给定实体或属性的情感极性。针对使用全局注意力机制计算属性词和句子其他词的注意力分数时,会导致模型关注到与属性词不相关的词,并且对于长距离的依赖词、否定词关注不足,不能检测到并列关系和短语的问题,提出了基于自注意力机制的语义加强模型（SRSAM）。该模型首先使用双向长短时记忆神经网络模型（bidirectional long short-term memory,BiLSTM）获取文本编码,其次用自注意力机制计算文本编码的多个语义编码,最后将属性词和语义编码交互后判断属性词在句中的情感极性。使用SemEval 2014数据集的实验表明,由于模型能发现长距离依赖和否定词,对并列关系和短语有一定检测效果,相比基础模型在分类精度上有0.6%~1.5%的提升。     

基于自注意力孪生网络的野生蛇细粒度分类

野生蛇的分类相较于其他细粒度图像分类更加困难和复杂, 这是因为蛇姿势各异、变化急促、常处于运动或盘曲状态, 很难根据蛇的局部特征去判断并分类. 为了解决这个问题, 本文将自注意力机制应用野生蛇细粒度图像分类, 从而解决卷积神经网络因层数加深造成的过于专注局部而忽略全局信息问题. 通过Swin Transformer (Swin-T)进行迁移学习获得细粒度特征提取模型. 为了进一步研究自注意力机制在元学习领域的性能, 本文改进特征提取模型搭建孪生网络并构造元学习器对少量样本进行学习和分类. 相较于其他方法, 本方法减少了元学习在特征提取时所造成的时间和空间开销, 提高了元学习分类的准确率和效率并增加了元学习的自主学习性.     

知识堆叠降噪自编码器EI北大核心CSCD

深度神经网络是具有复杂结构和多个非线性处理单元的模型,广泛应用于计算机视觉、自然语言处理等领域.但是,深度神经网络存在不可解释这一致命缺陷,即“黑箱问题”,这使得深度学习在各个领域的应用仍然存在巨大的障碍.本文提出了一种新的深度神经网络模型——知识堆叠降噪自编码器(Knowledge-based stacked denoising autoencoder,KBSDAE).尝试以一种逻辑语言的方式有效解释网络结构及内在运作机理,同时确保逻辑规则可以进行深度推导.进一步通过插入提取的规则到深度网络,使KBSDAE不仅能自适应地构建深度网络模型并具有可解释和可视化特性,而且有效地提高了模式识别性能.大量的实验结果表明,提取的规则不仅能够有效地表示深度网络,还能够初始化网络结构以提高KBSDAE的特征学习性能、模型可解释性与可视化,可应用性更强.     

自注意力机制的短文本分类方法

针对短文本信息量少导致隐藏的信息难以充分挖掘和深度学习模型易受干扰导致分类准确度下降的问题,提出一种融合对抗训练自注意力多层双向长短期记忆网络(Con-Att-BiLSTMs)短文本分类模型.将文本训练集按不同比例进行分类对抗训练,通过对抗训练提升模型的健壮性;利用多层双向长短期记忆网络对语义进行提取,利用自注意力机制...     

基于自注意力机制的点云分类分割

3D点云由于其无序性以及缺少拓扑信息使得点云的分类与分割仍具有挑战性.针对上述问题,我们设计了一种基于自注意力机制的3D点云分类算法,可学习点云的特征信息,用于目标分类与分割.首先,设计适用于点云的自注意力模块,用于点云的特征提取.通过构建领域图来加强输入嵌入,使用自注意力机制进行局部特征的提取与聚合.最后,通过多层感知机以及解码器-编码器的方式将局部特征进行结合,实现3D点云的分类与分割.该方法考虑了输入嵌入时单个点在点云中的局部语境信息,构建局部长距离下的网络结构,最终得到的结果更具区分度.在ShapeNetPart、RoofN3D等数据集上的实验证实所提方法的分类与分割性能较优.     

基于注意力机制的自监督图卷积会话推荐

为了解决会话推荐系统中数据稀疏性问题, 提出了一种基于注意力机制的自监督图卷积会话推荐模型(self-supervised graph convolution session recommendation based on attention mechanism, ATSGCN). 该模型将会话序列构建成3个不同的视图: 超图视图、项目视图和会话视图, 显示会话的高阶和低阶连接关系; 其次, 超图视图使用超图卷积网络来捕获会话中项目之间的高阶成对关系, 项目视图和会话视图分别使用图卷积网络和注意力机制来捕获项目和会话级别局部数据中的低阶连接信息; 最后, 通过自监督学习使两个编码器学习到的会话表示之间的互信息最大化, 从而有效提升推荐性能. 在Nowplaying和Diginetica两个公开数据集上进行对比实验, 实验结果表明, 所提模型性能优于基线模型.     

基于注意力机制的弱监督细粒度图像分类

针对细粒度图像分类任务中难以对图中具有鉴别性对象进行有效学习的问题,本文提出了一种基于注意力机制的弱监督细粒度图像分类算法.该算法能有效定位和识别细粒度图像中语义敏感特征.首先在经典卷积神经网络的基础上通过线性融合特征得到对象整体信息的表达,然后通过视觉注意力机制进一步提取特征中具有鉴别性的细节部分,获得更完善的细粒度特征表达.所提算法实现了线性融合和注意力机制的结合,可看作是多网络分支合作训练共同优化的网络模型,从而让网络模型对整体信息和局部信息都有更好的表达能力.在3个公开可用的细粒度识别数据集上进行了验证,实验结果表明,所提方法有效性均优于基线方法,且达到了目前先进的分类水平.     

融合自注意力机制的诈骗电话分类模型

提出一种基于融合自注意力机制和卷积神经网络的诈骗电话识别模型CNN-SA(CNN-Self Attention Mechanism),采用卷积神经网络捕捉序列的局部特征,自注意力机制为每个单词分配一个权重,进一步获取句子的内部依赖关系,提高分类准确率。在电话文本数据集上的实验结果表明,所提模型的准确率可达92%,与单一的TextCNN模型相比,在精确率、召回率、F1值指标上分别有1.52%、1.75%、1.77%的提升。     

融合包注意力机制的监控视频异常行为检测EI北大核心CSCD

针对监控视频中行人非正常行走状态的异常现象,提出了一个端到端的异常行为检测网络,以视频包为输入,输出异常得分.时空编码器提取视频包时空特征后,利用基于隐向量的注意力机制对包级特征进行加权处理,最后用包级池化映射出视频包得分.本文整合了4个常用的异常行为检测数据集,在整合数据集上进行算法测试并与其他异常检测算法进行对比.多项客观指标结果显示,本文算法在异常事件检测方面有着显著的优势.     

融合多注意力机制的自监督小样本医学图像分割

主流的基于全监督的深度学习分割模型在丰富的标记数据上训练时可以取得良好的效果,但医疗图像领域的图像分割存在标注成本高、分割目标种类多的问题,且往往缺少足够的标注数据。提出一个模型,通过融合自监督从数据中提取标签,利用超像素表征图像特性,进行小样本标注条件下的图像分割。引入多注意力机制使得模型更多关注图像的空间特征,位置注意模块和通道注意模块致力于单一图像内部的多尺度特征融合,而外部注意力模块显著突出了不同样本间的联系。在CHAOS健康腹部器官数据集上进行实验,1-shot极端情况下DSC达0.76,相较baseline分割结果提升3%左右。通过调整N-way-K-shot任务数来探讨小样本学习的意义,在7-shot设置下DSC有显著提升,与基于全监督的深度学习分割效果的差距在可接受范围内。     

融合自注意力机制和相对鉴别的无监督图像翻译

无监督图像翻译使用非配对训练数据能够完成图像中对象变换、季节转移、卫星与路网图相互转换等多种图像翻译任务.针对基于生成对抗网络(Generative adversarial network, GAN)的无监督图像翻译中训练过程不稳定、无关域改变较大而导致翻译图像细节模糊、真实性低的问题, 本文基于对偶学习提出一种融合自注意力机制和相对鉴别的无监督图像翻译方法.首先, 生成器引入自注意力机制加强图像生成过程中像素间远近距离的关联关系, 在低、高卷积层间增加跳跃连接, 降低无关图像域特征信息损失.其次, 判别器使用谱规范化防止因鉴别能力突变造成的梯度消失, 增强训练过程中整体模型的稳定性.最后, 在损失函数中基于循环重构增加自我重构一致性约束条件, 专注目标域的转变, 设计相对鉴别对抗损失指导生成器和判别器之间的零和博弈, 完成无监督的图像翻译.在Horse & Zebra、Summer & Winter以及AerialPhoto & Map数据集上的实验结果表明:相较于现有GAN的图像翻译方法, 本文能够建立更真实的图像域映射关系, 提高了生成图像的翻译质量.     

基于字词特征自注意力学习的社交媒体文本分类方法

社交媒体文本中突出的长尾效应和过量的词典外词汇(OOV)导致严重的特征稀疏问题,影响分类模型的准确率.针对此问题,文中提出基于字词特征自注意力学习的社交媒体文本分类方法.在字级别构建全局特征,用于学习文本中各词的注意力权值分布.改进现有的多头注意力机制,降低参数规模和计算复杂度.为了更好地分析字词特征融合的作用,提出OOV词汇敏感度,用于衡量不同类型的特征受OOV词汇的影响.多组社交媒体文本分类任务的实验表明,文中方法在融合字特征和词特征方面的有效性与分类准确度均有较明显的提升.此外,OOV词汇敏感度指标的量化结果验证文中方法是可行有效的.     

基于全尺度特征融合的自监督单目深度估计EI北大核心CSCD

针对自监督单目深度估计生成的深度图边界模糊、伪影过多等问题,提出基于全尺度特征融合模块(FSFFM)和链式残差池化模块(CRPM)的深度网络编解码结构.在解码时,将编码器得到的高分辨率和相同分辨率特征与之前解码器得到的低分辨率特征以及上一级逆深度图进行融合,使网络学习到的特征既包含全局信息又包含局部信息.使用CRPM从融合特征中获取背景上下文信息,最终得到更精确的深度图.在KITTI数据集上进行了实验,与之前工作相比,该方法深度值绝对误差降低了7.8%,阈值为1.25的精确度提高了1.1%,其结果优于现有大多数自监督单目深度估计算法.     

增强局部注意力的时间序列分类方法

现有时间序列分类方法普遍基于一种循环网络结构解决时间序列点值耦合问题，无法并行计算，导致计算资源浪费，因此提出一种增强局部注意力的时间序列分类方法。该方法拟合混合距离信息以增加时间序列位置感知能力，将混合距离信息融入自注意矩阵计算中，从而扩展自注意力机制；构造多尺度卷积注意力获取多尺度局部前向信息，以解决标准自注意力机制基于点值计算存在注意力混淆的问题；使用改进后的自注意力机制构造时序自注意分类模块，并行计算处理时间序列分类任务。实验结果表明，与现有时间序列分类方法相比，基于局部注意力增强的时间序列分类方法能够加速收敛，有效提高时序序列分类效果。     

跨模态多视角自监督的个性化食谱推荐异构图网络EI北大核心CSCD

为了更好地建模食物不同内容信息之间的关系,提出一种基于跨模态多视角自监督异构图网络的个性化食物推荐模型.首先,基于用户､食物以及食材,构建异构图;其次,基于信息传递,学习建模信息之间的复杂层级关系;再次,利用食物节点特征､食物食材特征以及食物图像特征,构建跨模态多视角对比自监督学习任务增强食物节点的表示;最后,利用用户表示以及基于注意力模块融合得到的食物综合表示完成食物推荐.在大规模食物推荐数据集上的实验结果表明,该方法比最优的基线方法在AUC,NDCG@10和Recall@10这3个指标上分别提升6.35%,8.13%和11.7%,从而证明了该方法的有效性.     

一种生成对抗网络半监督遥感图像分类方法北大核心CSCD

遥感图像由于数据集小,有标签数据少,因此其分类精度往往不高。为了提高遥感图像的分类精度,结合生成对抗网络与VGGNet-16设计了一个针对遥感图像的半监督分类方法,并分别在NWPU-RESISC45数据集与UC-Merced数据集上进行了验证。实验结果表明,该方法不仅能生成大量质量较好的遥感图像,增广了遥感图像数据集,解决了原始数据集样本不足的问题,同时能充分利用这些数据达到提高分类精度的效果,缓解有监督分类需要用到大量有标签数据的问题。     

一种基于自注意力的句子情感分类方法

注意力机制近年来在多个自然语言任务中得到广泛应用,但在句子级别的情感分类任务中仍缺乏相应的研究。文中利用自注意力在学习句子中重要局部特征方面的优势,结合长短期记忆网络(Long Short-Term Model,LSTM),提出了一种基于注意力机制的神经网络模型(Attentional LSTM,AttLSTM),并将其应用于句子的情感分类。AttLSTM首先通过LSTM学习句子中词的上文信息;接着利用自注意力函数从句子中学习词的位置信息,并构造相应的位置权重向量矩阵;然后通过加权平均得到句子的最终语义表示;最后利用多层感知器进行分类和输出。实验结果表明,AttLSTM在公开的二元情感分类语料库Movie Reviews(MR),Stanford Sentiment Treebank(SSTb2)和Internet Movie Database(IMDB)上的准确率最高,分别为82.8%,88.3%和91.3%;在多元情感分类语料库SSTb5上取得50.6%的准确率。