基于自注意力机制的阅读理解模型

机器阅读理解是自然语言处理领域一项得到广泛关注与研究的任务。该文针对中文机器阅读理解数据集DuReader,分析其数据集的特点及难点,设计了一种基于循环神经网络和自注意力机制的抽取式模型Mixed Model。通过设计段落融合等策略,该文提出的模型在DuReader测试集上达到了54.2的Rouge-L得分和49.14的Bleu-4得分。     

基于BERT与图像自注意力机制的文本匹配模型

为了提高文本匹配的准确率,针对BERT（Bidirectional Encoder Representations from Transformers）模型和MatchPyramid模型在文本匹配中存在的局限性,提出一种基于BERT与图像自注意力机制的文本匹配模型。首先,利用BERT模型将一对文本编码为单词级别的特征向量。其次,根据词向量构建2段文本之间的词与词相似性的匹配矩阵,并将其视为单通道的图像表示。然后,通过图像的自注意力机制生成匹配矩阵的自注意力特征矩阵。最后,将匹配矩阵与自注意力特征矩阵连接为多通道,利用卷积神经网络捕获图像中的文本匹配信号,并将匹配信号与BERT模型输出的［CLS］编码向量连接后,输入全连接层得到2段文本的相似度。实验结果表明,该模型在WikiQA数据集上相比于BERT模型、MatchPyramid模型和其他文本匹配模型,可以有效地提高MAP和ＭRR衡量指标,验证了该模型的有效性。     

基于自注意力机制的条件生成对抗网络

近年来,越来越多的生成对抗网络出现在深度学习的各个领域中.条件生成对抗网络(Conditional Generative Adver-sarial Networks,cGAN)开创性地将监督学习引入到无监督的GAN网络中,这使得GAN可以生成有标签数据.传统的GAN通过多次卷积运算来模拟不同区域之间的相关性,进而生成图...     

联合ZINB模型与图注意力自编码器的自优化单细胞聚类

单细胞数据聚类在生物信息分析中具有重要作用,但受测序原理和测序平台的限制,单细胞数据集普遍存在高维稀疏性、高方差噪声和基因数据缺失的问题,导致单细胞数据在聚类分析和应用方面仍面临诸多挑战.现有的单细胞聚类方法主要针对细胞和基因表达间的关系进行建模,忽略了对细胞间潜在特征关系的充分挖掘以及对噪声的去除,导致聚类结果不理想,从而阻碍了后期对数据的分析.针对上述问题,提出了一种联合零膨胀负二项(Zero Inflated Negative Binomial,ZINB)模型与图注意力自编码器的自优化单细胞聚类算法(Self-optimized Single Cell Clustering Using ZINB Model and Graph Attention Au-toencoder,scZDGAC).该算法首先使用ZINB模型并结合可扩展的DCA去噪算法,通过ZINB分布更好地拟合数据特征分布,提升自编码器的去噪性能,并减小噪声和数据丢失对KNN算法输出的影响;然后通过图注意力 自编码器在不同权重的细胞之间传播信息,更好地捕获细胞间的潜在特征进行聚类;最后scZDGAC采用 自优化的方法使原本两个独立的聚类模块和特征模块相互受益,不断迭代更新聚类中心,进一步提升聚类性能.为了对聚类结果进行评价,文中使用调整兰德指数(ARI)和标准化互信息(NMI)两个通用评价指标.在6个不同规模的单细胞数据集上与其他算法进行对比实验,结果表明,所提聚类算法在聚类性能上较其他方法有很大提高,很好地展现了该算法的鲁棒性.     

SA-CapsNet:自注意力胶囊网络

胶囊网络(CapsNet)强调对图像特征的空间关系进行编码,但是其特征提取模块难以应对复杂分类场景.为了提升CapsNet的性能,提出了一种具有自注意力(self-attention)特征提取模块的胶囊网络(self-attention capsule network,SA-CapsNet).首先通过降低胶囊维度,并增加一个中间层来改进CapsNet;然后将SA模块映射到胶囊网络的特征提取层,增加特征提取能力.在MNIST、Fashion MNIST和CIFAR10数据集上进行实验,分类准确率分别为99.67％、92.21％和82.51％.实验结果验证了改进网络的有效性,整体性能有较大提升.     

基于自注意力的双向LSTM网络的情感分析模型

如今,社交媒体中的用户评论经常涉及到对目标对象的多个属性不同的情感倾向.这种多维度的用户情感对文本情感分析任务构成了巨大的挑战.然而,先前的研究很大程度上侧重于依赖外部信息,不擅长捕捉数据或特征的内部相关性.因此,提出了一种新颖的基于自注意力机制的双向LSTM网络的情感分析模型.使用双向LSTM神经网络学习抽象的文本语...     

基于卷积自注意力联合模型的评论情感分析

随着移动互联网的兴起,人们可以在网络上自由发表各种感想和评论,文本情感分析已经成为了自然语言处理中的一个重要研究方向.应用深度学习算法进行评论文本情感分析已经成为研究热点.论文应用了一种基于多通道卷积神经网络和双向长短时记忆神经网络融合的深度学习算法,获取文本的多粒度局部语义特征与全局语义特征,同时引入自注意力机制,提...     

基于深度优先搜索的一般图匹配算法

对于一般图的匹配问题,Edmonds算法以Berge定理为基础,采用广度优先搜索增广路,图中可能存在“花”。遇到这种情况,要对它进行缩减“花”处理,再进行搜索。当找到增广路时,要将缩减图恢复,算法显得复杂。Gabow等算法使用先给固的顶点和边编号,并使用了不同数组和虚拟顶点,避免了处理花。算法的复杂性为O（n^3）,但增加了空间复杂性。本文提出的基于深度优先搜索算法,在搜索增广路时不会出现“花”的情况,算法相对简单;同时,算法时间效率为O（n＊degree（n））,degree（n）为顶顶点的平均度数。另外,当图的边动态增减时,使用该算法可以很快调整最大匹配,并且该算法空间复杂性在同一数量级也可以推广到广度优先搜索。     

基于密集多尺度自注意力变换网络的伪装对象分割方法

为了充分地发挥深度自注意力变换网络在伪装对象分割任务中的潜力,提出一种基于密集多尺度自注意力变换网络的伪装对象分割方法,包含双分支可分离密集多尺度特征提取和快速注意力诱导的跨级交互融合2个模块.首先以自注意力变换网络作为骨干特征提取器获取各级特征;然后将提取的特征馈送到双分支可分离密集多尺度特征提取模块,在局部分支和全局分支中,利用密集递进相连的深度可分离卷积块提取丰富的多尺度上下文特征;最后使用快速注意力诱导的跨级交互融合模块融合各级特征,并利用每级融合特征预测伪装映射,通过深度监督让各级特征在空间上保持高度一致性,尽可能地集中注意力于伪装特征而避免背景噪声的干扰.在CHAMELEON,CAMO,COD10K和NC4K这4个基准数据集上,与其他28种主流模型进行定性可视化对比,以及针对PR曲线、S值、F值、E值及MAE这5种评价指标的定量对比实验结果表明,所提出的基于密集多尺度自注意力变换网络是一种有效的伪装对象分割模型.     

基于依存句法和图注意力网络的句子匹配

句子匹配是自然语言处理的一项基本任务,可应用于自然语言推理、释义识别等多个场景。目前,主流的模型大多采用注意力机制来实现两个句子之间单词或短语的对齐。然而,这些模型通常忽略了句子的内在结构,没有考虑文本单元之间的依存关系。针对此问题,提出了一种基于依存句法和图注意力网络的匹配模型。设计两种建模方式将句子对建模为语义图。使用图注意力网络对构建的图进行编码以进行句子匹配。实验结果表明,提出的模型可以较好地学习图结构,在自然语言推理数据集SNLI和释义识别数据集Quora上分别达到了88.7%和88.9%的准确率。     

基于深度图网络的编译器向量化启发式算法

针对现有的深度学习模型将程序代码考虑为一个串行序列而错失较大性能优化空间的问题,提出了一种新的基于深度图网络的程序启发式优化方法.该方法采用图神经网络对程序的数据和依赖图进行建模,自动从源代码中抽取有效程序特征,然后再将抽取的特征输入下游模型进行循环向量化参数预测.在LLVM循环向量测试集上,所提出的方法取得了2.08倍的加速比,与现有方法相比提高了12％的性能.     

基于自注意力机制的视频行为分析

视频行为识别是智能视频分析的重要组成部分.传统人体行为识别基于人工设计特征方法涉及的环节多,具有时间开销大,算法难以整体调优的缺点.针对two-stream系列的深度卷积网络,时间网络的输入是直接以相邻两帧的光流场作为输入,其中也包含了镜头移动、背景运动等无关的运动特征的问题,在视频时序上仅通过分块取样固定长度的帧,其...     

基于自注意力机制的网络局域安全态势融合方法研究

针对传统网络安全态势感知方法无法高效整合多节点数据、获取全局网络安全态势的问题,文章提出了一种基于自注意力机制（Self-Attention Mechanism）、径向基函数（Radial Basis Function,RBF）神经网络与卷积神经网络（Convolutional Neural Network,CNN）的网络局域安全态势融合方法SA-RBF-CNN（Self-Attention-RBF-CNN）。通过自注意力机制,模型能有效识别并强调关键节点,增强对全局安全态势的认识。同时,改进的RBF结构与CNN结合能进一步提炼特征,增强模型对复杂数据模式的捕捉能力。实验结果显示,SA-RBF-CNN在识别网络安全态势预测的关键指标上优于其他类似方法,与传统态势感知方法相比,其提升了计算速度,减少了通信开销,证明该模型具有一定的实际应用价值。     

基于匹配扩散的多视稠密深度图估计

提出一种高精度的基于匹配扩散的稠密深度图估计算法. 算法分为像素级与区域级两阶段的匹配扩散过程.前者主要对视图间的稀疏特征点匹配进行扩散以获取相对稠密的初始深度图; 而后者则在多幅初始深度图的基础上, 根据场景分段平滑的假设, 在能量函数最小化框架下利用平面拟合及多方向平面扫描等方法解决存在匹配多义性问题区域(如弱纹理区域)的深度推断问题. 在标准数据集及真实数据集上的实验表明, 本文算法对视图中的光照变化、透视畸变等因素具有较强的适应性, 并能有效地对弱纹理区域的深度信息进行推断, 从而可以获得高精度、稠密的深度图.     

基于自注意力机制和双向GRU神经网络的深度知识追踪优化模型

针对现有深度知识追踪模型存在输入习题间复杂关系捕获能力弱、无法有效处理长序列输入数据等问题,提出了基于自注意力机制和双向GRU神经网络的深度知识追踪优化模型(KTSA-BiGRU)。首先,将学习者的历史学习交互序列数据映射为实值向量序列;其次,以实值向量序列作为输入训练双向GRU神经网络,利用双向GRU神经网络建模学习者的学习过程;最后,使用自注意力机制捕获练习题之间的关系,根据双向GRU神经网络输出的隐向量和注意力权重计算学习者正确回答下一问题的概率。实验在三个公共数据集上的性能分析优于现有的知识追踪模型,能提高深度知识追踪的预测精度。     

基于混合自注意力机制的神经机器翻译

编码器-解码器结构是神经机器翻译最常用的一种框架,许多新型结构都基于此框架进行设计以改善翻译性能。其中,深度自注意力网络是非常出色的一种网络结构,其利用了自注意力机制来捕获全局的语义信息。然而,这种网络却不能有效地区分每个单词的相对位置,例如,依赖单词究竟位于目标单词的左边还是右边,也不能够捕获当前单词的局部语义。为了缓解这类问题,该文提出了一种新型的注意力机制,叫做混合注意力机制。该机制包含了对自注意力网络设计的多种不同的特定掩码来获取不同的语义信息,例如,全局和局部信息,以及左向或者右向信息。最后,该文提出了一个压缩门来融合不同类型的自注意力网络。在三个机器翻译数据集上的实验结果表明,该文方法能够取得比深度自注意力网络更好的结果。     

自注意力信用评估模型

在信用评估问题中，用户信息中既包含类别数据，也包含数值数据。传统的基于人工智能的信用评估模型通常对类别数据进行one-hot变换后，再与数值数据进行拼接作为判别器的输入。与之不同，借鉴了自然语言处理中的词嵌入技术来提取类别数据的词向量；将输入的词向量集合类比为“句子”，并基于自注意力机制从“句子”中提取出用户特征；最后采用多层感知机来预测用户违约的概率。新模型可以使用反向传播算法实现端到端的训练。在三个不同的数据集上将新模型和六种基准算法进行了比较，结果表明该模型能够比基准算法取得更好的性能。     

基于自注意力机制的点云分类分割

3D点云由于其无序性以及缺少拓扑信息使得点云的分类与分割仍具有挑战性.针对上述问题,我们设计了一种基于自注意力机制的3D点云分类算法,可学习点云的特征信息,用于目标分类与分割.首先,设计适用于点云的自注意力模块,用于点云的特征提取.通过构建领域图来加强输入嵌入,使用自注意力机制进行局部特征的提取与聚合.最后,通过多层感知机以及解码器-编码器的方式将局部特征进行结合,实现3D点云的分类与分割.该方法考虑了输入嵌入时单个点在点云中的局部语境信息,构建局部长距离下的网络结构,最终得到的结果更具区分度.在ShapeNetPart、RoofN3D等数据集上的实验证实所提方法的分类与分割性能较优.     

基于多头自注意力机制的深度缺陷分派模型

当前,缺陷跟踪系统通过缺陷报告实现缺陷与修复者的匹配。然而,以往的缺陷分派模型过于依赖缺陷报告的文本质量,引入自然语言中大量的冗余信息,并忽略了缺陷报告的元字段作为标签属性时存在于修复者之间的社区关系,使得模型结果表现较差。针对以上问题,本文提出一种基于多头自注意力机制的深度缺陷分派模型MSDBT(Multi-head Self-attention Deep Bug Triage)。对缺陷报告的文本内容以及根据元字段生成的修复者序列进行向量化;通过多头自注意力机制在内部的输入元素之间进行并行注意力计算。在4个开源软件项目上的实验结果表明,MSDBT在召回率指标上较之前模型具有明显的优势。