一种基于“预读”及简单注意力机制的句子压缩方法

针对英文句子压缩方法进行研究,提出一种基于“预读”及简单注意力机制的压缩方法。在编码器-解码器（encoder-decoder）框架下,以循环门单元（Gated Recurrent Unit,GRU）神经网络模型为基础,在编码阶段对原句语义进行两次建模。首次建模结果作为全局信息,加强二次语义建模,得到更全面准确的语义编码向量。解码阶段充分考虑删除式句子压缩的特殊性,适用简单注意力（3t-Attention）机制,将编码向量中与当前解码时刻最相关的语义部分输入到解码器中,提高预测效率及准确率。在谷歌新闻句子压缩数据集上的实验结果表明,所提压缩方法优于已有公开结果。因此,“预读”及简单注意力机制可有效提高英文句子压缩精度。     

基于注意力机制的句子排序方法

句子排序是多文档自动摘要和答案融合任务的关键技术,其效果直接影响摘要或者答案融合结果的可读性。作为句子排序的重要依据,语义逻辑关系的准确度对于排序结果的可读性有很大影响。为此,该文提出了引入注意力机制的句子排序模型,以增强句子语义逻辑关系的捕获能力,进而获取句子的合理排序。实验结果表明,在句子排序任务中,引入注意力机制的句子排序模型明显优于基线方法。     

基于强化学习与自注意力机制的朝鲜语重要句子结构识别

针对构建朝鲜语语料库的人工标注工作过于费时费力,少数民族语言难以与各家资源融合的这一问题,该文从表征学习的角度,意图构建有效的朝鲜语句子结构表示,用来提升后续自然语言处理任务的效果。我们将深度强化学习与自注意力机制相结合,提出了一种分层结构的自注意力模型(Hierarchically Structured Korean,HS-K)。模型利用强化学习中的Actor-Critic思想,将文本分类效果作为强化学习的标签反馈信息,把文本的结构划分任务转化为序列决策任务。实验结果表明,模型可以识别出接近人工标注的朝鲜语重要句子结构,对朝鲜语信息化与智能化有着良好的辅助作用。     

自我注意力机制中基于相对位置的句子表示方法

在自然语言处理领域,句子表示方法能捕捉文本的不同信息,如卷积神经网络捕捉短语信息,循环神经网络捕捉时序信息等.自我注意力机制能够描述任意词对之间的重要程度,但是缺少词语间相对位置信息.我们提出了专注于相对位置的自我注意力模型(Relative Positional Self-Attention Network,RPSAN).在模型中,我们设计了远距离屏蔽矩阵,通过屏蔽词语相对距离较远的自我注意力值,来提取句子的局部信息.另外,我们设计了一种新的融合机制,通过softmax函数整合不同的句子表示来减少模型复杂度.实验表明,相比于其他基于注意力机制的模型,我们的模型在斯坦福情感分析数据集(Stanford Sentiment Treebank,SST)上有着最优的表现、最低的训练成本,并且在另外四个公开的文本分类数据集上获得了最优的分类正确率.     

基于对比注意力机制的跨语言句子摘要系统

当今句子摘要研究主要针对单语,即源端句子和目标端摘要短语属于同种语言,然而单语句子摘要严重制约了不同语言文本信息的快速获取。为解决该问题,提出一种跨语言句子摘要系统。借鉴回译思想,将单语句子摘要平行语料中的源端通过神经机器翻译系统翻译成另一种语言,将其与句子摘要平行语料中目标端的摘要短语共同构成跨语言的伪平行语料。在此基础上,利用对比注意力机制,实现目标端与源端序列中不相关信息的获取,解决了传统注意力机制中源端和目标端句子长度不匹配的问题。实验结果表明,与基于管道方法的单语句子摘要系统相比,该跨语言系统生成的摘要短语更流畅且符合人类语言表述方式,可达到接近单语的句子摘要水平。     

基于多头注意力机制Tree-LSTM的句子语义相似度计算

针对现有句子语义相似度计算由于缺乏语义结构信息导致精度低的问题,该文在依存关系树的基础上,提出了一种基于多头注意力机制Tree-LSTM(multi-head attention Tree-LSTM,MA-Tree-LSTM)的句子语义相似度计算方法。首先,MA-Tree-LSTM将外部具有指导意义的特征作为输入,再将输入结合多头注意力机制作用在Tree-LSTM树节点的所有孩子节点上,为每个孩子节点赋予不同的权重值,从而实现多头注意力机制和Tree-LSTM的融合;其次,将三层的MA-Tree-LSTM应用于句子语义相似度计算并实现句子对的相互指导,从而得到句子对语义特征的多层表示;最后联合多层的语义特征建立句子对语义相似度计算模型,从而实现句子对间相关的语义结构特征的充分利用。该文提出的方法鲁棒性强,可解释性强,对句子单词的顺序不敏感,不需要特征工程。在SICK和STS数据集上的实验结果表明,基于MA-Tree-LSTM的句子语义相似度计算的精度优于非注意力机制的Tree-LSTM方法以及融合了多头注意力机制的BiLSTM方法。     

基于卷积注意力机制的情感分类方法

为提取文本的局部最优情感极性、捕捉文本情感极性转移的语义信息,提出一种基于卷积注意力机制的神经网络模型(CNN_attention_LSTM)。使用卷积操作提取文本注意力信号,将其加权融合到Word-Embedding文本分布式表示矩阵中,突出文本关注重点的情感词与转折词,使用长短记忆网络LSTM来捕捉文本前后情感语义关系,采用softmax线性函数实现情感分类。在4个数据集上进行的实验结果表明,在具有情感转折词的文本中,该模型能够更精准捕捉文本情感倾向,提高分类精度。     

基于注意力机制的陆空通话语义感知方法

民航运输过程中陆空通话双方出现信息不一致的问题会威胁飞行安全.为了保障陆空通话的准确性,提出一种基于注意力机制的陆空通话语义感知模型,对陆空通话复诵与问答进行语义感知与判别.该模型结合多种特征向量表示句子并对句子向量进行编码,建立注意力交互矩阵计算指令与答复的软对齐结果,采用前馈神经网络和增强差异性的方法进行语义信息的...     

结合注意力机制和句子排序的情感分析研究

针对传统的深度学习算法作情感分析未充分考虑文本特征和输入优化的问题,提出了结合注意力机制和句子排序的双层CNN-BiLSTM模型(DASSCNN-BiLSTM)。利用情感词典对文档数据进行情感极性排序,得到优化的文档数据;将优化的文档数据输入第一层模型(由CNN和BiLSTM组成)生成句子表示;将句子表示输入第二层模型(由BiLSTM和注意力机制组成)生成文档表示,作为分类的依据,由此解决了输入优化的问题并且充分捕获了句子之间的语义信息,提升了情感分类精度。实验结果表明,该模型在分类精度上相对于现有的方法有明显的提升,且拥有较好的MSE值,能够较好应用于一般的情感分析任务。     

一种基于自注意力的句子情感分类方法

注意力机制近年来在多个自然语言任务中得到广泛应用,但在句子级别的情感分类任务中仍缺乏相应的研究。文中利用自注意力在学习句子中重要局部特征方面的优势,结合长短期记忆网络(Long Short-Term Model,LSTM),提出了一种基于注意力机制的神经网络模型(Attentional LSTM,AttLSTM),并将其应用于句子的情感分类。AttLSTM首先通过LSTM学习句子中词的上文信息;接着利用自注意力函数从句子中学习词的位置信息,并构造相应的位置权重向量矩阵;然后通过加权平均得到句子的最终语义表示;最后利用多层感知器进行分类和输出。实验结果表明,AttLSTM在公开的二元情感分类语料库Movie Reviews(MR),Stanford Sentiment Treebank(SSTb2)和Internet Movie Database(IMDB)上的准确率最高,分别为82.8%,88.3%和91.3%;在多元情感分类语料库SSTb5上取得50.6%的准确率。     

基于融合多级注意力迁移的神经网络压缩方法

针对目前深度卷积神经网络规模大、计算复杂度高、对存储空间需求大等问题,提出一种基于融合多级注意力迁移的神经网络的压缩方法。该方法基于教师-学生网络结构,设计了新的注意力图融合的方式以及注意力在教师网络与学生网络之间的迁移策略,使学生网络能够学习教师网络中的注意力信息,以此来提升学生网络的准确率。所提出的方法在CIFAR数据集上进行实验,实验结果表明,在学生网络规模和教师网络规模相差一半以上的情况下,准确率仅下降了1.5%～2.5%。     

一种基于自注意力机制的用户评论情感分类方法

近年来,用户评论情感分类方法成为自然语言处理领域的重要研究内容.本文利用自注意力机制在文本中捕捉重要局部特征的优势,在没有外部语法信息的条件下自动学习上下文关系,并结合卷积神经网络模型TextCNN,提出一种基于自注意力机制的文本分类模型(TextCNN Attention,TextCNN-Att),TextCNN-A...     

基于pNFS的小文件间数据预读机制研究

随着信息技术飞速发展,小文件的数量越来越多.高效管理海量小文件、提供低延时的小文件访问服务,是并行网络文件系统的研究热点.小文件数据读取访问中,由于数据读取粒度小并且不同小文件之间的数据访问空间连续性差,难以发挥数据存储设备的大粒度顺序访问的性能优势,导致小文件的访问性能远远低于大文件的访问性能.在扩展只读目录授权机制框架下,提出一种小文件间数据预读机制,充分发挥了数据存储设备大粒度顺序访问性能的优势,大幅降低了小文件数据读取访问延迟.典型应用环境实测表明,对比pNFS系统,小文件数据顺序读取访问性能最高可提升8.92倍,随机读取性能最高可提升11.82倍.     

基于多层注意力机制的中文文本蕴涵识别方法

为解决文本蕴涵中无法同时捕捉句间交互信息和全局信息的问题,提出一种基于多层注意力机制的中文文本蕴涵识别方法。使用Bi-LSTM分别对句子进行编码,采用自注意力和协同注意力分别得到句子的全局信息和句子间的交互信息,经过全连接层进行分类得到识别结果。在CNLI数据集上文本蕴涵识别准确率达到了73.88%,在NTCIR-9的RITE数据集上达到了67.63%,实验结果表明,该方法在中文文本蕴涵识别任务中是有效的。     

基于自注意力机制的中文医疗命名实体识别

运用命名实体识别算法从海量医疗文本中抽取信息,对于构建知识图谱、对话系统等具有重要意义.然而医疗实体间存在嵌套、歧义和专业术语缩写多样性的问题,传统的基于统计的方法对于实体边界的定位存在较大偏差.考虑到医疗文本的复杂性,提出了多层Transformer模型,基于其multi-head和self-attention机制提...     

基于依存树及距离注意力的句子属性情感分类

目前基于注意力机制的句子属性情感分类方法由于忽略句子中属性的上下文信息以及单词与属性间的距离特征,从而导致注意力机制难以学习到合适的注意力权重.针对该问题,提出一种基于依存树及距离注意力的句子属性情感分类模型(dependency tree and distance attention, DTDA).首先根据句子的依存树得到包含属性的依存子树,并利用双向GRU学习句子及属性的上下文特征表示;根据句子中单词和属性在依存树中的最短路径确定相应的语法距离及位置权重,同时结合相对距离构造包含语义信息和距离信息的句子特征表示,并进一步利用注意力机制生成属性相关的句子情感特征表示;最后,将句子的上下文信息与属性相关的情感特征表示合并后并通过softmax进行分类输出.实验结果表明：DTDA在国际语义评测SemEval2014的2个基准数据集Laptop和Restaurant上取得与目前最好方法相当的结果.当使用相关领域训练的词向量时,DTDA在Laptop上的精确率为77.01%,在Restaurant上的准确率为81.68%.     

基于多注意力网络的特定目标情感分析

作为自然语言处理领域的经典研究方向之一,特定目标情感分析的任务是根据句子上下文语境判别特定目标的情感极性,而提升该任务表现的重点在于如何更好地挖掘特定目标和句子上下文的语义表示.本文提出融合短语特征的多注意力网络(Phrase-Enabled Multi-Attention Network, PEMAN),通过引入短语级别语义特征,构建多粒度特征融合的多注意力网络,有效提高模型的表达能力.在SemEval2014 Task4 Laptop、Restaurant数据集上的实验结果表明,与基准模型相比,本文提出的PEMAN模型在准确率上有一定提升.     

基于自注意力机制的中文标点符号预测模型

中文标点符号预测是自然语言处理的一项重要任务,能够帮助人们消除歧义,更准确地理解文本。为解决传统自注意力机制模型不能处理序列位置信息的问题,提出一种基于自注意力机制的中文标点符号预测模型。在自注意力机制的基础上堆叠多层Bi-LSTM网络,并结合词性与语法信息进行联合学习,完成标点符号预测。自注意力机制可以捕获任意两个词的关系而不依赖距离,同时词性和语法信息能够提升预测标点符号的正确率。在真实新闻数据集上的实验结果表明,该模型F1值达到85.63%,明显高于传统CRF、LSTM预测方法,可实现对中文标点符号的准确预测。     

基于先验MASK注意力机制的视频问答方案

视频问答是深度学习领域的研究热点之一,广泛应用于安防和广告等系统中.在注意力机制框架下,建立先验MASK注意力机制模型,使用Faster R-CNN模型提取视频关键帧以及视频中的对象标签,将其与问题文本特征进行3种注意力加权,利用MASK屏蔽与问题无关的答案,从而增强模型的可解释性.实验结果表明,该模型在视频问答任务中...