基于深度学习的中文零代词识别

针对中文零代词识别任务,提出了一种基于深度神经网络的中文零代词识别模型. 首先,通过注意力机制利用零代词的上下文来帮助表示缺省的语义信息. 然后,利用Tree-LSTM挖掘零代词上下文的句法结构信息. 最后,利用语义信息和句法结构信息的融合特征识别零代词. 实验结果表明,相对于以往的零代词识别方法,该方法能够有效提升识别效果,在中文OntoNotes5.0数据集上的F1值达到63.7%.     

基于自注意力与图卷积网络的方面级情感分析

针对以往大多数方面级情感分析研究中方面词与上下文交互信息缺失,无法充分利用语义信息等问题,提出一种基于自注意力与图卷积网络结合的方面级情感分析模型。为了提高模型的语义表示能力,一方面利用多头自注意力机制,获取文本长距离依赖关系,与依存关系类型矩阵结合,计算融合位置信息和关系类型信息的权重矩阵,输入图卷积网络获取文本特征表示;另一方面设计了文本-方面注意力层,增强方面与上下文的交互,输入图卷积网络获取方面特征表示;最后连接2个向量,完成情感分析任务。在2个开放数据集中,所提模型的整体性能优于其他对比模型。     

基于注意力机制的评论摘要生成

为了实现评论摘要的生成式提取,对序列到序列学习的神经网络模型进行分析,提出了一种改进的注意力机制应用模型,并用于评论摘要.挖掘评论摘要特征,使在摘要中出现的文字更多集中在原文首部;针对评论摘要的样本特征,通过改进局部注意力模型,使其对评论原文的句首具有更高的注意力权重,并可端到端地生成评论摘要的每一个词.实验结果表明,该模型在对英文同类别全文长度小于200的评论摘要提取上有更高的准确率.     

基于自注意力和门控机制的答案选择模型

针对现有答案选择方法语义特征提取不充分和准确性差的问题,引入自注意力和门控机制,提出了一种答案选择模型。该模型首先在问题和答案文本内部利用层叠自注意力进行向量表示,并在自注意力模块中让单词和位置分开进行多头注意力;然后将答案句通过卷积神经网络(Convolutional neural network, CNN)得到的向量表示输入注意力层,根据问题生成与问题相关的答案表示,并通过门控机制融合两种表示;最后计算问题和答案文本的相关性分数,得到候选答案的排名和标注。结果表明:该模型与双向长短时记忆网络模型、自注意力模型和基于注意力的双向长短时记忆网络模型相比,在WebMedQA数据集上平均倒数排名分数分别提高了8.37%、4.79%和2.03%,预测答案正确率也有提高。这表明提出的模型能够捕获更丰富的语义信息,有效提升了答案选择的性能。     

基于BERT与注意力机制的方面级隐式情感分析模型

在方面级情感文本中存在部分不含情感词的评论句，对其情感的研究被称为方面级隐式情感分析.现有分析模型在预训练过程中可能会丢失与方面词相关的上下文信息，并且不能准确提取上下文中深层特征.本文首先构造了方面词感知BERT预训练模型，通过将方面词引入到基础BERT的输入嵌入结构中，生成与方面词信息相关的词向量；然后构造了语境感知注意力机制，对由编码层得到的深层隐藏向量，将其中的语义和句法信息引入到注意力权重计算过程，使注意力机制能更加准确地分配权重到与方面词相关的上下文.对比实验结果表明，本文模型的效果优于基线模型.     

基于密集连接网络和多维特征融合的文本匹配模型

针对文本匹配过程中存在语义损失和句子对间信息交互不充分的问题,提出基于密集连接网络和多维特征融合的文本匹配方法. 模型的编码端使用BiLSTM网络对句子进行编码,获取句子的上下文语义特征;密集连接网络将最底层的词嵌入特征和最高层的密集模块特征连接,丰富句子的语义特征;基于注意力机制单词级的信息交互,将句子对间的相似性特征、差异性特征和关键性特征进行多维特征融合,使模型捕获更多句子对间的语义关系. 在4个基准数据集上对模型进行评估,与其他强基准模型相比,所提模型的文本匹配准确率显著提升,准确率分别提高0.3%、0.3%、0.6%和1.81%. 在释义识别Quora数据集上的有效性验证实验结果表明,所提方法对句子语义相似度具有精准的匹配效果.     

基于类激活映射-注意力机制的图像描述方法

基于软注意力机制的图像描述算法,提出类激活映射-注意力机制的图像描述方法。利用类激活映射算法得到卷积特征包含定位以及更丰富的语义信息,使得卷积特征与图像描述具有更好的对应关系,解决卷积特征与图像描述的对齐问题,生成的自然语言描述能够尽可能完整的描述图像内容。选择双层长短时记忆网络改进注意力机制结构,使得新的注意力机制适合当前全局和局部信息的特征表示,能够选取合适的特征表示生成图像描述。试验结果表明,改进模型在诸多评价指标上优于软注意力机制等模型,其中在MSCOCO数据集上Bleu-4的评价指标相较于软注意力模型提高了16.8%。类激活映射机制可以解决图像空间信息与描述语义对齐的问题,使得生成的自然语言减少丢失关键信息,提高图像描述的准确性。     

基于AM的BLSTM网络电商评论情感倾向分类

针对电商评论中所包含的消费者情感倾向信息问题,提出一种基于注意力机制和双向长短期记忆(bidirectional long-short term memory,BLSTM)网络的情感倾向分类模型。该模型使用预训练的字向量作为输入特征,通过双向长短期记忆网络来学习文本的语义特征。依此特征,设计了一种新的注意力机制来捕捉BLSTM模型生成的文本语义特征中重要的信息,以降低文本中冗余噪声对于情感倾向分类的影响。实验结果表明,与传统机器学习方法以及长短期记忆模型和双向长短期记忆模型相比,所提出模型在电商评论的情感倾向分类上取得了较好的结果。     

基于可分解注意力机制的医疗问句语义匹配研究

问句语义匹配旨在判定给定的两个语句的语义信息是否匹配,在信息检索、自动问答、机器翻译等领域应用广泛,是自然语言处理研究的一个关键问题。现有基于机器学习或深度学习的问句语义匹配任务大多采用对整个句子构建语义信息表示,而忽视了语句各组成部分所蕴含的具体细节信息。提出一种基于可分解注意力机制的语义匹配模型(Decomposable Attention based Semantic Matching,DASM),该模型首先使用软注意力机制将整个序列问句分解为可以独立解决的子问句,使得子问句间权重计算可以并行;然后结合注意力机制充分捕获问句中潜在的语义信息,从而提高问句匹配任务的性能。实验结果表明,本文方法提高了问句语义匹配的准确性和模型性能。     

基于视觉关系推理与上下文门控机制的图像描述

为了探索图像场景理解所需要的视觉区域间关系的建模与推理,提出视觉关系推理模块. 该模块基于图像中不同的语义和空间上下文信息,对相关视觉对象间的关系模式进行动态编码,并推断出与当前生成的关系词最相关的语义特征输出. 通过引入上下文门控机制,以根据不同类型的单词动态地权衡视觉注意力模块和视觉关系推理模块的贡献. 实验结果表明,对比以往基于注意力机制的图像描述方法,基于视觉关系推理与上下文门控机制的图像描述方法更好;所提模块可以动态建模和推理不同类型生成单词的最相关特征,对输入图像中物体关系的描述更加准确.     

面向目标情感分析的双重图注意力网络模型

目标情感分析旨在分析评论文本中不同目标所对应的情感倾向。当前,基于图神经网络的方法使用依存句法树来融入依存句法关系,一方面,此类方法大多忽略了依存关系缺乏区分度的事实;另一方面,未考虑依存句法树提供的依存关系存在目标与情感词关系缺失的问题。为此,提出双重图注意力网络模型。该模型首先使用双向长短期记忆网络得到具有语义信息的词节点表示,然后根据依存句法树在词节点表示上构建句法图注意力网络,实现依存句法关系重要程度的区分,更有效地建立目标与情感词之间的关系,进而得到更准确的目标情感特征表示;同时根据句子的无向完全图构建全局图注意力网络来挖掘目标与情感词缺失的关系,进一步提升模型的性能。实验结果表明,与现有模型对比,双重图注意力网络模型在不同数据集上的准确率与宏平均F1值均取得了更好结果。     

基于注意力与双通道网络的方面级情感分析

针对方面级情感分析任务不能充分兼顾句法全面性与语义关联性,且大多数研究中使用的图卷积仅考虑信息自上而下的传播,忽略了信息自下而上的聚合等问题,本文提出了基于注意力与双通道网络的情感分析模型.该模型在扩展依存表示的同时使用自注意力获取具有语义关联的信息矩阵,使用双通道网络结合全局句法与语义关联信息,双通道网络分别侧重于自上而下传播的语义特征与自下而上聚合的结构特征.通道内的图卷积输出会与信息矩阵进行交互注意力起到残差互补的作用,然后通过平均池化完成通道内的任务.最后将基于语义与基于结构的决策融合得到最终的情感分类特征.实验结果表明该模型在三个公开数据集上的准确率与F1值均有提升.     

基于词性标记文法的文本信息隐藏算法

提出了以词性标记文法语言为变换域的文本信息隐藏方法。根据自然语言语法规则构造自由上下文文法,文法的句子是用词性标记符表示的句型;利用模拟函数将秘密信息变换为文法的句子;载体文本用分词与词性标记软件也变换为同一文法的句子;运用字符串匹配技术计算秘密信息句子在载体文本中的位置,位置即为密钥;接收方根据密钥提取文法的句子,再通过语法分析读出秘密信息;给出了信息隐藏容量公式。该算法不改变载体文本,能较好地解决Wayner的载体文本生成技术面临的载体文本合语法但不合语义的问题。     

一种面向目标的情感极性分析方法

面向目标的情感分析是细粒度情感分析的重要任务之一,旨在预测句子中给定目标实体的情感极性.当前大多数研究方法忽略了句法结构信息,在情感判别时往往会关注无关词汇,从而使分类性能下降.为此,设计了一种新的引入句法结构的模型,该模型利用双向预训练编码器和作用于依存句法树的图卷积网络分别捕获文本的上下文信息和句法结构信息,并使用多头注意力机制进行信息聚合得到目标的情感分类表征.此外,还将该模型与现有的领域自适应方法相结合,同时向模型中引入领域知识和句法结构知识,进一步提升了模型效果.在几个常用的标准数据集上的实验结果表明了上述模型的有效性.     

融合元路径学习和胶囊网络的社交媒体谣言检测方法

以源推特文本为研究对象,深度挖掘推特正文内容的语义信息,并强调谣言在具有异质性的社交网络传播过程中存在的结构特征,以达到提升谣言检测效果的目的。采取基于One-Hot Encoding的词嵌入方法,结合Multi-head attention机制实现推特正文内容初级语义特征的提取,并进一步基于胶囊网络(CapsNet)构建内容胶囊(content-capsule)模块实现对正文内容深度语义特征的提取,结合图卷积胶囊(GCN-Capsule)模块实现谣言在社交网络中传播结构特征的提取,将两种胶囊向量采用一种动态路由机制进行融合,进一步丰富输入特征,之后输出源推特的分类结果,进而实现源推特的谣言检测。实验结果显示,该模型对谣言识别的正确率达93.6%。     

Model of abstractive text summarization for topic-aware communicating agents

To solve the problem that the traditional automatic text summary model cannot generate a high-quality long text summary due to the limitation of the length of the RNN (Recurrent Neural Network), a model of abstractive text summarization for topic-aware communicating agents has been proposed. First, the problem that the LSTM (Long Short-Term Memory) input sequence is too long to generate the abstract with prior information has been solved by dividing the encoder into multiple collaborating agents. Then for providing topic information and improving the correlation between the generated abstract and the source text, the joint attention mechanism has been added into our model. Finally, a hybrid training method with reinforcement learning has been employed in order to solve the problem of exposure bias, and optimize the evaluation index directly. The results show that our model not only generate long text summaries with prominent themes, but also has a higher score than the state-of-the-art models, which indicates that with the help of topic information, the model for communicating agents can be expected to generate long text summaries better.     

利用句法模式从术语词典中抽取语义关系

提出了一种基于句法模式的语义关系抽取方法,用于从术语词典中抽取语义关系.该方法以句法模式为中心,结合了自然语言处理技术和统计的思想,充分利用术语词典文档中的句法信息,通过抽取包含着语义关系信息的句法模式,并将其与词典文本进行近似匹配以达到抽取语义关系的目的.实验结果表明,该方法可以有效地从术语词典中抽取多种语义关系.     

基于全信息自然语言理解的语音识别后文本处理

将全信息(自然语言的语法、语义和语用信息)自然语言理解应用到可靠语音功能的研究中，提出在语音识别之后增加一个全信息自然语言理解的文本后处理功能，通过深入分析词语的语法信息（位置、识别稳定度）、语义信息（语句目标含义）和语用信息（语境和谐度）对语音识别结果语句进行评估、检错和纠错，最终输出优化语句。实验结果表明，增加全信息自然语言理解后处理可使识别正确率获得较好改善。