基于注意力机制与文本信息的用户关系抽取

随着社交媒体的发展,用户之间的关系网络对于社交媒体的分析有很大的帮助。因此,该文主要研究用户好友关系检测。以往的关于用户好友关系抽取的研究主要基于社交媒体上的结构化信息,比如其他好友关系,用户的不同属性等。但是,很多时候用户本身并没有大量的好友信息存在,同时也不一定有很多确定的属性。因此,我们希望基于用户发表的文本信息来对用户关系进行预测。不同于以往的潜在好友推荐算法,该文提出了一种基于注意力机制以及长短时记忆网络(long short-term memory,LSTM)的好友关系预测模型,将好友之间的评论分开处理,通过分析用户之间的评论来判断是否具备一定的好友关系。该模型将好友双方信息拼接后的结果作为输入,并将注意力机制应用于LSTM的输出。实验表明,用户之间的评论对于好友关系预测确实有较大的实际意义,该文提出的模型较之于多个基准系统的效果,取得了明显的提升。在不加入任何其它非文本特征的情况下,实验结果的准确率达到了77%。     

“知行合一”与计算机专业课程教学的思考

针对计算杌专业课程教学的特点,与“知行合一”理念相结合,在研究江苏省机器人大赛模式基础上,提出了机器人虚拟平台系统设计框架,所设计开发的机器人虚拟平台系统使用直观方便,具有良好的兼容性。有利于激发学生创新性意识,团队合作意识和计算机专业知识的综合应用能力。     

基于混合表示的中文事件检测方法研究

传统中文事件检测方法采用人工定义的特征表示候选触发词,耗时耗力。基于神经网络的特征学习方法在中英文事件检测任务中得到了验证。现有的基于神经网络的中文事件检测方法初步探索了字信息对解决分词错误的作用。字是中文的最小结构单元和语义表示单元。词语的字符级信息能够提供词语的结构性信息和辅助词语级语义。该文研究了字/词混合神经网络特征对于解决中文事件数据集未登录词问题的作用。采用神经网络模型分别学习词语的词语级表示和字符级表示,进而拼接得到词语的混合表示。实验结果表明,基于字/词混合表示的中文神经网络事件检测模型的F₁值比当前最好的模型高2.5%。     

基于Transformer的自然语言处理预训练语言模型概述

在自然语言处理领域,谷歌提出Transformer模型之后,以生成式预训练模型(Generative Pre-Training,GPT)和深度双向预训练语言模型(Bidirectional Encoder Representat ions from Transformers,BERT)等为代表的一些基于Transformer的预训练语言模型(Transformer-based Pre-trained Language Models,TPLM)相继被提出,在大部分自然语言处理任务上取得很好的效果。TPLM使用自监督学习方法学习来自大量文本数据的通用语言表示,并将这些知识转移到下游任务中,为其提供了背景知识,避免了重新开始训练新任务模型的情况。笔者主要研究了基于Transformer的预训练语言模型与基于TPLM的“预训练+微调”的自然语言处理预训练新技术模式。首先,介绍预训练模型的发展背景;其次,解释各种有关TPLM的核心概念,如预训练、预训练方法、预训练任务、自监督学习与迁移学习等;再次,简要介绍相关TPLM模型与目前的进展;最后,提出改进TPLM的方法并总结。     

基于多方注意力建模的对话情感分类

对话情感分析旨在对一段对话中的每个句子进行情感分类,既要考虑到说话者个人的情感惯性,也要考虑到说话者之间的情感传递,对于构建具有移情功能的对话系统等具有重要作用。在目前已有的工作中,多数是基于循环神经网络构建记忆网络对说话者建模,该文从基于Transformer的对话建模的角度出发,为了多方注意力机制建模不同说话者之间的交互,更好地模拟对话场景。实验表明,该文提出的Dialogue Transformer相较于其他前沿模型,其实现简洁,运行速率更快,且加权F₁值也有较大提高。     

全局自匹配机制的短文本摘要生成方法

基于编码器-解码器架构的序列到序列学习模型是近年来主流的生成式自动文摘模型,其在计算每一个词的隐层表示时,通常仅考虑该词之前（或之后）的一些词,无法获取全局信息,从而进行全局优化.针对这个问题,在编码器端引入全局自匹配机制进行全局优化,并利用全局门控单元抽取出文本的核心内容.全局自匹配机制根据文本中每个单词语义和文本整体语义的匹配程度,动态地从整篇文本中为文中每一个词收集与该词相关的信息,并进一步将该词及其匹配的信息有效编码到最终的隐层表示中,以获得包含全局信息的隐层表示.同时,考虑到为每一个词融入全局信息可能会造成冗余,引入了全局门控单元,根据自匹配层获得的全局信息对流入解码端的信息流进行过滤,筛选出原文本的核心内容.实验结果显示,与目前主流的生成式文摘方法相比,该方法在Rouge评价上有显著提高,这表明所提出的模型能有效融合全局信息,挖掘出原文本的核心内容.     

基于产品建模的评论问题生成研究

问题自动生成是自然语言处理领域的一个研究热点,旨在从文本中生成自然问句.随着电子商务的不断发展,网络上产生了大量关于产品的评论.面对海量的评价信息,如何快速挖掘产品信息相关的关键评价,从而生成与产品各个层面息息相关的问答数据具有极大的研究价值,这对商家和顾客都具有极大的意义.现有的问题生成模型大多针对阅读理解类型等长文...     

基于用户与产品信息和图卷积网络的情感分类研究

在评论情感分析的研究中,和评论相关的用户与产品信息对于提高情感分类的准确率有很大的帮助.为了能够有效地利用产品和用户信息,并构建产品和用户信息与评论之间的关联,该文提出一种基于图网络的模型,将产品与用户信息和评论之间的关系构建为一个图,并基于图卷积网络模型学习产品与用户信息对评论的影响,从而提升评论情感分类的准确率.在...     

基于对话约束的回复生成研究

现有的对话系统中存在着生成“好的”“我不知道”等无意义的安全回复问题。日常对话中,对话者通常围绕特定的主题进行讨论且每句话都有明显的情感和意图。因此该文提出了基于对话约束的回复生成模型,即在Seq2Seq模型的基础上,结合对对话的主题、情感、意图的识别。该方法对生成回复的主题、情感和意图进行约束,从而生成具有合理的情感和意图且与对话主题相关的回复。实验证明,该文提出的方法能有效提高生成回复的质量。     

基于上下文信息的产品评论摘要Bi-LSTM模型

产品评论摘要任务的主要目标是对产品评论中的用户观点和意见进行概括,总结出用户对该产品对象各方面性能的褒贬评价.针对产品评论中存在的语义缺失?错误较多等复杂的语言现象,提出一种基于上下文信息的产品评论摘要方法.基于Bi-LSTM 神经网络构建产品评论摘要模型,联合学习句子信息和上下文信息,以便更加准确地抽取出产品评论中的重要内容.实验结果表明,与传统的评论摘要方法相比,该方法在ROUGE(Recall-Oriented Understudy for Gisting Evaluation)评价指标上有显著提升.