基于Bert预训练模型的虚假新闻文本检测

虚假新闻剥夺了人们获取真相的权利,也给社会和国家带来了许多危害。文中以虚假新闻文本为例,分析和验证了多种预训练语言模型在虚假新闻文本分类上的分类效果。经实验证明,相较于其他语言模型,Bert预训练语言模型取得了较好的结果,预测准确率为86.97%,召回率为88.12%,F1值为87.54%。     

Sequential alignment attention model for scene text recognition

Scene text recognition has been a hot research topic in computer vision due to its various applications. The state-of-the-art solutions usually depend on the attention-based encoder-decoder framework that learns the mapping between input images and output sequences in a purely data-driven way. Unfortunately, there often exists severe misalignment between feature areas and text labels in real-world scenarios. To address this problem, this paper proposes a sequential alignment attention model to enhance the alignment between input images and output character sequences. In this model, an attention gated recurrent unit (AGRU) is first devised to distinguish the text and background regions, and further extract the localized features focusing on sequential text regions. Furthermore, CTC guided decoding strategy is integrated into the popular attention-based decoder, which not only helps to boost the convergence of the training but also enhances the well-aligned sequence recognition. Extensive experiments on various benchmarks, including the IIIT5k, SVT, and ICDAR datasets, show that our method substantially outperforms the state-of-the-art methods.     

基于微博用户兴趣话题的相似用户挖掘

相似用户挖掘是提高社交网络服务质量的重要途径，在面向大数据的社交网络时代，准确的相似用户挖掘对于用户和互联网企业等都有重要的意义，而根据用户自己的兴趣话题挖掘的相似用户更符合相似用户的要求。提出了一种基于用户兴趣话题进行相似用户挖掘的方法。该方法首先使用TextRank话题提取方法对用户进行兴趣话题提取，再对用户发表内容进行训练，计算出所有词之间的相似度。提出CP（Corresponding Position similarity）、CPW（Corresponding Position Weighted similarity）、AP（All Position similarity）、APW（All Position Weighted similarity）四种用户兴趣话题词相似度计算方法，通过用户和相似用户间关注、粉丝重合率验证相似用户挖掘效果，APW similarity的相似用户的关注/粉丝重合百分比为1.687%，优于提出的其他三种算法，分别提高了26.3%、2.8%、12.4%，并且比传统的文本相似度方法Jaccard相似度、编辑距离算法、余弦相似度分别提高了20.4%、21.2%、45.0%。因此APW方法可以更加有效地挖掘出用户的相似用户。     

基于查询的新闻多文档自动摘要技术研究

针对新闻文本领域,该文提出一种基于查询的自动文本摘要技术,更加有针对性地满足用户信息需求。根据句子的TF-IDF、与查询句的相似度等要素,计算句子权重,并根据句子指示的时间给定不同的时序权重系数,使得最近发生的新闻内容具有更高的权重,最后使用最大边界相关的方法选择摘要句。通过与基于TF-IDF、Text-Rank、LDA等六种方法的对比,该摘要方法ROUGE评测指标上优于其他方法。从结合评测结果及摘要示例可以看出,该文提出的方法可以有效地从新闻文档集中摘取核心信息,满足用户查询内容的信息需求。     

基于条件随机场的地质矿产文本分词研究

中文与英文不同,词与词之间没有类似空格的天然分隔符,致使中文分词成为中文信息处理中的难题。地质矿产文本中含有大量未登录地质专业术语,现阶段仍无效果较好的分词方法。本文探讨了一种基于双语料库条件随机场模型的方法对地质矿产文本进行分词,并与通用领域分词方法、单语料库条件随机场模型分词方法进行对比实验。实验表明,本文提出的方法在开放测试下分词效果明显优于其他方法,准确率为94.80%,召回率为92.68%,F-值为93.73%。本文对地质矿产文本进行了中文分词研究,既能够很好地识别未登录地质专业术语,又保证了普通词汇的识别率,为对地质领域的自然语言处理工作奠定了基础。     

SFEP文本因果关系提取及其与SFN转化研究

为将系统故障演化过程(system fault evolution process，SFEP)的文本描述转化为空间故障网络(space fault network，SFN)结构，用于故障分析，本文提出SFEP文本因果关系提取方法，及其与SFN基本结构的转化方法。首先给出SFEP中事件的几种典型因果关系。随后提出因果关系与SFN基本结构的转化流程。本文方法围绕着关键字和因果关系组模式展开，通过模型的不断学习补充和丰富关键字和组模式。最终使方法具备将SFEP文本转化为SFN结构的能力。以飞机起落架故障发生过程文本为例进行了应用，实验结果表明该方法可用于SFEP文本中的因果关系分析，并得到了理想的SFN。完善的关键字和组模式有利于使用计算机智能处理SFEP的SFN。     

基于多元神经网络融合的分布式资源空间文本分类研究

针对实体产业对科技资源的服务需求,以服务效应作为资源文本分类标准,提出一种基于多元神经网络融合的分布式资源空间文本分类模型。设计了包含词嵌入层、卷积层、双向门控循环单元层、注意力机制层和softmax层的多元神经网络通路;在此基础上采用基于需求—效应—资源分类策略,完成了从定性科技资源需求到定量资源服务效应求解,再到定性科技资源输出的映射变换,重点解决了分布式科技资源局部和全局语义特征形式多样、文本长距离依赖特征显著、重要资源信息难以准确识别的问题,进而从分布式科技资源空间中快速准确地获取效应知识,提升实体产业产品研发效率和创新能力;通过万方专利科技资源数据集验证了所提方法的可行性和有效性,为更加全面地挖掘资源文本特征和按需服务实体产业提供了一种新的思路和手段。     

基于文本与语义相关性分析的图像检索

为了更加有效地检索到符合用户复杂语义需求的图像，提出一种基于文本描述与语义相关性分析的图像检索算法。该方法将图像检索分为两步：基于文本语义相关性分析的图像检索和基于SIFT特征的相似图像扩展检索。根据自然语言处理技术分析得到用户文本需求中的关键词及其语义关联，在选定图像库中通过语义相关性分析得到“种子”图像；接下来在图像扩展检索中，采用基于SIFT特征的相似图像检索，利用之前得到的“种子”图像作为查询条件，在网络图像库中进行扩展检索，并在结果集上根据两次检索的图像相似度进行排序输出，最终得到更加丰富有效的图像检索结果。为了证明算法的有效性，在标准数据集Corel5K和网络数据集Deriantart8K上完成了多组实验，实验结果证明该方法能够得到较为精确地符合用户语义要求的图像检索结果，并且通过扩展算法可以得到更加丰富的检索结果。     

基于门控联合池化自编码器的通用性文本表征

为了学习文本的语义表征,以往的研究者主要依赖于复杂的循环神经网络(recurrent neural networks, RNNs)和监督式学习方法。该文提出了一种门控联合池化自编码器(gated mean-max AAE)用于学习中英文的文本语义表征。该文的自编码器完全通过多头自注意力机制(multi-head self-attention mechanism)来构建编码器和解码器网络。在编码阶段,提出了均值—最大化(mean-max)联合表征策略,即同时运用平均池化(mean pooling)和最大池化(max pooling)操作来捕获输入文本中多样性的语义信息。为促使联合池化表征可以全面地指导重构过程,解码器采用门控操作进行动态关注。通过在大规模中英文未标注语料上训练模型,获得了高质量的句子编码器。在重构文本段落的实验中,该文模型在实验效果和计算效率上均超越了传统的RNNs模型。将公开训练好的文本编码器,使其可以方便地运用于后续的研究。     

基于特征选择和深度信念网络的文本情感分类算法

由于人类语言的复杂性，文本情感分类算法大多都存在因为冗余而造成的词汇量过大的问题。深度信念网络（DBN）通过学习输入语料中的有用信息以及它的几个隐藏层来解决这个问题。然而对于大型应用程序来说，DBN是一个耗时且计算代价昂贵的算法。针对这个问题，提出了一种半监督的情感分类算法，即基于特征选择和深度信念网络的文本情感分类算法（FSDBN）。首先使用特征选择方法（文档频率（DF）、信息增益（IG）、卡方统计（CHI）、互信息（MI））过滤掉一些不相关的特征从而使词汇表的复杂性降低；然后将特征选择的结果输入到DBN中，使得DBN的学习阶段更加高效。将所提算法应用到中文以及维吾尔语中，实验结果表明在酒店评论数据集上，FSDBN在准确率方面比DBN提高了1.6%，在训练时间上比DBN缩短一半。