基于Bert预训练模型的虚假新闻文本检测

虚假新闻剥夺了人们获取真相的权利,也给社会和国家带来了许多危害。文中以虚假新闻文本为例,分析和验证了多种预训练语言模型在虚假新闻文本分类上的分类效果。经实验证明,相较于其他语言模型,Bert预训练语言模型取得了较好的结果,预测准确率为86.97%,召回率为88.12%,F1值为87.54%。     

卷积深度神经网络在基于文档的自动问答任务中的应用与改进

基于文档的自动问答,尤其是语义匹配,其目标是计算两个文本之间的相似度。这是自然语言处理中的典型任务,并且用以衡量对自然语言的理解程度。深度学习方法得益于可以自动化地学习到给定任务的最优特征表示,在许多研究中取得成功,也包括文本匹配。针对基于文档的自动问答,提出一个基于卷积深度神经网络的语义匹配模型,以便对每一对问题和文档提取特征,并据此计算它们的得分。通过问题和文档之间的交互计算,利用重叠词等文本特征,在中文开放域上的自动问答任务中取得的实际效果证明了该模型的有效性。     

SC文法功能体系

文法体系的研究一直是自然语言处理研究的核心问题之一.但是,由于自然语言本身所固有的复杂性和非规范性,多义问题始终未能得到圆满的解决.本文提出了SC文法(A SubCategory grammar for integrating Se-mantic and Case analysis),它是一种基于传统的上下文无关文法、语义文法,以及超前与反馈分析技术和格框架约束分析等技术的上下文相关处理文法.该文法不仅能继承传统的上下文无关文法的表示简洁、处理方便的特点,而且能实现语法和语义一体化分析和处理上下文相关以及复杂多义问题.     

概率主题模型综述

主题模型是当下文本挖掘中最主要的技术之一,广泛应用于数据挖掘、文本分类以及社区发现等.由于其出色的降维能力和灵活的易扩展性,成为自然语言处理领域的一个热门研究方向.Blei等人提出了以Latent Dirichlet Allocation(LDA)为代表的概率主题建模方法,在该模型中主题可以看作是单词的概率分布,主题模型通过单词项在文档级的共现信息提取出与文档语义相关的主题,实现将高维的单词空间映射到低维的主题空间,进而完成对目标文本数据的降维处理,开创了文本挖掘研究的新方向.其中LDA作为一种概率生成模型很容易被扩展为其它各种形式的模型,鉴于概率主题模型的应用价值、理论意义和未来的发展潜力,本文首先系统性地对LDA模型进行介绍,进而对基于LDA模型的各类扩展模型进行详细分类,并对其中各类的典型代表进行详细介绍,指出了各个概率主题模型被提出的原因以及其模型的具体形式、所具有的优缺点、适宜解决的问题等,进而又指出近年来主题模型典型应用场景;此外,本文还对目前概率主题模型常用的几个公认的数据集、评测方法以及典型实验结果进行详细介绍,并在最后指明了概率主题模型在进一步研究中需要解决的问题以及未来可能的发展方向.     

融合知识图谱的网络安全违法行为识别系统

《网络安全法》是我国第一部关于网络安全的综合立法,与大众的互联网生活息息相关.因此,一款面向大众的《网络安全法》智能违法行为识别系统有助于规范互联网行为.然而,现有智能违法行为识别系统构建方法难以适应《网络安全法》,这是由于:首先,现有方法需要专业司法语言进行交互,不适应普通大众的语言体系.其次,现有方法需要大量的案例训练模型,不适应案例匮乏的《网络安全法》.针对这些问题,本文提出了一个面向《网络安全法》的智能违法行为识别系统.该系统主要利用知识图谱技术解决上述问题,在构建网络安全法知识图谱的基础上,通过将普通用户的自然语言与知识图谱中的违法事件实体和违法主体实体进行实体链接的方式获得更强的特征,提高违法行为识别系统在训练集较为匮乏的条件下的准确度.通过在真实数据集上的实验,表明了提出的系统的准确度有明显提高.