融合多头自注意力机制的中文短文本分类模型

针对中文短文本缺乏上下文信息导致的语义模糊从而存在的特征稀疏问题,提出了一种融合卷积神经网络和多头自注意力机制（CNN-MHA）的文本分类模型。首先,借助现有的基于Transformer的双向编码器表示（BERT）预训练语言模型以字符级向量形式来格式化表示句子层面的短文本;然后,为降低噪声,采用多头自注意力机制（MHA）学习文本序列内部的词依赖关系并生成带有全局语义信息的隐藏层向量,再将隐藏层向量输入到卷积神经网络（CNN）中,从而生成文本分类特征向量;最后,为提升分类的优化效果,将卷积层的输出与BERT模型提取的句特征进行特征融合后输入到分类器里进行再分类。将CNN-MHA模型分别与TextCNN、BERT、TextRCNN模型进行对比,实验结果表明,改进模型在搜狐新闻数据集上的F1值表现和对比模型相比分别提高了3.99%、0.76%和2.89%,验证了改进模型的有效性。     

融合多头自注意力机制的中文短文本分类模型

针对中文短文本缺乏上下文信息导致的语义模糊从而存在的特征稀疏问题，提出了一种融合卷积神经网络和多头自注意力机制（CNN-MHA）的文本分类模型。首先，借助现有的基于Transformer的双向编码器表示（BERT）预训练语言模型以字符级向量形式来格式化表示句子层面的短文本；然后，为降低噪声，采用多头自注意力机制（MHA）学习文本序列内部的词依赖关系并生成带有全局语义信息的隐藏层向量，再将隐藏层向量输入到卷积神经网络（CNN）中，从而生成文本分类特征向量；最后，为提升分类的优化效果，将卷积层的输出与BERT模型提取的句特征进行特征融合后输入到分类器里进行再分类。将CNN-MHA模型分别与TextCNN、BERT、TextRCNN模型进行对比，实验结果表明，改进模型在搜狐新闻数据集上的F1值表现和对比模型相比分别提高了3.99%、0.76%和2.89%，验证了改进模型的有效性。     

基于神经网络的医疗文本分类研究

传统的医学文本数据分类方法忽略了文本的上下文关系，每个词之间相互独立，无法表示语义信息，文本描述和分类效果差；并且特征工程需要人工干预，因此泛化能力不强。针对医疗文本数据分类效率低和精度低的问题，提出了一种基于Transformer双向编码器表示BERT、卷积神经网络CNN和双向长短期记忆BiLSTM神经网络的医学文本分类模型CMNN。该模型使用BERT训练词向量，结合CNN和BiLSTM,捕捉局部潜在特征和上下文信息。最后，将CMNN模型与传统的深度学习模型TextCNN和TextRNN在准确率、精确率、召回率和F1值方面进行了比较。实验结果表明，CMNN模型在所有评价指标上整体优于其他模型，准确率提高了1.69%～5.91%。     

基于改进词性信息和ACBiLSTM的短文本分类

中文短文本分类最重要的是提取和表示短文本特征,传统的表示方法静态训练词向量,存在特征稀疏、语义不足等问题,对此提出一种基于改进词性信息和ACBiLSTM的中文短文本分类模型.用BERT模型动态训练词向量,引入词性因子优化,将得到的具有词性信息的词向量作为输入层信息;经过卷积神经网络初步提取局部特征,通过双向长短时记忆网络进一步得到具有上下文时序信息的中间向量表示;结合注意力机制,突显关键信息,获得最终文本特征表示.在FudanNews、SougouNews及THUCNews数据集上将该模型与其他模型进行对比,实验结果表明,其准确率和F1值显著提高.     

BERT-TECNN模型的文本分类方法研究

由于Bert-base,Chinese预训练模型参数巨大,在做分类任务微调时内部参数变化较小,易产生过拟合现象,泛化能力弱,且该模型是以字为单位进行的预训练,包含词信息量较少。针对这些问题,提出了BERT-TECNN模型,模型使用Bert-base,Chinese模型作为动态字向量模型,输出包含深度特征信息的字向量,Transformer encoder层再次对数据进行多头自注意力计算,提取特征信息,以提高模型的泛化能力,CNN层利用不同大小卷积核,捕捉每条数据中不同长度词的信息,最后应用softmax进行分类。该模型与Word2Vec+CNN、Word2Vec+BiLSTM、Elmo+CNN、BERT+CNN、BERT+BiLSTM、BERT+Transformer等深度学习文本分类模型在三种数据集上进行对比实验,得到的准确率、精确率、召回率、F1测度值均为最高。实验表明该模型有效地提取了文本中字词的特征信息,优化了过拟合问题,提高了泛化能力。     

基于BERT模型的中文短文本分类算法

针对现有中文短文本分类算法通常存在特征稀疏、用词不规范和数据海量等问题,提出一种基于Transformer的双向编码器表示(BERT)的中文短文本分类算法,使用BERT预训练语言模型对短文本进行句子层面的特征向量表示,并将获得的特征向量输入Softmax回归模型进行训练与分类。实验结果表明,随着搜狐新闻文本数据量的增加,该算法在测试集上的整体F1值最高达到93%,相比基于TextCNN模型的短文本分类算法提升6个百分点,说明其能有效表示句子层面的语义信息,具有更好的中文短文本分类效果。     

融入句法结构信息的句子级情感分析算法

针对预训练模型BERT在编码文本时,只考虑了文本的序列信息从而只显示地学习了文本的语义信息,但文本的句法结构信息还不能被显示地利用。受知识蒸馏理论的启发,以Teacher-Student框架为模板,提出了Tree-BERT模型将文本的句法结构信息融入到BERT模型中。该模型先使用Tree-LSTM网络学习文本的句法结构信息,然后预测目标领域训练集样本的情感概率分布,也就是样本的情感“软标签”,最后在扩充后的目标领域训练集上微调BERT,提高了BERT在句子级情感分析任务上的准确率。     

用户粒度级的个性化社交文本生成模型

针对开放性的社交文本领域的文本生成技术生成的文本内容缺少个性化特征的问题,提出了一种用户级的细粒度控制生成模型,即PTG-GPT2-Chinese(Personalized Text Generation Generative Pre-trained Transformer 2-Chinese）。所提模型基于GPT2(Generative Pre-trained Transformer 2.0）结构设计了Encoder-Decoder模型框架。首先在Encoder端对用户的静态个性化信息建模并编码,在Decoder端添加了双向独立的注意力模块,用于接收该静态的个性化特征向量,并利用原始GPT2结构中的注意力模块捕获用户文本中的动态个性化特征;然后,动态加权融合各注意力模块分数并参与后续解码,从而自动生成以用户个性化特征属性作为约束的社交文本;此外,为了解决用户基本信息的语义稀疏性导致的生成文本偶尔与某些个性化特征存在矛盾的问题,采用BERT模型对Decoder端输出数据与用户个性化特征进行一致性理解的二次增强生成,最终实现个性化的社交文本生成。实验结果表明,与GPT2模型相比,所提模型...     

融合BERT和卷积门控的生成式文本摘要方法

结合注意力机制的循环神经网络(RNN)模型是目前主流的生成式文本摘要方法,采用基于深度学习的序列到序列框架,但存在并行能力不足或效率低的缺陷,并且在生成摘要的过程中存在准确率低和重复率高的问题.为解决上述问题,提出一种融合BERT预训练模型和卷积门控单元的生成式摘要方法.该方法基于改进Transformer模型,在编码器阶段充分利用BERT预先训练的大规模语料,代替RNN提取文本的上下文表征,结合卷积门控单元对编码器输出进行信息筛选,筛选出源文本的关键内容;在解码器阶段,设计3种不同的Transformer,旨在探讨BERT预训练模型和卷积门控单元更为有效的融合方式,以此提升文本摘要生成性能.实验采用ROUGE值作为评价指标,在LCSTS中文数据集和CNN/Daily Mail英文数据集上与目前主流的生成式摘要方法进行对比的实验,结果表明所提出方法能够提高摘要的准确性和可读性.     

基于BERT-BiGRU模型的智慧医疗问答系统

针对医疗问答系统在处理复杂问题时面临上下文语义理解的局限,提出一种基于BERT-BiGRU的模型。通过预训练语言模型BERT和双向门控循环单元BiGRU建立医疗问答系统,其中BERT提取文本语义特征,BiGRU学习文本的顺序依赖信息,进而全面表示文本语义结构信息。在CBLUE医疗问答数据集上与基准方法相比,该模型在意图识别任务上的精确率提高到79.22%,召回率提高到81.23%,F1值(精确率和召回率的调和平均值)提高到79.82%。研究表明,结合BERT和BiGRU的模型可以更好地理解医疗问句的语义和结构信息,显著地提升了医疗问答系统的性能。     

一种Web主题文本通用提取方法

为构建大规模中文文本语料库,提出了一种简单、有效、通用的中文Web主题文本提取方法。该方法巧妙地利用中文文本长度和标点符号序列,配合少量判别规则,便可准确地将主题文本从网页中提取出来。由于本方法不涉及具体的HTML标记分析,其通用性较强。实验结果表明该提取方法具有快速性和准确性,达到了构建大规模中文文本语料库的要求。     

图像文本分析技术及其应用

文本是计算机视觉的许多应用中的一项重要特征。大量复杂图像文本的应用,使图像文本分析技术成为研究的新方向。图像文本分析技术和通常的文档图像分析技术之间有着紧密的联系;但是图像文本其自身所具有的特性,又使得图像文本分析技术具有不同于一般的文档图像分析的更加丰富的内容。我们将图像文本分析技术划分为三大组成部分：图像文本定位、图像文本的预处理和图像文本的识别进行讨论。最后,本文也对图像文本分析技术的应用进行了讨论。     

基于改进的Jaccard系数文档相似度计算方法

文本相似度主要应用于学术论文查重检测、搜索引擎去重等领域,而传统的文本相似度计算方法中的特征项提取与分词环节过于冗杂,而且元素的随机挑选也会产生权重的不确定性. 为了解决传统方法的不足,提出一种基于改进的Jaccard系数确定文档相似度的方法,该算法综合考虑了各元素、样本在文档中的权重及其对多个文档相似度的贡献程度. 实验结果表明,基于改进的Jaccard系数的文档相似度算法具有实效性并且能够得到较高的准确率,适用于各种长度的中英文文档,有效地解决现有技术中存在的文档间相似度计算不精的问题.     

Categorisation Techniques in Computer-Assisted Reading and Analysis of Texts (CARAT) in the Humanities

There are two important strategies incomputer-assisted reading and analysis of text(CARAT). The first relates to theclassification process, and the second pertainsto the categorisation process. These twooften-interrelated operations have beenregularly recognised as essential components oftext analysis. However, the two operations arehighly time-consuming. A possible solution tothis problem calls upon more inductive orbottom-up strategies that are numerical andstatistical in nature. In our own research, wehave been exploring a few of these techniquesand their combination. We now know, through ourown past research and others' work, that theclassification methods allow a good empiricalthematic exploration of a corpus. Morespecifically, in this paper we shallconcentrate on the problem of assisting theautomatic categorisation of small segments of aphilosophical text into a set of thematiccategories.     

智能文本搜索新技术

面对当今互联网上海量的信息,以及搜索信息准确、高效、个性化等需求,提出了一套包括信息检索、信息抽取和信息过滤在内的智能文本搜索新技术.首先举荐了与信息检索新技术相关的企业检索、实体检索、博客检索、相关反馈子任务.然后介绍了与信息抽取技术相关的实体关联和实体填充子任务,以及与信息过滤技术相关的垃圾邮件过滤子任务.这些关键技术融合在一起,在多个著名的国际评测中得到应用,如美国主办的文本检索会议评测和文本分析会议评测,并且在互联网舆情、短信舆情和校园网对象搜索引擎等实际系统中得到了检验.     

艺术语言的游戏——从情态到语态的语言法则

艺术创作是在一定的社会环境中,在特定的意识形态支配下,艺术家用其独特的表现手法对社会的写照,情感的宣泄.意志的传递.本文通过对艺术创作中三种写作模式,既情态文本模式,意态文本模式、语态文本模式的探讨。提供了对艺术品的鉴赏与创作表现上多角度认识。     

Web文本挖掘技术及其应用的研究

文章详细研究了Web文本挖掘的定义及类型，重点分析了Web文本挖掘算法，总结了文本挖掘的应用，提出了今后工作的重点。     

Web文本挖掘技术及其应用的研究

文章详细研究了Web文本挖掘的定义及类型,重点分析了Web文本挖掘算法,总结了文本挖掘的应用,提出了今后工作的重点。     

基于Web的文本挖掘技术研究

Internet上大多数信息的表现形式为文本,如何在浩瀚的文本信息中挖掘到潜在的知识是一个有待解决的问题。文本挖掘的目的是从不同格式的文本中发现有用的知识,这是一个分析文本并从中抽取特定信息的过程。系统地介绍了文本挖掘的含义,并对文本挖掘过程的各个方面进行了进一步的探讨,包括文本特征的建立、特征的提取技术、文本的分类、文本的聚类等相关技术。同时提出了一种基于Web的文本信息挖掘的模型,将以高校BBS论坛为信息源,利用高级语言开发技术来构建一个自动的文本分类器。     

图像中的文本定位技术研究综述

介绍了图像中文本定位技术的研究现状,依据定位所利用的特征进行分类,分析了其中几种典型算法,并对文本定位算法的性能评价标准进行了深入讨论。