基于深度学习的文本分类研究综述

与传统的机器学习模型相比，深度学习模型试图模仿人的学习思路，通过计算机自动进行海量数据的特征提取工作。文本分类是自然语言处理中的一个重要应用，在文本信息处理过程中具有关键作用。过去几年，使用深度学习方法进行文本分类的研究激增并取得了较好效果。文中简要介绍了基于传统模型的文本分类方法和基于深度学习的文本分类方法，回顾了先进文本分类方法并重点关注了其中基于深度学习的模型，对近年来用于文本分类的深度学习模型的研究进展以及成果进行介绍和总结，并对深度学习在文本分类领域的发展趋势和研究的难点进行了总结和展望。     

融合语义角色和自注意力机制的中文文本蕴含识别

文本蕴含识别旨在识别两个给定句子之间的逻辑关系.本文通过构造语义角色和自注意力机制融合模块,把句子的深层语义信息与Transformer模型的编码部分相结合,从而增强自注意力机制捕获句子语义的能力.针对中文文本蕴含识别在数据集上存在规模小和噪声大的问题,使用大规模预训练语言模型能够提升模型在小规模数据集上的识别性能.实验结果表明,提出的方法在第十七届中国计算语言学大会中文文本蕴含识别评测数据集CNLI上的准确率达到了80.28%.     

基于预训练语言模型及交互注意力的平行句对抽取方法

从互联网可比语料中筛选高质量的平行句对,是提升低资源机器翻译性能的有效手段之一.针对该问题,融合预训练语义表征提出一种基于双向交互注意力机制的跨语言文本语义匹配方法,首先利用预训练语言模型分别获得源语言和目标语言的双语表征,其次基于双向交互注意力机制实现跨语言特征的空间语义对齐,最后基于多视角特征融合后的语义表征实现跨...     

基于多通道注意力机制的文本分类模型

为解决卷积神经网络(CNN)和循环神经网络(RNN)处理文本分类任务时,由于文本特征稀疏造成的关键特征信息丢失、模型性能不高和分类效果不佳等问题.提出一种基于多通道注意力机制的文本分类模型,首先利用字词融合的形式进行向量表示,然后利用CNN和BiLSTM提取文本的局部特征和上下文关联信息,接着以注意力机制对各通道的输出...     

基于Bert-A-BiR神经网络的文本情感分类模型

为了解决双向长短时记忆网络(Bi-directional Long Short-Term Memory,BiLSTM)模型不能解决一词多义、不能充分学习文本深层次语义的问题,提出一种基于Bert-A-BiR的文本情感分析模型.首先,对预训练模型(Bidirectional Encoder Representations from Transformers,BERT)进行微调,利用BERT预训练模型对词向量动态调整,将包含上下文信息的真实语义嵌入模型;其次,利用双向门控循环网络(BiGRU)层对BERT层输出文本进行深层特征采集;再次,引入注意力机制,为采集的深层情感特征分配相应的不同权重;最后,将包含权重信息的情感特征送入softmax层进行情感分类.同时,为了进一步提升模型对文本深层语义的学习能力,设计6组相关模型进行进一步实验验证.实验结果表明,所提出的神经网络模型在IMDB数据集上的最高准确率为93.66％,在SST-5数据集上的最高准确率为53.30％,验证了Bert-BiR-A模型的有效性.     

鹏程·盘古：大规模自回归中文预训练语言模型及应用

在鹏城云脑Ⅱ上训练了全球首个拥有全开源2 000亿参数的自回归中文预训练语言大模型——鹏程·盘古。鹏程·盘古模型基于1.1 TB高质量中文训练数据,采用全场景人工智能计算框架MindSpore自动并行技术实现了五维并行训练策略,从而可将训练任务高效扩展到4 096个处理器上。对比实验表明,在少样本或零样本情况下,鹏程·盘古模型在多个中文自然语言理解或生成任务上都具有较优的性能。在此基础上,鹏程·盘古模型在大模型压缩、提示微调学习、多任务学习以及持续学习等方面也取得了很好的应用效果。     

基于语义理解注意力神经网络的多元特征融合中文文本分类

在中文文本分类任务中,针对重要特征在中文文本中位置分布分散、稀疏的问题,以及不同文本特征对文本类别识别贡献不同的问题,该文提出一种基于语义理解的注意力神经网络、长短期记忆网络(LSTM)与卷积神经网络(CNN)的多元特征融合中文文本分类模型(3CLA)。模型首先通过文本预处理将中文文本分词、向量化。然后,通过嵌入层分别经过CNN通路、LSTM通路和注意力算法模型通路以提取不同层次、具有不同特点的文本特征。最终,文本特征经融合层融合后,由softmax分类器进行分类。基于中文语料进行了文本分类实验。实验结果表明,相较于CNN结构模型与LSTM结构模型,提出的算法模型对中文文本类别的识别能力最多提升约8%。     

基于Bi-LSTM的医学文本分词模型

中文分词(Chinese Word Segmentation,CWS)是自然语言处理(Natural Language Processing,NLP)中一项重要的基础任务.由于不同领域中文词汇的特殊性以及缺乏相关领域的标记数据,面向特定领域的分词任务是近年来中文分词研究面临的挑战之一.因此,提出了一种基于双向长短时记忆...     

自然语言处理新范式：基于预训练模型的方法

以BERT和GPT为代表的、基于超大规模文本数据的预训练语言模型能够充分利用大模型、大数据和大计算,使几乎所有自然语言处理任务性能都得到显著提升,在一些数据集上达到甚至超过人类水平,已成为自然语言处理的新范式。认为未来自然语言处理,乃至整个人工智能领域,将沿着“同质化”和“规模化”的道路继续前进,并将融入多模态数据、具身行为数据、社会交互数据等更多的“知识”源,从而为实现真正的通用人工智能铺平道路。     

知识增强预训练模型

预训练模型主要从海量未标注、无结构化的数据中学习,但缺少外部知识指导,存在模型学习效率不高、模型效果不佳和知识推理能力受限等不足。如何在预训练模型中引入语言知识、世界知识等外部知识,提升模型效果以及知识记忆和推理能力是一个难题。本文从不同类型知识的引入、融合知识的方法、缓解知识遗忘的方法等角度,介绍知识增强预训练模型的发展,并以知识增强预训练模型百度文心为例,详细探讨知识增强预训练模型的原理和应用。     

基于超参数优化的电力负荷预测模型研究

电力负荷数据的多样性与复杂性,会导致负荷预测过程中出现超参数难以确定、拟合效果较差和预测精度不高等问题。针对以上问题,提出一种基于樽海鞘群算法的融入注意力机制的双向长短期记忆神经网络模型——SSA-AM-BiLSTM模型。该模型使用BiLSTM学习特征的内部变化规律,引入注意力机制为特征进行权重分配,并且利用樽海鞘群算法优化网络超参数。基于具体数据集进行的负荷预测仿真实验表明,相较于GRU、LSTM、AM-BiLSTM和PSO-AM-BiLSTM模型,所提出的SSA-AM-BiLSTM模型的MAPE分别减少了2.15%、1.93%、1.42%和0.45%,并且优化了拟合效果,显著提高了预测精度。     

基于Bi-LSTM模型的自媒体文本情感分类方法

本文首先对自媒体文本进行去噪、分词、去停用词等预处理,提取文本特征,构建基于Bi-LSTM模型的文本情感分类器,并利用已训练好的情感分类器对实时采集的自媒体文本进行情感分类,为用户提供可视化的话题舆情监测。     

基于BERT和交互注意力的方面级情感分类模型

目前针对方面级的情感分类模型往往忽略了对方面词的单独建模,传统的注意力机制模型可能会给句子中的情感词分配较低的注意力权重。鉴于此,本文提出一种结合交互注意力网络(IAN)和双向编码器表征技术(BERT)的情感分类方法。首先将输入分为3部分：文本、方面词、文本+方面词。通过BERT得到词向量,双向门控单元(BiGRU)负责进行语义信息的提取,隐藏向量分别输入特征提取层,最后将2部分进行拼接,输入softmax层得到情感极性。通过在公开数据集上的实验证明,本文的模型效果能够比基线模型提高5%的精确度。     

基于视频预训练和注意力特征融合的行人重识别方法

行人重识别是跨摄像头追踪的关键环节之一,主流方法多采用ImageNet进行预训练,忽视了数据集的域间差异,且以结构庞大的多分支模型居多,模型复杂度较高。本文设计一种行人重识别方法,采用基于原始视频带噪声标签参与监督的方式进行预训练,减少域间差异以提升特征表达能力;以基于注意力的特征融合方式取代残差网络的跳接映射,增强网络的特征提取能力;在网络中嵌入坐标注意力机制,在低复杂度的情况下强化关键特征,抑制低贡献特征;采用随机擦除对输入数据做数据增强以提高泛化能力,联合分类损失、三元组损失和中心损失函数对网络进行监督训练。在公开数据集Market-1501和Duke-MTMC上完成了消融实验,与主流方法对比实验表明本方法在不需要复杂多分支逻辑结构的前提下,仍可达到较高的精度。     

基于轻量级神经网络的暴力视频分类方法研究

随着视频类自媒体平台的迅速发展,视频内容的安全性审核需求急速增加。为提高视频内容审核的便捷性和准确性,提出结合轻量级神经网络和长短时记忆网络的暴力视频分类方法。借助轻量级神经网络提取视频帧的视觉特征,使用长短时记忆网络对视频帧之间的时序特征将进行提取,引入时空注意力机制提高视频分类准确率。实验结果表明,所提出的方法不仅在模型上表现出轻量性,而且还能提高视频分类的准确性。     

基于CNN与LSTM相结合的恶意域名检测模型

为提高恶意域名检测准确率,该文提出一种基于卷积神经网络(CNN)与长短期记忆网络(LSTM)相结合的域名检测模型.该模型通过提取域名字符串中不同长度字符组合的序列特征进行恶意域名检测:首先,为避免N-Gram特征稀疏分布的问题,采用CNN提取域名字符串中字符组合特征并转化为维度固定的稠密向量;其次,为充分挖掘域名字符串上下文信息,采用LSTM提取字符组合前后关联的深层次序列特征,同时引入注意力机制为填充字符所处位置的输出特征分配较小权重,降低填充字符对特征提取的干扰,增强对长距离序列特征的提取能力;最后,将CNN提取局部特征与LSTM提取序列特征的优势相结合,获得不同长度字符组合的序列特征进行域名检测.实验表明:该模型较单一采用CNN或LSTM的模型具有更高的召回率和F1分数,尤其对matsnu和suppobox两类恶意域名的检测准确率较单一采用LSTM的模型提高了24.8％和3.77％.     

基于CNN与LSTM相结合的恶意域名检测模型

为提高恶意域名检测准确率,该文提出一种基于卷积神经网络(CNN)与长短期记忆网络(LSTM)相结合的域名检测模型。该模型通过提取域名字符串中不同长度字符组合的序列特征进行恶意域名检测：首先,为避免N-Gram特征稀疏分布的问题,采用CNN提取域名字符串中字符组合特征并转化为维度固定的稠密向量;其次,为充分挖掘域名字符串上下文信息,采用LSTM提取字符组合前后关联的深层次序列特征,同时引入注意力机制为填充字符所处位置的输出特征分配较小权重,降低填充字符对特征提取的干扰,增强对长距离序列特征的提取能力;最后,将CNN提取局部特征与LSTM提取序列特征的优势相结合,获得不同长度字符组合的序列特征进行域名检测。实验表明：该模型较单一采用CNN或LSTM的模型具有更高的召回率和F1分数,尤其对matsnu和suppobox两类恶意域名的检测准确率较单一采用LSTM的模型提高了24.8%和3.77%。     

利用无监督预训练的轨迹深度关联

针对时空相似度算法关联轨迹的局限性,采用深度学习方法进行轨迹关联,并提出了一种基于无监督预训练的匹配神经网络训练方式。利用Geohash向量嵌入对轨迹信号做特征工程处理,构建自注意力机制神经网络结构,使用无标注轨迹数据基于遮蔽预测任务进行模型预训练;然后构建孪生匹配网络结构,加载预训练模型参数;最后使用标注轨迹对数据基于均方差损失函数微调预训练模型参数得到轨迹对匹配模型。采用Geolife GPS轨迹数据集作为评估数据集进行模型训练与测试,实验结果显示,利用无监督预训练的轨迹关联方法较现有最优算法匹配准确率提高了5个百分点,达到了96.3%,充分证明了该方法的有效性。目前轨迹关联领域基于深度学习预训练模型的研究较少,该方法具有重要的参考意义。     

基于注意力机制和CNN-BiLSTM模型的在线协作讨论交互文本自动分类

针对当前的在线协作讨论交互文本分类仅采用深度学习方法时,存在无法充分获取上下文语义关联以及忽略关键特征词,造成分类结果准确率下降的问题,文中提出一种结合注意力机制的深度学习网络模型—CNNBiLSTM-Attention,进一步强化文本的语义特征。利用该模型对在线协作讨论活动中产生的12000条交互文本进行分类,分类结果表明,CNN-BiLSTM-Attention的分类准确率整体上可达到82.40%,有效提升了文本分类的效果。