基于BERT语义分析和CNN的短文本分类研究

针对短文本数据量较小情况下CNN模型无法获得较好文本分类特征造成文本分类精度不高的问题,提出一种结合BERT语义分析和CNN的短文本分类模型,通过对BERT预训练模型进行微调获得文本向量表示,文本向量能够体现文本特征的全局语义关系,并将文本向量表示数据输入CNN模型进行分类模型训练,获得最终的文本分类特征实现分类。此方法能够实现短文本分类精度的有效提升。     

融合句法依存与BERT-Att-BiLSTM的属性分类

针对细粒度情感分析属性分类准确率低的问题，提出了一种融合句法依存关系和基于转换器的双向编码器-注意力机制-双向长短期记忆网络(BERT-Att-BiLSTM)的属性分类模型。该模型首先构建基于句法依存关系的目标信息提取层，进行属性-观点对提取；其次，在词嵌入层，使用BERT模块实现结合上下文动态特征的词向量预训练；然后，在特征提取层，融入Att的BiLSTM模块进行特征空间降维处理；最后，在分类层，通过激活函数输出属性-观点对的属性类别。实验结果表明，所提模型的精准度、召回率和F1值分别为85.25%、72.38%和77.06%,均优于其他模型，证明了所提模型的有效性。     

基于图对比学习的长文本分类模型

当前基于字符级考虑的文本分类方法在长文本分类上，存在输入维度过大致使计算困难以及内容过长难以捕捉长距离关系，从而导致准确度不足的问题。由此，提出基于自适应视图生成器和负采样优化的图对比学习长文本分类模型。首先将长文本分为若干段落，用BERT衍生模型对段落进行嵌入表示，然后基于文本的高级结构将段落的嵌入表示视为节点构建图模型，接着使用自适应视图生成器对图进行增广，并通过图对比学习得到文本的嵌入表示，同时在图对比学习的负采样阶段，引入PU Learning知识修正负采样偏差的问题，最后将得到的文本嵌入表示使用两层线性层进行分类。通过在两个中文数据集上的实验显示，方法优于主流先进模型。     

基于深度学习的录音文本分类方法

为了提高具有关联工单数据的录音文本的分类精确率,根据录音文本及关联数据的特点,设计基于深度学习的录音文本分类方法. 针对录音文本,通过双向词嵌入语言模型（ELMo）获得录音文本及工单信息的向量化表示,基于获取的词向量,利用卷积神经网络（CNN）挖掘句子局部特征;使用CNN分别挖掘工单标题和工单的描述信息,将CNN输出的特征进行加权拼接后,输入双向门限循环单元（GRU）,捕捉句子上下文语义特征;引入注意力机制,对GRU隐藏层的输出状态赋予不同的权重. 实验结果表明,与已有算法相比,该分类方法的收敛速度快,具有更高的准确率.     

基于BERT模型的安全生产事故多标签文本分类

结合安全生产事故案例文本特点,利用自然语言处理（NLP）技术对安全生产事故分类,基于转换器的双向编码表征（BERT）模型利用“抽取+生成”相结合的方式获得文本摘要,再通过迁移学习训练提升模型性能,并利用分组分类算法对文本的52个标签进行多标签分类,获得较好的分类效果,为安全生产监管、事故隐患的排查和分析奠定基础。     

基于FVSM和自组织映射网络的Web文本自动分类方法

针对Web信息挖掘中的文本自动分类问题,提出了一种基于模糊特征向量(FVSM)和自组织特征映射网络的分类方法．网络由输入层和竞争层组成．输入层节点与竞争层节点实行全互连接．输入层完成分类样本的输入,竞争层提取输入样本所隐含的模式特征,并对其进行自组织,在竞争层将分类结果表现出来．分无监督和有监督两个阶段完成对网络的分类训练．该方法在特征提取时充分考虑了特征项在文档中的Web位置信息,构造出模糊特征向量,使自动分类原则更接近手工分类方法．以中国期刊网全文数据库部分文档数据为例验证了该方法的有效性．     

基于BERT-CNN的城轨列控车载设备故障分类

针对基于通信的城市轨道交通列车控制系统车载设备故障排查困难，故障维修日志由于信息零散、语义模糊及归类混乱等导致的传统文本分布式表示与浅层机器学习算法分类精度低等问题，提出一种基于焦点损失函数BERT-CNN(bidirectional encoder representations from transformers-convolutional neural network)的故障分类方法，建立故障处理及结论、故障现象的关系模型．利用预训练好的BERT模型微调获取故障现象的词向量，充分捕捉融合了上下文的双向语义并关注重点词汇；利用卷积神经网络（convolutional neural network, CNN）进行训练，改进损失函数以缓解数据类别不平衡引起的性能下降问题．通过对某车载信号工区数据进行实验，对比基于交叉熵损失函数的BERT-CNN、单一BERT模型与word2vec-CNN(word to vector-CNN)方法，基于焦点损失函数BERT-CNN方法在分类指标上最优，对某些样本数量少的类别能够更精准分类．研究结果有助于建立更完善的智能运维故障案例库．     

基于量子卷积神经网络的图像识别新模型

为了解决卷积神经网络对内存和时间效率要求越来越高的问题,提出一种面向数字图像分类的新模型,该模型为基于强纠缠参数化线路的量子卷积神经网络。首先对经典图像进行预处理和量子比特编码,提取图像的特征信息,并将其制备为量子态作为量子卷积神经网络模型的输入。通过设计模型量子卷积层、量子池化层、量子全连接层结构,高效提炼主要特征信息,最后对模型输出执行Z基测量,根据期望值完成图像分类。实验数据集为MNIST数据,{0,1}分类和{2,7}分类准确率均达到了100%。对比结果表明,采用平均池化下采样的三层网络结构的QCNN模型具有更高的测试精度。     

基于改进双向循环神经网络的变压器故障诊断模型研究

针对传统神经网络对变压器时序关系挖掘缺失、分类泛化性差、对异构数据分类准确率低的问题,提出了一种基于改进的双向循环神经网络的变压器故障诊断模型。该模型通过双向循环神经网络进行特征提取,将前后时刻的特征进行融合,采用多核学习支持向量机方法对特征数据进行分类,在多核学习支持向量机中进行核融合,从而提高特征数据分类的准确性。数值仿真分析了时序通道对长短时序网络诊断性能的影响,以及多核学习对支持向量机泛化能力和对异构数据处理能力的影响,通过变压器故障数据分类试验验证了基于多核学习支持向量机的双向循环神经网络模型的正确性和有效性。结果表明,基于多核学习支持向量机的双向循环网络诊断性能较好,与几种常用的神经网络相比,模型预测正确率更高。     

基于多尺度通道重校准的乳腺癌病理图像分类

针对乳腺癌病理图像的自动分类问题,提出基于深度学习的分类算法. 通道重校准模型是作用于特征通道的注意力模型,可以利用学习到的通道权重对无用特征进行抑制来实现对特征通道的重校准,以达到更高的分类准确率. 为了使通道重校准的结果更加准确,提出多尺度通道重校准模型,设计卷积神经网络 msSE-ResNet. 多尺度特征通过网络中的最大池化层获得并作为后续通道重校准模型的输入,将不同尺度下学到的通道权重进行融合,可以改善通道重校准的结果. 该实验在公开数据集BreaKHis上开展. 实验结果表明,该网络对良性/恶性乳腺病理图像分类任务达到88.87%的分类精度,可以对不同放大倍数下获取的病理图像具有较好的鲁棒性.     

基于BERT与密集复合网络的长文本语义匹配模型

针对长文本语义匹配中词向量前后之间联系不易捕获以及主题信息可能不唯一,通常使得语义匹配效果不佳的问题,提出了一种基于BERT与密集复合网络的长文本语义匹配方法,通过BERT嵌入与复合网络的密集连接,显著提高了长语义匹配的准确率。首先,将句子对输入BERT预训练模型,通过迭代反馈得到精准的词向量表示,进而得到高质量的句子对语义信息。其次,设计了一种密集复合网络,先由双向长短期记忆网络（Bi-LSTM）获得句子对的全局语义信息,然后由TextCNN提取并整合局部语义信息得到每个句子的关键特征和句子对间的对应关系,并将BERT与Bi-LSTM的隐藏输出与TextCNN的池化输出融合。最后,汇总训练过程中网络之间的关联状态,可以有效防止网络退化和增强模型判断能力。实验结果表明,在社区问题回答（CQA）长文本数据集上,本文方法平均提升幅度达到45%。     

中文对话理解中基于预训练的意图分类和槽填充联合模型

基于预训练和注意机制的意图分类和语义槽填充,提出一种结合双向长短时记忆(bidirectional long short-term memory, BiLSTM)、条件随机场(conditional random fields, CRF)和注意机制的双向编码(bidirectional encoder representations from transformers, BERT)具有双向编码表示和注意机制的联合模型。该模型无需过多依赖手工标签数据和领域特定的知识或资源,避免了目前普遍存在的弱泛化能力。在自主公交信息查询系统语料库上进行的试验表明,该模型意图分类的准确性和语义槽填充F1值分别达到98%和96.3%,均产生有效改进。     

中文对话理解中基于预训练的意图分类和槽填充联合模型

基于预训练和注意机制的意图分类和语义槽填充,提出一种结合双向长短时记忆(bidirectional long short-term memory, BiLSTM)、条件随机场(conditional random fields, CRF)和注意机制的双向编码(bidirectional encoder representations from transformers, BERT)具有双向编码表示和注意机制的联合模型。该模型无需过多依赖手工标签数据和领域特定的知识或资源,避免了目前普遍存在的弱泛化能力。在自主公交信息查询系统语料库上进行的试验表明,该模型意图分类的准确性和语义槽填充F1值分别达到98%和96.3%,均产生有效改进。     

基于BERT-BiLSTM模型的短文本自动评分系统

针对短文本自动评分中存在的特征稀疏、一词多义及上下文关联信息少等问题,提出一种基于BERT-BiLSTM(bidirectional encoder representations from transformers-bidirectional long short-term memory)的短文本自动评分模型．使用BERT(bidirectional encoder representations from transformers)语言模型预训练大规模语料库习得通用语言的语义特征,通过预训练好的BERT语言模型预微调下游具体任务的短文本数据集习得短文本的语义特征和关键词特定含义,再通过BiLSTM(bidirectional long short-term memory)捕获深层次上下文关联信息,最后将获得的特征向量输入Softmax回归模型进行自动评分．实验结果表明,对比CNN(convolutional neural networks)、CharCNN(character-level CNN)、LSTM(long short-term memory)和BERT等基准模型,基于B...     

基于并行架构和时空注意力机制的心电分类方法

为了有效提取心电信号 (ECG) 的时空特征和提高分类准确性,提出基于深度学习的并行架构心电分类模型. 该模型采用基于GCA Block和GTSA Block模块实现多路特征融合的时空注意力机制. 使用双向长短时记忆网络和卷积神经网络作为基特征提取器,分别捕捉心电信号序列数据的前后依赖关系和不同尺度上的局部相关特征,实现对5种不同类型的心电信号的自动分类. 在MIT-BIH数据集上验证的结果表明,该方法对5种不同心电信号的总体分类准确率、特异性、敏感度、精确度和Macro-F1分别为99.50%、99.61%、96.20%、98.02%和97.08%. 相较于其他心电分类模型,该模型不仅能够有效地缩短网络模型深度,防止模型过拟合,而且能够更准确地提取心电信号的时空特征,获得更好的分类性能.     

融合Stacking 和深度学习的中文产品评论情感分析

大量涌现的电商产品评论对企业制定商业决策十分有利, BERT 应用在英语文本情感分析中取得了不错的效果。针对中文电商产品文本评论提出了一个新的融合Stacking 集成思想和深度学习算法模型。首先在文本信息特征提取层使用Chinese-BERT-wwm 生成含有丰富语义信息的动态句子表征向量, Chinese-BERT-wwm 是专门针对中文特点改进后的预训练模型, 具有稳健的中文文本特征信息提取能力, 其次该层同时设计了TextCNN 和BiLSTM捕获文本中局部关键信息特征与语序信息特征, 并将这些特征拼接在一起以获得更全面丰富的句子信息, 最后基于Stacking 集成学习思想使用SVM 对该特征进行分类。为了评估模型效果, 人工标注3 万条具有三类情感极性的中文电商产品文本数据进行实验, 该数据集可广泛用于中文情感分析领域。实验结果表明, 与基线模型相比, 提出的模型可以有效提高中文文本情感极性分类任务的准确率。     

基于串并行卷积门阀循环神经网络的短文本特征提取与分类

针对短文本数据特征少、提供信息有限,以及传统卷积神经网络（convolutional neural network,CNN）和循环神经网络（recurrent neural network,RNN）对短文本特征表示不充分的问题,提出基于串并行卷积门阀循环神经网络的文本分类模型,处理句子特征表示与短文本分类。该网络在卷积层中去除池化操作,保留文本数据的时序结构和位置信息,以串并行的卷积结构提取词语的多元特征组合,并提取局部上下文信息作为RNN的输入;以门阀循环单元（gated recurrent unit,GRU）作为RNN的组成结构,利用文本的时序信息生成句子的向量表示,输入带有附加边缘距离的分类器中,引导网络学习出具有区分性的特征,实现短文本的分类。实验中采用TREC、MR、Subj短文本分类数据集进行测试,对网络超参数选择和卷积层结构对分类准确率的影响进行仿真分析,并与常见的文本分类模型进行了对比实验。实验结果表明：去掉池化操作、采用较小的卷积核进行串并行卷积,能够提升文本数据在多元特征表示下的分类准确率。相较于相同参数规模的GRU模型,所提出模型的分类准确率在3个数据集中分别提升了2.00%、1.23%、1.08%;相较于相同参数规模的CNN模型,所提出模型的分类准确率在3个数据集中分别提升了1.60%、1.57%、0.80%。与Text-CNN、G-Dropout、F-Dropout等常见模型相比,所提出模型的分类准确率也保持最优。因此,实验表明所提出模型可改善分类准确率,可实际应用于短文本分类场景。     

基于AM的BLSTM网络电商评论情感倾向分类

针对电商评论中所包含的消费者情感倾向信息问题,提出一种基于注意力机制和双向长短期记忆(bidirectional long-short term memory,BLSTM)网络的情感倾向分类模型。该模型使用预训练的字向量作为输入特征,通过双向长短期记忆网络来学习文本的语义特征。依此特征,设计了一种新的注意力机制来捕捉BLSTM模型生成的文本语义特征中重要的信息,以降低文本中冗余噪声对于情感倾向分类的影响。实验结果表明,与传统机器学习方法以及长短期记忆模型和双向长短期记忆模型相比,所提出模型在电商评论的情感倾向分类上取得了较好的结果。     

基于深度双向分类器链的多标签新闻分类算法

在多标签新闻分类问题中,针对传统分类器链算法难以确定标签依赖顺序、集成模型运行效率低和无法应用复杂模型作为基分类器的问题,提出基于深度神经网络的双向分类器链算法. 该方法利用正向分类器链获取每个标签和前面所有标签的依赖关系,引入逆向分类器链,从正向链最后一个基分类器的输出开始反向学习每个标签和所有其他标签的相关性. 为了提取非线性标签相关性和提高预测性能,使用深度神经网络作为基分类器. 结合2条分类器链的均方误差,使用随机梯度下降算法对目标函数进行有效优化. 在多标签新闻分类数据集RCV1-v2上,将所提算法与当前主流的分类器链算法和其他多标签分类算法进行对比和分析. 实验结果表明,利用深度双向分类器链算法能够有效提升预测性能.     

基于BBNN的网络攻击文本自动化分类方法

基于描述文本的网络攻击自动化分类是实现APT攻击知识智能抽取的重要基础.针对网络攻击文本专业词汇多、难识别,语义上下文依赖强、难判断等问题提出一种基于上下文语义分析的文本词句特征自动抽取方法,通过构建BERT与BiLSTM的混合神经网络模型BBNN(BERT and BiLSTM Neural Network),计算得...