基于BERT的电机领域中文命名实体识别方法

针对电机领域实体识别精度较低的问题,提出一种融合B E RT预训练语言模型的中文命名实体识别方法.利用B E RT预训练语言模型增强字的语义表示并按照上下文特征动态生成字向量,将字向量序列输入双向长短期记忆神经网络进行双向编码,同时通过条件随机场算法标注出实体识别结果.根据电机文本特点对自建数据集进行标注,并将电机领域...     

基于ETW-BERT模型的网购商品虚假评论识别

针对网购商品虚假评论识别问题,提出基于BERT双向预训练微调模型的假评识别方法。分析评论的文本、情感和时间特征,提出人工标注评论数据的12条规则,人工标注从京东网购平台爬取部分电子类产品的中文评论,获得5190条标注数据。对BERT的微调过程加入权重协方差对齐算法得到模型W-BERT,嵌入情感估值和时间特征得到模型ET-BERT,融合两者得到模型ETW-BERT。对上述标注数据集的实验表明,三个改进模型都取得了比BERT基础模型更好的效果。     

ALICE:一种面向中文科技文本分析的预训练语言表征模型

深度学习模型应用于自然语言处理任务时依赖大型、高质量的人工标注数据集。为降低深度学习模型对大型数据集的依赖,提出一种基于BERT的中文科技自然语言处理预训练模型ALICE。通过对遮罩语言模型进行改进并将其与命名实体级遮罩相结合,改善基础模型在下游任务中的表现,使其学习到的语言表征更贴合中文的语言特性。实验结果表明,与BERT模型相比,ALICE模型对于中文科技文本的分类准确率和命名实体识别的F1值分别提高1.2%和0.8%。     

中文命名实体识别研究综述

命名实体识别（named entity recognition,NER）是自然语言处理中最基本的任务之一，其主要内容是识别自然语言文本中具有特定意义的实体类型和边界。然而，中文命名实体识别（Chinese named entity recognition,CNER）的数据样本存在词边界模糊、语义多样化、形态特征模糊以及中文语料库内容较少等问题，导致中文命名实体识别性能难以大幅提升。介绍了CNER的数据集、标注方案和评价指标。按照CNER的研究进程，将CNER方法分为基于规则的方法、基于统计的方法和基于深度学习的方法三类，并对近五年来基于深度学习的CNER主要模型进行总结。探讨CNER的研究趋势，为新方法的提出和未来研究方向提供一定参考。     

基于预训练语言模型的中文地址命名实体识别

随着深度学习的发展,基于深度学习的命名实体识别抽取过程中,作为基础步骤的预训练模型也愈发受到重视。中文预训练语言模型能够更好地结合语义语境,更加充分地考虑到一词多义的情况,因此该语言模型目前也普遍应用于命名实体识别任务。文中首先介绍了BERT、ERNIE、NEZHA三种预训练模型,之后构建预训练模型、BiGRU及CRF的算法模型,在阿里中文地址要素解析比赛数据集上进行中文地址命名实体识别任务。实验结果表明,NEZHA取得当前预训练语言模型最优的识别结果。     

基于BERT嵌入的中文命名实体识别方法

在基于神经网络的中文命名实体识别过程中,字的向量化表示是重要步骤,而传统的词向量表示方法只是将字映射为单一向量,无法表征字的多义性.针对该问题,通过嵌入BERT预训练语言模型,构建BERT-BiGRU-CRF模型用于表征语句特征.利用具有双向Transformer结构的BERT预训练语言模型增强字的语义表示,根据其上下文动态生成语义向量.在此基础上,将字向量序列输入BiGRU-CRF模型中进行训练,包括训练整个模型和固定BERT只训练BiGRU-CRF2种方式.在MSRA语料上的实验结果表明,该模型2种训练方式的F1值分别达到95.43%和94.18%,优于BiGRU-CRF、Radical-BiLSTM-CRF和Lattice-LSTM-CRF模型.     

基于BERT-BiGRU集成学习的情感语义识别

如今,在社交网络上发表评论已成为公众对社会现象表达态度和立场的主要方式。精准识别社交文本的情感倾向性对于舆情管控、社会维稳等有重要价值。针对传统情感识别模型大多集中于评论的表层语义挖掘,存在分类效果不佳、泛化能力有限等问题,提出了一种基于BERT-BiGRU多模集成学习的深层情感语义识别方法。首先,通过BERT预训练模型获取评论文本的上下文语义特征表示,再结合BiGRU提取深层非线性特征向量,实现单模型下的最优效果;接着,为了使模型效果稳定且多方面表现均衡,基于BERT系列预训练模型训练出表现优异且具有差异化的多个情感分类器;最后,利用数据扰动和投票策略的集成学习方法,实现各模型深层特征的充分融合。实验结果显示:BERT-BiGRU模型相较于其他传统模型,在两个公开数据集(COV19和ChnSenti)上具有更优的情感识别效果。     

基于评论行为的商品垃圾评论的识别研究

为了识别商品垃圾评论,基于垃评论员发表的多为垃圾评论这一基本思想,提出一种基于评论员评论行为来判定其是否为垃圾评论员的方法。分析定义了垃圾评论员常见的三类评论行为,分别是针对同类商品发表垃圾评论,针对同品牌商品发表垃圾评论和针对同一卖家商品发表垃圾评论;在对这三类评论行为建模的同时提出一种依据重复性过高或过低打分的评论数量来计算评论员垃圾指数(spam score)的方法。实验数据为在当当网摄影摄像商品区发表过评论的评论员的所有评论信息。实验结果通过人工评判和计算NDCG(normalize discounted cumulative gain)值的方法来检验,实验结果准确有效。     

基于BERT-BiGRU-CRF与多头注意力机制的地理命名实体识别

地理知识图谱作为一种科学领域的知识图谱,从概念探讨和初步实验阶段快速发展为地理信息科学领域的跨学科研究热点。地理命名实体识别是地理知识图谱构建的基础,直接影响着地理知识图谱的构建效率与质量。设计了一个地理知识图谱应用管理系统,针对其中地理实体库构建过程依赖人工制定规则以及信息提取不充分等问题,面向地理知识图谱构建过程进行地理命名实体识别研究。首先,通过人工标注方法构建了一个地理知识语料库;其次,通过BERT预训练模型得到结合语境信息的动态字向量,利用双向门控循环单元提取全局语义特征,并基于注意力机制获得增强语义特征;最后,通过CRF解码输出概率最大的全局最优标签序列,实现地理命名实体的自动识别。实验结果表明,相比传统的BiLSTM-CRF、BERT-BiLSTM-CRF等模型,所提出的基于BERT-BiGRU-CRF与多头注意力机制的模型在地理命名实体识别任务中表现更优,能够为地理知识图谱构建提供有效支撑。     

基于预训练语言模型的政策识别研究

政策文本的量化研究近年来受到了政策研究学者的广泛关注,其研究结论以客观数据为依据,在很大程度上可以克服以往对政策定性分析的主观性和随机性.已有定量政策文本分析方法主要存在两方面的不足:一方面,对于政策文本的采集主要依靠手工收集,其数据规模较小;另一方面,在政策识别方面主要依靠人类经验,在小规模数据集上进行偏置归纳.针对...     

一种融合注意力机制的自适应实体识别方法

为了解决命名实体识别任务在面向新兴应用领域时,需要面对烦琐的模型重构过程和语料严重不足的问题,该文提出了一种基于注意力机制的领域自适应命名实体识别方法。首先,在通用领域数据集上构建了基于BERT(bidirectional encoder representations from transformers)预训练语言模型的双向长短时记忆条件随机场(BERT-BiLSTM-CRF)命名实体识别模型;接着,在古代汉语语料集上对原有模型进行微调的同时插入了基于注意力机制的自适应神经网络层;最后,在目标域内应用迁移学习方法训练模型进行对比实验。实验结果表明,自适应迁移学习方法减少了对目标域语料的依赖。该文提出的基于注意力机制的自适应神经网络模型相比通用域BERT-BiLSTM-CRF模型的命名实体识别结果F₁值提高了4.31%,相比古代汉语域BERT-BiLSTM-CRF模型的命名实体识别结果F₁值提高了2.46%,实验表明,该文方法能够提升源域模型迁移学习的效果,并完成跨领域命名实体识别模型的构建。     

基于BERT+BiLSTM+CRF的中文景点命名实体识别

为解决旅游文本在特征表示时的一词多义问题,针对旅游游记文本景点实体识别中景点别名的问题,研究了一种融合语言模型的中文景点实体识别模型.首先使用BERT语言模型进行文本特征提取获取字粒度向量矩阵,BiLSTM用于上下文信息的提取,同时结合CRF模型提取全局最优序列,最终得到景点命名实体.实验表明,提出的模型性能提升显著,在实际旅游领域内景点识别的测试中,与以往研究者方法比较下准确率,召回率分别提升了8.33%, 1.71%.     

基于Squeezenet模型的蛇类图像识别

随着人类活动范围的不断扩张,生态环境的恶化,蛇类的生存环境受到威胁.为实现对蛇类的准确识别,辅助蛇类研究者对蛇类的识别与保护,通过对现有的解决方案进行分析,提出采用迁移学习方法对10种蛇类进行训练识别.首先对现有数据集进行数据增强,从而让训练模型更好地收敛,采用基于Squeezenet模型具有更好的识别率,识别率达到了...     

基于深度学习的口腔癌图像识别研究

口腔癌是湖南省发病率最高的恶性肿瘤之一,基于图像的口腔癌识别能够为医生尽早诊断提供有效医疗辅助手段.文章首先基于Github上的同类项目构建了口腔癌图像数据库,进而选择了几种典型的深度学习模型,分析了不同深度学习模型在口腔癌图像识别中性能的表现.分析的过程包括:数据处理,模型训练和模型识别.数据处理指的是将数据库中的图...     

基于BERT-FHAN模型融合语句特征的汉语复句关系自动识别

复句关系是指复句分句之间的逻辑语义关系,复句关系识别是对分句间语义关系的甄别,是自然语言处理中的难点问题.本文以有标复句为研究对象,提出了一种BERT-FHAN模型,该模型利用BERT模型获取词向量,在HAN模型中融入关系词本体知识以及词性、句法依存关系、语义依存关系特征.通过实验对提出的模型进行验证, BERT-FHAN模型取得的最高宏平均F1值和准确率分别为95.47%与96.97%,表明了本文方法的有效性.     

基于BSTTC模型的中文命名实体识别

大多数中文命名实体识别模型中, 语言预处理只关注单个词和字符的向量表示, 忽略了它们之间的语义关系, 无法解决一词多义问题; Transformer特征抽取模型的并行计算和长距离建模优势提升了许多自然语言理解任务的效果, 但全连接结构使得计算复杂度为输入长度的平方, 导致其在中文命名实体识别的效果不佳. 针对这些问题,...     

基于Mixer Layer的人脸表情识别

目前人脸表情识别研究多数采用卷积神经网络(CNN)提取人脸特征并分类, CNN的缺点是网络结构复杂, 消耗计算资源. 针对以上缺点, 本文采用基于多层感知机(MLP)的Mixer Layer网络结构用于人脸表情识别. 采用数据增强和迁移学习方法解决数据集样本不足的问题, 搭建了不同层数的Mixer Layer网络. 经过实验比较, 4层Mixer Layer网络在CK+和JAFFE 数据集上的识别准确率分别达到了98.71%和95.93%, 8层Mixer Layer网络在Fer2013数据集上的识别准确率达到了63.06%. 实验结果表明, 无卷积结构的Mixer Layer网络在人脸表情识别任务上表现出良好的学习能力和泛化能力.     

基于BERT-BiLSTM-CRF模型的中文实体识别

命名实体识别是自然语言处理的一项关键技术.基于深度学习的方法已被广泛应用到中文实体识别研究中.大多数深度学习模型的预处理主要注重词和字符的特征抽取,却忽略词上下文的语义信息,使其无法表征一词多义,因而实体识别性能有待进一步提高.为解决该问题,本文提出了一种基于BERT-BiLSTM-CRF模型的研究方法.首先通过BERT模型预处理生成基于上下文信息的词向量,其次将训练出来的词向量输入BiLSTM-CRF模型做进一步训练处理.实验结果表明,该模型在MSRA语料和人民日报语料库上都达到相当不错的结果, F1值分别为94.65%和95.67%.     

基于强化语义的中文广告文本识别技术研究

互联网是广告推广的重要媒介,但是低质、诈骗、违法等违规广告也大量充斥其中,严重污染网络空间,因此,实现恶意广告的有效甄别对构建安全清朗的网络环境意义重大。针对各类违法违规中文广告内容的识别需求,利用Bert(bidirectional encoder representation from transformers)和Word2vec分别提取文本字粒度和词粒度嵌入特征,使用CNN(convolutional neural networks)网络对Bert高层特征做深层抽取,同时将词粒度特征向量输入到双向LSTM(long short-term memory)网络提取全局语义,并采用Attention机制对语义特征强化,将强化特征和Bert字粒度特征进行融合,充分利用动态词向量和静态词向量的语义表征优势,提出一种基于强化语义的中文广告识别模型CARES(Chinese advertisement text recognition based on enhanced semantic)。在真实的社交聊天文本数据集上的实验表明,与使用卷积神经网络、循环神经网络等文本分类模型相比,CARES模型分类性能最优,能更加精确识别社交聊天文本中的广告内容,模型识别的正确率达到97.73%。