基于BERT和BiLSTM-CRF的生物医学命名实体识别

在生物医学领域,以静态词向量表征语义的命名实体识别方法准确率不高.针对此问题,提出一种将预训练语言模型BERT和BiLSTM相结合应用于生物医学命名实体识别的模型.首先使用BERT进行语义提取生成动态词向量,并加入词性分析、组块分析特征提升模型精度;其次,将词向量送入BiLSTM模型进一步训练,以获取上下文特征;最后通过CRF进行序列解码,输出概率最大的结果.该模型在BC4CHEMD、BC5CDR-chem和NCBI-disease数据集上的平均F1值达到了89.45％.实验结果表明,提出的模型有效地提升了生物医学命名实体识别的准确率.     

基于循环神经网络的计算机辅助翻译系统设计

深度学习算法使得多语言智能翻译成为可能。但现有神经网络机器翻译模型使用了定长切分方式处理长句，这使得语义信息容易遗漏。为此，研究基于多层注意力机制和多跳注意力机制以及动态词向量和动态掩膜注意力机制对现有BiLSTM模型进行优化，旨在建立一种有效且准确的机器翻译模型。结果显示，研究所提模型在BLEU指标上比没有引入注意力机制的模型提高了3.4,比引入多头注意力机制的模型提高了1.5,比引入多跳注意力机制的模型提高了2.2。在P-BLEU指标最大值上，研究所提模型比基于静态掩码注意力机制的模型提高了0.71。此外，研究所提模型在正确匹配率上，比改进RNN和TermMind分别提高了9.66%和3.92%。因此，这表明优化后的模型在翻译准确性以及多样性上具备优势。     

基于BERT变种模型的情感分析实现

随着舆论数据的快速增长,情感分析技术在舆论检测中发挥越来越重要的作用。由于文本数据本身的稀疏性和高维性,加上中文语义的复杂性,情感分析面临着巨大挑战。本文提出了基于BERT变种的深度学习模型。首先利用BERT模型将文本编码为词向量,采用权重矩阵对词向量加权,增强语句中情感特征,然后利用BiLSTM提取词向量中上下文特征,利用注意力机制对隐特征向量进行特征加权。经过处理后,利用卷积神经网络提取出文本中重要的局部特征,最后输出到全连接层进行文本的分类。实验表明,相比BERT模型,BiLSTM以及其它文本分类模型,该模型在外卖评论数据集中的精确率明显提高。     

基于改进神经网络的韩语机器翻译系统设计

韩语机器翻译受到韵律格式影响,导致翻译的可靠性不好,提出基于改进神经网络的韩语机器翻译系统设计方法。采用语料库模型建立韩语机器翻译系统的双语平行语料库,建立以深度学习为基础的神经网络翻译语义控制模型,采用规则和模板的匹配方法,采用统计机器翻译的方法,构建以语义综合评估为翻译结构参数模型的韩语机器翻译自然语言处理模型,采用无监督的神经网络学习方法,建立韩语机器翻译的语义对照模型,实现迭代反向翻译和回译。系统构建中,设计了数据库模块、语义推荐模块、数据访问层模块和翻译生成模块,在改进神经网络模型下实现机器翻译系统设计。测试结果表明,该方法进行韩语机器翻译的可靠性较好,具有很好的语义连贯性、翻译一致性和翻译流利性,翻译输出的准确度较高。     

基于预训练模型的文博数据命名实体识别方法

在对文博数据进行知识图谱的构建时,从文本中抽取出有效的三元组尤为重要,因而命名实体识别成为挖掘文博数据的首要任务。传统的中文实体命名识别方法多采用深度神经网络模型,此类方法在对词进行向量化处理时只是将词映射成单一的词向量,并不能很好地表示词的多义性。预训练语言模型能够有效地对字进行向量化表示,将语义信息充分地结合。因此,针对文博数据提出一种基于BERT的预训练实体识别模型,采用BERT预训练模型进行词嵌入,通过利用双向长短期记忆网络（BiLSTM）模型结合上下文信息来增强词向量的语义信息,然后利用条件随机场（CRF）模型进行解码。与传统长短期记忆（LSTM）网络和BiLSTM-CRF模型相比,该模型在微软公开数据集（MSRA）以及自行标注文博知识数据集上表现突出,在文博知识数据集中,模型的准确率达到93.57%,召回率达到75.00%,F1值达到73.58%。     

联合式多引擎维汉机器翻译系统

根据维吾尔语形态变化丰富的特殊性,搭建一个基于Factored的维汉机器翻译系统,将Factored系统和基于层次短语的Joshua翻译系统以及Moses中基于句法的翻译模型进行系统融合,构建混淆网络。提出一种词级和句子级联合融合的维汉机器翻译方法,利用一致性网络进行词级融合,并采用最小贝叶斯算法进行句子级融合。实验结果表明,联合式多引擎方法能提高1.72%个BLUE-SBP值。     

注意力机制的BiLSTM模型在招聘信息分类中的应用

目前IT招聘信息分类中传统算法存在长距离依赖,且无法突出IT岗位关键词对文本分类特征影响等问题.本文通过训练双向长短期记忆网络BiLSTM与注意力机制相结合的多层文本分类模型,将其应用到招聘信息分类中.该模型包括One-hot词向量输入层、BiLSTM层、注意力机制层和输出层.其中One-hot层构建招聘词典,节省了大量训练词向量时间, BiLSTM层可获取更多上下文不同距离的语义信息,注意力机制层对经过BiLSTM层编码数据进行加权转变可提升序列化学习任务.实验表明:基于该模型的IT招聘信息分类准确率达到93.36%,与其他模型对比,提高约2%.该模型更有针对性的分析不同岗位对就业者能力的要求,实现了不同岗位招聘信息的分类,对高校毕业生就业指导有重要意义.     

基于孪生网络和字词向量结合的文本相似度匹配

文本相似度匹配是许多自然语言处理任务的基础,本文提出一种基于孪生网络和字词向量结合的文本相似度匹配方法,采用孪生网络的思想对文本整体建模,实现两个文本的相似性判断.首先,在提取文本特征向量时,使用BERT和WoBERT模型分别提取字和词级别的句向量,将二者结合使句向量具有更丰富的文本语义信息;其次,针对特征信息融合过程中出现的维度过大问题,加入PCA算法对高维向量进行降维,去除冗余信息和噪声干扰;最后,通过Softmax分类器得到相似度匹配结果.通过在LCQMC数据集上的实验表明,本文模型的准确率和F1值分别达到了89.92%和88.52%,可以更好地提取文本语义信息,更适合文本相似度匹配任务.     

多神经网络协作的电力文本类型识别

电力企业为实现数字资产管理, 提高行业运行效率, 促进电力信息化的融合, 需要实施有效的数据组织管理方法. 针对电力行业中的数据, 提出了基于字级别特征的高效文本类型识别模型. 在该模型中, 将字符通过BERT预训练模型生成电力客服文本动态的高效字向量, 字向量序列输入利用融合注意力机制的双向长短期记忆网络(BiLSTM), 通过注意力机制有效捕捉文本中帮助实现类型识别的潜在特征, 最终利用Softmax层实现对电力文本的类型识别任务. 本文提出的模型在电力客服文本数据集上达到了98.81%的准确率, 优于CNN, BiLSTM等传统神经网络识别方法, 增强了BERT模型的应用, 并有效解决了电力文本类型识别任务中语义的长距离依赖问题.     

融合多头自注意力机制的中文短文本分类模型

针对中文短文本缺乏上下文信息导致的语义模糊从而存在的特征稀疏问题,提出了一种融合卷积神经网络和多头自注意力机制（CNN-MHA）的文本分类模型。首先,借助现有的基于Transformer的双向编码器表示（BERT）预训练语言模型以字符级向量形式来格式化表示句子层面的短文本;然后,为降低噪声,采用多头自注意力机制（MHA）学习文本序列内部的词依赖关系并生成带有全局语义信息的隐藏层向量,再将隐藏层向量输入到卷积神经网络（CNN）中,从而生成文本分类特征向量;最后,为提升分类的优化效果,将卷积层的输出与BERT模型提取的句特征进行特征融合后输入到分类器里进行再分类。将CNN-MHA模型分别与TextCNN、BERT、TextRCNN模型进行对比,实验结果表明,改进模型在搜狐新闻数据集上的F1值表现和对比模型相比分别提高了3.99%、0.76%和2.89%,验证了改进模型的有效性。     

基于标签混淆的院前急救文本分类模型

针对院前急救文本专业词汇丰富、特征稀疏和标签混淆程度大等问题，提出一种基于标签混淆模型（LCM）的文本分类模型。首先，利用BERT获得动态词向量并充分挖掘专业词汇的语义信息；然后，通过融合双向长短期记忆（BiLSTM）网络、加权卷积和注意力机制生成文本表示向量，提高模型的特征提取能力；最后，采用LCM获取文本与标签间的语义联系、标签与标签间的依赖关系，从而解决标签混淆程度大的问题。在院前急救文本和公开新闻文本数据集THUCNews上进行实验，所提模型的F1值分别达到了93.46%和97.08%，相较于TextCNN(Text Convolutional Neural Network)、BiLSTM、BiLSTM-Attention等模型分别提升了0.95%～7.01%和0.38%～2.00%。实验结果表明，所提模型能够获取专业词汇的语义信息，更加精准地提取文本特征，并能有效解决标签混淆程度大的问题，同时具有一定的泛化能力。     

一种基于BERT的自动文本摘要模型构建方法

针对传统词向量在自动文本摘要过程中因无法对多义词进行有效表征而降低文本摘要准确度和可读性的问题,提出一种基于BERT(Bidirectional Encoder Representations from Transformers)的自动文本摘要模型构建方法。该方法引入BERT预训练语言模型用于增强词向量的语义表示,将生成的词向量输入Seq2Seq模型中进行训练并形成自动文本摘要模型,实现对文本摘要的快速生成。实验结果表明,该模型在Gigaword数据集上能有效地提高生成摘要的准确率和可读性,可用于文本摘要自动生成任务。     

宋词自动生成的信息隐藏算法

传统的文本隐写方案很难均衡隐藏容量和隐蔽性之间的矛盾。利用宋词载体语义丰富、句法灵活的特点,文章提出BERT(Bidirectional Encoder Representations from Transformers)词嵌入结合Attention机制的Seq2Seq模型生成隐写宋词的算法。该算法采用BERT词嵌入作为生成模型的语义向量转换部分,其丰富的词向量空间保证了生成句子间语义的连贯性,提高了生成宋词的质量。另外,该算法采用格律模板和互信息选词方法约束隐写语句的生成,增强了隐藏算法的安全性。通过与现有文本隐藏算法在嵌入率方面的对比实验和分析表明,文章所提算法的嵌入率相比Ci-stega提高了7%以上,且在安全性和鲁棒性方面均有良好的表现。     

融合注意力机制的药用植物文本命名实体识别

药用植物文本的命名实体识别对中医药领域的信息抽取和知识图谱构建起着重要作用。针对药用植物属性文本存在长序列语义稀疏的问题,提出一种基于注意力机制的双向长短时记忆网络(BiLSTM)和条件随机场(CRF)模型相结合的疾病实体识别方法（BiLSTM+ATT-CRF,BAC）。首先对药用植物属性文本进行预处理和半自动化标注构建数据集,并进行预训练得到低维词向量;然后将这些低维词向量输入BiLSTM网络中,得到双向语义依赖的特征向量;Attention层把注意力集中到与当前输出特征高度相关的信息上;最后通过条件随机场（CRF）算法获取最优的标签序列并解码输出。实验结果表明,BAC方法针对药用植物属性文本的长序列语义稀疏问题,疾病命名实体识别效果较传统方法更优。利用BAC方法训练好的模型从1680条文本句子中识别疾病命名实体,共抽取出1422个疾病实体。与药用植物名称进行匹配,共抽取出4316个药用植物治疗疾病的三元组数据。     

融合语义角色的神经机器翻译

近年来,深度学习取得了重大突破,融合深度学习技术的神经机器翻译逐渐取代统计机器翻译,成为学术界主流的机器翻译方法。然而,传统的神经机器翻译将源端句子看作一个词序列,没有考虑句子的隐含语义信息,使得翻译结果与源端语义不一致。为了解决这个问题,一些语言学知识如句法、语义等被相继应用于神经机器翻译,并取得了不错的实验效果。语义角色也可用于表达句子语义信息,在神经机器翻译中具有一定的应用价值。文中提出了两种融合句子语义角色信息的神经机器翻译编码模型,一方面,在句子词序列中添加语义角色标签,标记每段词序列在句子中担当的语义角色,语义角色标签与源端词汇共同构成句子词序列;另一方面,通过构建源端句子的语义角色树,获取每个词在该语义角色树中的位置信息,将其作为特征向量与词向量进行拼接,构成含语义角色信息的词向量。在大规模中-英翻译任务上的实验结果表明,相较基准系统,文中提出的两种方法分别在所有测试集上平均提高了0.9和0.72个BLEU点,在其他评测指标如TER(Translation Edit Rate)和RIBES(Rank-based Intuitive Bilingual Evaluation Score)上也有不同程度的性能提升。进一步的实验分析显示,相较基准系统,文中提出的融合语义角色的神经机器翻译编码模型具有更佳的长句翻译效果和翻译充分性。     

融合多角度特征的文本匹配模型

文本匹配是自然语言处理的一个核心研究领域, 深度文本匹配模型大致可以分为表示型和交互型两种类型, 表示型模型容易失去语义焦点难以衡量词上下文重要性, 交互型模型缺少句型、句间等全局性信息. 针对以上问题提出一种融合多角度特征的文本匹配模型, 该模型以孪生网络为基本架构, 利用BERT模型生成词向量进行词相似度融合加强语义特征, 利用Bi-LSTM对文本的句型结构特征进行编码, 即融合文本词性序列的句型结构信息, 使用Transformer编码器对文本句型结构特征和文本特征进行多层次交互, 最后拼接向量推理计算出两个文本之间的相似度. 在Quora部分数据集上的实验表明, 本模型相比于经典深度匹配模型有更好的表现.     

基于BERT嵌入的中文命名实体识别方法

在基于神经网络的中文命名实体识别过程中,字的向量化表示是重要步骤,而传统的词向量表示方法只是将字映射为单一向量,无法表征字的多义性.针对该问题,通过嵌入BERT预训练语言模型,构建BERT-BiGRU-CRF模型用于表征语句特征.利用具有双向Transformer结构的BERT预训练语言模型增强字的语义表示,根据其上下文动态生成语义向量.在此基础上,将字向量序列输入BiGRU-CRF模型中进行训练,包括训练整个模型和固定BERT只训练BiGRU-CRF2种方式.在MSRA语料上的实验结果表明,该模型2种训练方式的F1值分别达到95.43%和94.18%,优于BiGRU-CRF、Radical-BiLSTM-CRF和Lattice-LSTM-CRF模型.     

基于BERT与图像自注意力机制的文本匹配模型

为了提高文本匹配的准确率,针对BERT（Bidirectional Encoder Representations from Transformers）模型和MatchPyramid模型在文本匹配中存在的局限性,提出一种基于BERT与图像自注意力机制的文本匹配模型。首先,利用BERT模型将一对文本编码为单词级别的特征向量。其次,根据词向量构建2段文本之间的词与词相似性的匹配矩阵,并将其视为单通道的图像表示。然后,通过图像的自注意力机制生成匹配矩阵的自注意力特征矩阵。最后,将匹配矩阵与自注意力特征矩阵连接为多通道,利用卷积神经网络捕获图像中的文本匹配信号,并将匹配信号与BERT模型输出的［CLS］编码向量连接后,输入全连接层得到2段文本的相似度。实验结果表明,该模型在WikiQA数据集上相比于BERT模型、MatchPyramid模型和其他文本匹配模型,可以有效地提高MAP和ＭRR衡量指标,验证了该模型的有效性。     

融合多头自注意力机制的中文短文本分类模型

针对中文短文本缺乏上下文信息导致的语义模糊从而存在的特征稀疏问题，提出了一种融合卷积神经网络和多头自注意力机制（CNN-MHA）的文本分类模型。首先，借助现有的基于Transformer的双向编码器表示（BERT）预训练语言模型以字符级向量形式来格式化表示句子层面的短文本；然后，为降低噪声，采用多头自注意力机制（MHA）学习文本序列内部的词依赖关系并生成带有全局语义信息的隐藏层向量，再将隐藏层向量输入到卷积神经网络（CNN）中，从而生成文本分类特征向量；最后，为提升分类的优化效果，将卷积层的输出与BERT模型提取的句特征进行特征融合后输入到分类器里进行再分类。将CNN-MHA模型分别与TextCNN、BERT、TextRCNN模型进行对比，实验结果表明，改进模型在搜狐新闻数据集上的F1值表现和对比模型相比分别提高了3.99%、0.76%和2.89%，验证了改进模型的有效性。     

基于多粒度与动态词向量的机器翻译关键技术研究

针对现有机器翻译模型翻译质量低的问题,通过结合多粒度特征融合与基于ELMo模型的动态词向量,并以采用多粒度位置编码和多粒度自注意力机制改进的Transformer模型作为主干网络,构建了一种基于多粒度与动态词向量的机器翻译模型。仿真结果表明,所提模型提高了机器翻译模型性能,在WMT2019Zh-En数据集上和NIST数据集上分别BLEU值分别达到31.53和42.61,相较于单一粒度特征输入和静态词向量嵌入,平均提高了1.1和1.39,具有一定的有效性和优越性。