基于BSTTC模型的中文命名实体识别

大多数中文命名实体识别模型中, 语言预处理只关注单个词和字符的向量表示, 忽略了它们之间的语义关系, 无法解决一词多义问题; Transformer特征抽取模型的并行计算和长距离建模优势提升了许多自然语言理解任务的效果, 但全连接结构使得计算复杂度为输入长度的平方, 导致其在中文命名实体识别的效果不佳. 针对这些问题, 提出一种基于BSTTC (BERT-Star-Transformer-TextCNN-CRF)模型的中文命名实体识别方法. 首先利用在大规模语料上预训练好的BERT模型根据其输入上下文动态生成字向量序列; 然后使用星型Transformer与TextCNN联合模型进一步提取句子特征; 最后将特征向量序列输入CRF模型得到最终预测结果. 在MSRA中文语料上的实验结果表明, 该模型的精确率、召回率和F1值与之前模型相比, 均有所提高. 与BERT-Transformer-CRF模型相比,训练时间大约节省了65％.     

基于深度神经网络的个性化混合商品推荐模型

针对推荐系统广泛采用的协同过滤算法存在的稀疏性和冷启动问题,提出了一种基于深度神经网络和动态协同滤波的推荐模型.该模型采用预训练BERT模型结合双向GRU从用户和商品评论中提取隐含特征向量,利用耦合CNN构建评分预测矩阵,通过动态协同滤波融入用户兴趣变化的时间特征.在亚马逊公开数据集上进行实验,结果表明该模型提高了商品评分预测的准确性.     

基于BERT-FNN的意图识别分类

意图识别分类是自然语言处理领域的一个热点问题,在智能机器人、智能客服中如何根据上下文理解用户意图是一个重点问题,同时也是一个难点问题。传统的意图识别分类主要是采用基于规则、模板匹配的正则化方法或基于机器学习的方法,然而却存在计算成本高、泛化能力差的问题。针对上述问题,本文设计以Google公开的BERT预训练语言模型为基础,进行输入文本的上下文建模和句级别的语义表示,采用［cls］符号(token)对应的向量代表文本的上下文,再通过全连接神经网络(FNN)对语句进行特征提取,为了充分利用数据,本文利用拆解法的思想,将多分类问题转换成多个二分类问题处理,每次将一个类别作为正例,其余类别均作为负例,产生多个二分类任务,从而实现意图分类。实验结果表明,该方法性能优于传统模型,可以获得94%的准确率。     

基于知识图谱、TF-IDF和BERT模型的冬奥知识问答系统

传统信息检索技术已经不能满足人们对信息获取效率的要求,智能问答系统应运而生,并成为自然语言处理领域一个非常重要的研究热点。本文针对中文的冬奥问答领域,提出了基于知识图谱、词频-逆文本频率指数 (term frequency-inverse document frequency,TF-IDF)和自注意力机制的双向编码表示(bidirectional encoder representation from transformers,BERT)的3种冬奥问答系统模型。本文首次构建了冬奥问答数据集,并将上述3种方法集成在一起,应用于冬奥问答领域,用户可以使用本系统来快速准确地获取冬奥内容相关的问答知识。进一步,对3种模型的效果进行了测评,测量了3种模型各自的回答可接受率。实验结果显示BERT模型的整体效果略优于知识图谱和TDIDF模型,BERT模型对3类问题的回答可接受率都超过了96%,知识图谱和TDIDF模型对于复合统计问答对的回答效果不如BERT模型。     

MTL-BERT:一种结合BERT的中文文本多任务学习模型

单任务学习常常受限于单目标函数的不足,多任务学习能有效利用任务相关性的先验性,故而受到了学界的关注.在中文自然语言处理领域,关于多任务学习的研究极为匮乏,该领域需同时考虑到中文文本特征提取和多任务的建模.本论文提出了一种多任务学习模型MTL-BERT.首先将BERT作为特征提取器以提升模型的泛化性.其次分类和回归是机器学习中的两个主要问题,针对多标签分类和回归的混合任务,提出了一种任务权重自适应框架.该框架下,任务之间的权重由联合模型参数共同训练.最后从模型最大似然角度,理论验证了该多任务学习算法的有效性.在真实中文数据集上的实验表明,MTL-BERT具有较好的计算效果.     

基于加权融合字词向量的中文在线评论情感分析

随着社交网络平台的广泛使用,涌现出大量蕴涵丰富情感信息的在线评论文本,分析评论中表达的情感对企业、平台等具有重要意义。为了解决目前针对在线评论短文本情感分析中存在特征提取能力弱以及忽略短文本本身情感信息的问题,提出一种基于文本情感值加权融合字词向量表示的模型——SVW-BERT模型。首先,基于字、词级别向量融合表示文本向量,最大程度获取语义表征,同时考虑副词、否定词、感叹句及疑问句对文本情感的影响,通过权值计算得到文本的情感值,构建情感值加权融合字词向量的中文短文本情感分析模型。通过网络平台在线评论数据集对模型的可行性和优越性进行验证。实验结果表明,字词向量融合特征提取语义的能力更强,同时情感值加权句向量考虑了文本本身蕴涵的情感信息,达到了提升情感分类能力的效果。     

面向汉维机器翻译的BERT嵌入研究

针对训练汉维机器翻译模型时汉语-维吾尔语平行语料数据稀疏的问题,将汉语预训练语言BERT模型嵌入到汉维神经机器翻译模型中,以提高汉维机器翻译质量。对比不同汉语BERT预训练模型编码信息的嵌入效果,讨论BERT不同隐藏层编码信息对汉维神经机器翻译效果的影响,并提出一种两段式微调BERT策略,通过对比实验总结出将BERT模型应用在汉维神经机器翻译中的最佳方法。在汉维公开数据集上的实验结果显示,通过该方法可使机器双语互译评估值（BLEU）提升1.64,有效提高汉维机器翻译系统的性能。     

面向上下文注意力联合学习网络的方面级情感分类模型

针对现有的方面级情感分类模型存在感知方面词能力较弱、泛化能力较差等问题,文中提出面向上下文注意力联合学习网络的方面级情感分类模型(CAJLN).首先,利用双向Transformer的表征编码器(BERT)模型作为编码器,将文本句子预处理成句子、句子对和方面词级输入序列,分别经过BERT单句和句子对分类模型,进行上下文、方面词级和句子对隐藏特征提取.再基于上下文和方面词级隐藏特征,建立上下文和方面词的多种注意力机制,获取方面特定的上下文感知表示.然后,对句子对隐藏特征和方面特定的上下文感知表示进行联合学习.采用Xavier正态分布对权重进行初始化,确保反向传播时参数持续更新,使CAJLN在训练过程中可以学习有用信息.在多个数据集上的仿真实验表明,CAJLN可有效提升短文本情感分类性能.     

基于DS2172的误码测试仪的设计

在数字通信工程中,误码率是检验数据传输设备及其信道工作质量的一个主要指标,给出了采用AT89C51单片机结合误码测试器DS2172实现简单误码测试仪的设计.     

基于DS2172误码测试设备的软硬件设计

误码测试设备采用工控计算机作为设计平台,WINDOWS 2000作为操作系统进行软硬件设计。采用专用误码测试芯片发送/接收测试码,使用大规模集成电路及可编程门阵列FPGA,接口电路包括专用接口和通用接口,其通用数据接口采用多协议接口芯片,能够支持RS422/RS232/V.35等V系列建议接口。采用友好的WINDOWS操作界面,有几十种测试码型,接口类型丰富,不仅能实时显示误码数、误码率和告警等测试结果,还可自动生成测试日志,方便用户对测试结果的输出及分析。