基于跨批次存储预训练的素描人脸识别方法

素描人脸识别技术在刑侦领域应用广泛,有助于缩小嫌疑人的搜寻范围。由于素描人脸样本数量不足,导致经典的深度学习模型无法达到理想的识别精度。针对此问题,提出一种基于跨批次预训练的素描人脸识别方法,通过在有限素描人脸数据集进行跨批次预训练的方式缓解训练样本稀缺问题,从而提高人脸识别模型的泛化能力。该方法通过跨批次存储机制缓解GPU存储限制扩大单批次预训练样本数量,从而获得更优的模型初始参数,并在其基础上根据三元组损失进一步优化模型,以提升网络性能。提出的方法在UoM-SGFS素描人脸数据集上的Rank-1识别精度为72.53%,在PRIP-VSGC数据集上Rank-10识别精度为62.47%。相比CDAN、DANN、SSD等方法识别率有显著提高。     

TSPT：基于预训练的三阶段复合式文本摘要模型

抽取式方法从源文本中抽取句子,会造成信息冗余;生成式方法可以生成非源文词,会产生语法问题,自然性差。BERT作为一种双向Transformer模型,在自然语言理解任务上展现了优异的性能,但在文本生成任务的应用有待探索。针对以上问题,提出一种基于预训练的三阶段复合式文本摘要模型（TSPT）,结合抽取式方法和生成式方法,将源本文经过预训练产生的双向上下文信息词向量由sigmoid函数获取句子得分抽取关键句,在摘要生成阶段将关键句作为完形填空任务重写,生成最终摘要。实验结果表明,该模型在CNN/Daily Mail数据集中取得了良好效果。     

基于强化语义的中文广告文本识别技术研究

互联网是广告推广的重要媒介,但是低质、诈骗、违法等违规广告也大量充斥其中,严重污染网络空间,因此,实现恶意广告的有效甄别对构建安全清朗的网络环境意义重大。针对各类违法违规中文广告内容的识别需求,利用Bert(bidirectional encoder representation from transformers)和Word2vec分别提取文本字粒度和词粒度嵌入特征,使用CNN(convolutional neural networks)网络对Bert高层特征做深层抽取,同时将词粒度特征向量输入到双向LSTM(long short-term memory)网络提取全局语义,并采用Attention机制对语义特征强化,将强化特征和Bert字粒度特征进行融合,充分利用动态词向量和静态词向量的语义表征优势,提出一种基于强化语义的中文广告识别模型CARES(Chinese advertisement text recognition based on enhanced semantic)。在真实的社交聊天文本数据集上的实验表明,与使用卷积神经网络、循环神经网络等文本分类模型相比,CARES模型分类性能最优,能更加精确识别社交聊天文本中的广告内容,模型识别的正确率达到97.73%。     

预训练增强的代码克隆检测技术

代码克隆检测是软件工程领域的一项重要任务, 对于语义相似但语法差距较大的四型代码克隆的检测尤为困难. 基于深度学习的方法在四型代码克隆的检测上已经取得了较好的效果, 但是使用人工标注的代码克隆对进行监督学习的成本较高. 提出了两种简单有效的预训练策略来增强基于深度学习的代码克隆检测模型的代码表示, 以减少监督学习模型中...     

利用无监督预训练的轨迹深度关联

针对时空相似度算法关联轨迹的局限性,采用深度学习方法进行轨迹关联,并提出了一种基于无监督预训练的匹配神经网络训练方式。利用Geohash向量嵌入对轨迹信号做特征工程处理,构建自注意力机制神经网络结构,使用无标注轨迹数据基于遮蔽预测任务进行模型预训练;然后构建孪生匹配网络结构,加载预训练模型参数;最后使用标注轨迹对数据基于均方差损失函数微调预训练模型参数得到轨迹对匹配模型。采用Geolife GPS轨迹数据集作为评估数据集进行模型训练与测试,实验结果显示,利用无监督预训练的轨迹关联方法较现有最优算法匹配准确率提高了5个百分点,达到了96.3%,充分证明了该方法的有效性。目前轨迹关联领域基于深度学习预训练模型的研究较少,该方法具有重要的参考意义。     

卷积神经网络在验证码识别上的应用与研究

针对日前在互联网中被广泛使用的验证码,提出将卷积神经网络引入到验证码识别之中。通过设计新的卷积网络拓扑结构,针对可分割成语验证码提出基于k-means聚类的字符分割方法,以及仿真验证码图片自生成训练集,通过预训练过程使得卷积训练网络具有良好初值,加速收敛并提高模型泛化能力;针对不可分割验证码,省去字符分割操作直接将验证码整体作为卷积模型输入,引入仿射变换、水漫填充等预处理和SVM算法二分类,或者结合多标记学习方法设计卷积拓扑等。最终实验研究证实卷积神经网络对于可分割及不可分割验证码的平均识别准确率均收敛于99%左右。     

基于BERT的电机领域中文命名实体识别方法

针对电机领域实体识别精度较低的问题,提出一种融合BERT预训练语言模型的中文命名实体识别方法。利用BERT预训练语言模型增强字的语义表示并按照上下文特征动态生成字向量,将字向量序列输入双向长短期记忆神经网络进行双向编码,同时通过条件随机场算法标注出实体识别结果。根据电机文本特点对自建数据集进行标注,并将电机领域实体划分为实物、特性描述、问题/故障、方法/技术等4个类别。实验结果表明,与基于BiLSTM-CRF、BiLSTM-CNN和BiGRU的实体识别方法相比,该方法具有更高的准确率、召回率和F1值,并且有效解决了电机领域命名实体识别任务中标注数据不足及实体边界模糊的问题。     

PRBDN:基于预训练的微博评论情感分类模型

文本情感分类是自然语言处理中的经典任务,在判断文本的情感极性、舆情监控、市场呼声、商品评论等领域有重要的应用价值。该文提出了一种基于预训练模型进行细粒度文本情感分类的新方法。基于文章级别的情感分类任务,需要模型同时具有较高的语义概括能力和抗噪能力。为此,该文利用BiLSTM网络对预训练模型中每层Transformer的权重进行调整,通过将各层表达的不同粒度的语义表征进行动态融合的方式,提高模型的语义空间表达能力。为了增强模型的泛化性能,该文在下游任务结合BiLSTM和BiGRU等结构对得到的语义向量进行特征过滤。利用该模型,作者在CCF 2020年举办的科技战疫·大数据公益挑战赛—疫情期间网民情绪识别赛道中位列第三,最终测试集的F₁值为0.745 37,该模型的参数量比第一名模型少67%,但二者分数差距仅为0.000 1,说明该方法具备可行性与有效性。     

基于迁移学习的伤口图像分割

图像分割是计算机辅助阅片的基础,伤口图像分割的准确率直接影响伤口分析的结果.传统方法进行伤口分割步骤繁琐,准确率低.目前已有少部分人利用深度学习进行伤口图像分割,但是他们都是基于小型数据集,难以发挥深度神经网络的优势,准确率难以进一步提高.充分发挥深度学习在图像分割领域的优势需要大型数据集,目前还没有关于伤口图像的大型公共数据集,而制作大型伤口图像数据集需要人工标记,耗费大量时间和精力.本文提出基于迁移学习的伤口图像分割方法,首先利用大型公共数据集训练ResNet50网络作为特征提取器,再利用该特征提取器连接上两个并行的注意力机制后在利用小型伤口图像数据集进行再训练.实验表明本方法的分割结果在平均交并比上有较大提高,在某种程度上解决了缺乏大型伤口图像数据集而导致伤口图像分割准确率低的问题.     

基于BERT和BiLSTM-CRF的生物医学命名实体识别

在生物医学领域,以静态词向量表征语义的命名实体识别方法准确率不高.针对此问题,提出一种将预训练语言模型BERT和BiLSTM相结合应用于生物医学命名实体识别的模型.首先使用BERT进行语义提取生成动态词向量,并加入词性分析、组块分析特征提升模型精度;其次,将词向量送入BiLSTM模型进一步训练,以获取上下文特征;最后通过CRF进行序列解码,输出概率最大的结果.该模型在BC4CHEMD、BC5CDR-chem和NCBI-disease数据集上的平均F1值达到了89.45％.实验结果表明,提出的模型有效地提升了生物医学命名实体识别的准确率.