多头注意机制的多粒度文本-图像对齐

基于文本的人物图像搜索任务存在文本和图像细粒度特征提取以及消除文本-图像模态间差距等方面的挑战.本文针对全局特征不足以表示全面的文本和图像模态特征的问题，提出了多头注意机制的多粒度文本-图像对齐方法，该方法引入多头注意力机制，在考虑全局匹配的基础之上，同时考虑局部图像特征和局部文本特征之间的匹配，并对局部图像特征和局部文本特征应用多头注意力机制，来获取文本和图像模态内的关系信息，提出模态间关系模块来获取两个模态之间的关系信息，使提取到的局部图像特征和局部文本特征自适应地对齐，从而提升基于文本的人物图像搜索任务的整体效果.在公共数据集CUHK-PEDES上进行了实验验证，模型的总体性能较baseline提高了3.0%,由此表明本文提出的模型在基于文本的人物图像搜索任务中的有效性.     

基于Huffman-LDA和Weight-Word2vec的文本表示模型研究

LDA是对主题到文档的全局结构建模,但其特征中缺少文档内部的局部词之间的关系,只能获得稀疏特征。Word2vec是一种基于上下文预测目标词的词嵌入模型,然而,基于这种方法只能以局部信息表示文档特征,缺乏全局信息。LDA和Word2vec的文本表示模型是基于主题向量和文档向量计算新的特征表示文本,但直接计算所得的稀疏主题特征与基于词向量的文档特征的距离,缺乏特征的一致性。本文提出了Huffman-LDA和Weight-Word2vec的文本表示模型,首先,使用LDA模型得到主题向量后构建主题哈夫曼树,再运用梯度上升方法更新主题向量,新的主题向量包含不同主题词之间的关系,求得的特征不再具有稀疏性;然后,使用LDA主题向量与主题矩阵中词的主题特性计算词权重更新Word2vec的词向量,使得词向量包含主题词之间的关系进而表示文档向量;最后,通过主题向量和文档向量的欧式距离得到具有强分类特征的文本表示。实验结果表明,该方法可获得更强的文本表示特征,有效提高文档分类精度。     

基于多层跨模态注意力融合的图文情感分析

针对现有图文情感分析模型仅考虑图像高层特征与文本特征的联系,而忽视图像低层特征的问题,提出了一种基于多层跨模态注意力融合(Multi-level cross-modal attention fusion,MCAF)的图文情感分析模型.该模型首先将VGG13网络外接多层卷积,以获取不同层次的图像特征,并使用BERT词嵌入...     

融合GAT和TransH的中韩跨语言实体对齐方法研究

为研究中韩双语实体自动对齐方法,提出了一种融合图注意力网络(GAT)和基于超平面平移的知识图谱嵌入模型(TransH)的跨语言实体对齐模型.使用中韩实体数据集对模型进行验证表明,该模型的Hits@1、Hits@5和Hits@10在韩文对齐中文时分别达到了49.62%、 80.89%和91.76%, 在中文对齐韩文时分别达到49.79%、 80.74%和91.67%, 且优于传统的基于知识嵌入或图嵌入的对齐方法.因此该模型可为构建中韩对齐知识图谱以及其他语言的对齐知识图谱提供参考.     

基于知识嵌入式预训练语言模型的文本分类方法研究

为解决一般预训练语言表示模型在语义理解和推理过程中存在不足的问题,提出了一种知识嵌入式预训练语言模型,使用知识嵌入和预训练语言表示的统一模型将事实知识集成到增强的语言表示模型中,充分利用知识图谱中包含的丰富的结构化知识事实来增强文本表示,从而提高预训练模型的效果。该模型利用大规模文本语料库和知识图谱进行训练优化,在THUCNews数据集上的文本分类的准确率和召回率分别达到了96.51%和90.36%,优于文本循环神经网络、基于变换器的双向编码器表征、增强语言表示模型的实验结果,验证了经知识图谱优化后的预训练语言模型在文本分类任务上的优越性。     

基于门控特征融合的中文错别字纠正模型

针对在中文错别字纠正中，平等地融合汉字的语义、读音和字形信息进行建模的方法会由于错误的读音或字形信息而影响模型性能的问题，提出了一种基于门控特征融合的中文错别字纠正模型，利用自适应门控来选择性地融合语义、读音和字形信息，提升模型性能并加强模型的可解释性。此外，使用改进的四角号码编码汉字的字形信息，有效地提取了汉字的字形特征，并且基于此扩展了模型预训练时的字形相似混淆集。使用了基于混淆集替换的预训练掩码策略，使模型能有效学习文本错误知识。在公开数据集SIGHAN13、SIGHAN14和SIGHAN15上，所提模型分别取得了78.7%、67.8%和77.7%的纠错F1分数，相比于最优基线模型分别提升了1.5%、1.5%和1.0%。     

基于CLIP和交叉注意力的多模态情感分析模型

针对多模态情感分析中存在的标注数据量少、模态间融合不充分以及信息冗余等问题,提出了一种基于对比语言-图片训练(CLIP)和交叉注意力(CA)的多模态情感分析(MSA)模型CLIP-CA-MSA。首先,该模型使用CLIP预训练的BERT模型、PIFT模型来提取视频特征向量与文本特征;其次,使用交叉注意力机制将图像特征向量和文本特征向量进行交互,以加强不同模态之间的信息传递;最后,利用不确定性损失特征融合后计算输出最终的情感分类结果。实验结果表明：该模型比其他多模态模型准确率提高5百分点至14百分点,F1值提高3百分点至12百分点,验证了该模型的优越性,并使用消融实验验证该模型各模块的有效性。该模型能够有效地利用多模态数据的互补性和相关性,同时利用不确定性损失来提高模型的鲁棒性和泛化能力。     

融合标签语义嵌入和图卷积的短文本特征扩展及分类方法

针对短文本长度过短、关键词偏少和标签信息利用不足造成的分类过程中面临特征稀疏和语义不明确的问题,提出了融合标签语义嵌入的图卷积网络模型。首先,在传统的术语频率和逆文档频率算法基础上,提出了融合单词所属文本的类间、类内分布关系的全局词频提取算法。其次,利用融合标签嵌入的方法,将每条训练文本与相对应的标签引入到同一个特征空间内,通过筛选聚合提取更能突显文本类别的近义词嵌入,作为文本图的文档节点的嵌入表示。最后,将文本图输入到图卷积神经网络学习后,获得的特征与预训练模型提取文本上下文的特征相融合,提升短文本的分类质量以及整个模型的泛化能力,在4个短文本数据集MR、web＿snippets、R8和R52上对本文模型和14个基线算法进行了对比实验,结果表明本文提出的模型相比于对比模型具有更优的结果,在识别精度、召回率以及F₁值上有着更好的表现。     

基于预训练表示学习的端到端跨媒体检索方法

跨媒体检索是集成媒体数据表示学习与媒体数据信息对齐的检索方式,现有的跨媒体表示学习方法没有将单一媒体数据表示学习的先进方法集成应用,在跨媒体信息高层表示方面缺乏有效语义对齐。提出一种预训练表示学习的端到端跨媒体检索方法,该方法采用先进的预训练表示学习方法,分别利用残差网络(ResNet)和BERT模型抽取图像和文本高层表示特征,然后利用自注意力机制挖掘跨媒体数据的语义关联,实现跨媒体信息的语义对齐。以平均精度均值作为评价指标,在3个广泛使用的跨媒体数据集上验证了模型的有效性。实验表明,所提方法在3个数据集上的平均精度均值都优于其他几种对比方法。     

基于卷积循环神经网络的芯片表面字符识别

基于积分图运算的阈值分割将图像二值化，使用仿射变换完成文本字段图像的方向校正，从而实现文本行的定位.在原始卷积循环神经网络(CRNN)的基础上，将骨干网络替换成MobileNet-V3结构，在2层LSTM之间加入注意力机制，同时引入中心损失函数.利用改进的CRNN实现文本行字符的识别.将改进后的CRNN在40 510张芯片文本行图像上进行测试.通过小样本数据集进行模型微调训练得到多个子模型，从而实现集成推理，使用3个模型的综合识别准确率稳定在99.97%左右，单张芯片图像的总识别时间小于60 ms.实验结果表明，改进的CRNN算法的准确率比原始CRNN提升了大约27.48%，多模型集成推理的方法可以实现更高的准确率.     

文本词向量与预训练语言模型研究

介绍了文本词向量及预训练语言模型的发展体系,系统整理并分析了其中重点方法的思想特点。首先,阐述了传统的文本词向量表征方法及基于语言模型的文本表征方法;然后,详述了预训练语言模型方法的研究进展,包括动态词向量的表征方法和基于Transformer架构的预训练模型;最后,指出了未来探究多模态间更有效的融合方式和迁移学习将成为该领域的发展趋势。     

面向服务聚类的短文本优化主题模型

为了获取高质量的隐式主题结果,提高服务聚类精度,解决服务描述文档文本短带来的语义稀疏性与噪声问题,提出词向量与噪声过滤优化的词对主题模型(BTM-VN). 该模型以词对为基础,拓展服务描述文档,获取额外的语义信息,设计利用主题分布信息进行代表词对概率计算的策略,通过在采样过程中计算代表词对矩阵,提高代表词对在当前主题的权重,降低噪声词对服务描述文档主题获取的干扰. 利用词向量筛选待训练的词对集合,减少共现意义低的词对组合,解决词对主题模型耗时较长的问题. 使用优化的密度峰值聚类算法对经BTM-VN训练后的服务主题分布矩阵进行聚类. 实验结果表明,基于BTM-VN的服务聚类方法在3种聚类评价指标上的表现均优于传统的服务聚类算法.     

基于Att-iBi-LSTM的新闻主题词提取方法研究

针对LSTM网络进行主题词提取时因没有考虑中心词的下文对主题词的影响而导致提取准确率低的问题,提出了一种双向LSTM引入Attention机制模型（Att-iBi-LSTM）的主题词提取方法。首先利用LSTM模型将中心词的上文和下文信息在两个方向上建模;然后在双向LSTM模型中引入注意力机制,为影响力更高的特征分配更高的权重;最后利用softmax层将文档中的词分为主题词或非主题词。并且还提出了一种两阶段模型训练方法,即在自动标注的训练集上进行预训练之后,再利用人工标注数据集训练模型。实验在体育、娱乐和科技3种新闻文本上进行主题词提取任务,实验结果表明本文提出的Att-iBi-LSTM模型与SVM、TextRank和LSTM相比F1值分别提高了13.78%、24.31%和3.32%,使用两阶段训练方法的Att-iBi-LSTM比一阶段训练的F1值提高了1.56%。     

动态调整语义的词性加权多模态情感分析模型

为更好地利用单词词性包含的语义信息和伴随单词出现时的非自然语言上下文信息,提出动态调整语义的词性加权多模态情感分析（part of speech weighted multi-modal sentiment analysis model with dynamic semantics adjustment, PW-DS）模型．该模型以自然语言为主体,分别使用基于Transformer的双向编码器表示（bidirectional encoder representation from Transformers, BERT）模型、广义自回归预训练（generalized autoregressive pretraining for language understanding, XLNet）模型和一种鲁棒优化的BERT预训练（robustly optimized BERT pretraining approach, RoBERTa）模型为文本模态做词嵌入编码;创建动态调整语义模块将自然语言和非自然语言信息有效结合;设计词性加权模块,提取单词词性并赋权以优化情感判别．与张量融合网络和低秩多模态...     

结合Spatial CNN的端到端自动驾驶研究

针对当前自动驾驶中端到端深度学习算法需要庞大数据集作为训练支撑且缺少针对性的问题,基于深度迁移的思想,提出了迁移预训练VGG-16网络结合Spatial CNN网络结构的端到端自动驾驶模型.将预训练模型在ImageNet数据集上已经学习到的图像识别能力迁移至转向预测任务上,同时嵌入Spatial CNN网络结构挖掘空间特征信息.研究结果表明:在基于同等少量样本的训练后,迁移学习模型提取的特征更具有相关性,与从零开始训练的DAVE-2模型相比,预测误差率降低11.1％.在测试地图上模型预测值能很好地跟随真实值变化,说明模型能够实现高精度预测.     

基于BI-LSTM-CRF模型的中文分词法

递归神经网络能够很好地处理序列标记问题,已被广泛应用到自然语言处理(NLP)任务中。提出了一种基于长短期记忆(LSTM)神经网络改进的双向长短期记忆条件随机场(BI-LSTM-CRF)模型,不仅保留了LSTM能够利用上下文信息的特性,同时能够通过CRF层考虑输出标签之间前后的依赖关系。利用该分词模型,通过加入预训练的字嵌入向量,以及使用不同词位标注集在Bakeoff2005数据集上进行的分词实验,结果表明:BI-LSTM-CRF模型比LSTM和双向LSTM模型具有更好的分词性能,同时具有很好地泛化能力;相比四词位,采用六词位标注集的神经网络模型能够取得更好的分词性能。     

基于多头自注意力和并行混合模型的文本情感分析

针对以往研究大多使用单一模型进行文本情感分析,导致无法很好地捕捉相关文本的情感特征,从而造成情感分析效果不理想的问题,提出一种基于多头自注意力和并行混合模型的文本情感分析方法。首先,利用Word2vec模型捕捉单词的语义特征,训练词向量;其次,借助双层多头自注意力机制(double layer multi-head self-attention,DLMA)学习文本内部的词依赖关系,捕获其内部结构特征;再次,使用并行的双向门限循环神经网络(bi-directional gated recurrent nnit,BiGRU)获取文本的序列特征;最后,借助改进的并行卷积神经网络(convolutional neural network,CNN)提取深层次特征信息。将该模型分别在2个数据集上进行实验验证,其准确率分别达到92.71%和91.08%。结果表明,该方法比其他模型具有更好的学习能力。     

基于BERT与注意力机制的方面级隐式情感分析模型

在方面级情感文本中存在部分不含情感词的评论句，对其情感的研究被称为方面级隐式情感分析.现有分析模型在预训练过程中可能会丢失与方面词相关的上下文信息，并且不能准确提取上下文中深层特征.本文首先构造了方面词感知BERT预训练模型，通过将方面词引入到基础BERT的输入嵌入结构中，生成与方面词信息相关的词向量；然后构造了语境感知注意力机制，对由编码层得到的深层隐藏向量，将其中的语义和句法信息引入到注意力权重计算过程，使注意力机制能更加准确地分配权重到与方面词相关的上下文.对比实验结果表明，本文模型的效果优于基线模型.     

基于BERT-BiLSTM模型的短文本自动评分系统

针对短文本自动评分中存在的特征稀疏、一词多义及上下文关联信息少等问题,提出一种基于BERT-BiLSTM(bidirectional encoder representations from transformers-bidirectional long short-term memory)的短文本自动评分模型．使用BERT(bidirectional encoder representations from transformers)语言模型预训练大规模语料库习得通用语言的语义特征,通过预训练好的BERT语言模型预微调下游具体任务的短文本数据集习得短文本的语义特征和关键词特定含义,再通过BiLSTM(bidirectional long short-term memory)捕获深层次上下文关联信息,最后将获得的特征向量输入Softmax回归模型进行自动评分．实验结果表明,对比CNN(convolutional neural networks)、CharCNN(character-level CNN)、LSTM(long short-term memory)和BERT等基准模型,基于B...     

通过检测语义分歧识别无答案问题

机器阅读理解中存在无法仅从给定文档中获取问题答案的特殊情况,为此,基于语义冲突检测的机器阅读理解网络（SCDNet）提出应通过检测问题与文档内容之间的语义分歧来识别这种情况.经分析发现,文档无法为问题提供答案的根本原因主要分为两类：一是文档中不包含问题所需的语义信息;二是二者包含的语义成分之间存在分歧.据此推断,可以通过检测文档语义信息是否全面涵盖问题所需的信息来识别问题是否可由文档信息给出回答.此外,通过在损失函数中加入答案文本长度惩罚项,网络优化目标函数更接近评测指标,系统性能得到提升.网络模型使用联合训练模型建模无答案的问题识别与答案抽取2个子任务,并使用端到端的方式训练.实验结果证明,其对无答案问题类别预测的正确率超过了性能先进的基线模型SAN2.0,在SQuAD2.0数据集上取得了72.43的F1值和76.96的无答案问题识别正确率.