融合注意力机制与多任务学习的DR分级模型

在糖尿病患者中,糖尿病视网膜病变（Diabetic Retinopathy,DR）是导致失明的主要原因。针对眼底图像中存在极难发现的微动脉瘤等微小病理特征的问题,提出了一种注意力机制模块。该模块通过融合特征图原本的特征信息与注意力单元得到的通道信息,为微小特征增加了网络的权重,再使用除操作去除特征图中的冗余信息,得到注意力机制特征作为双任务的输入;针对均方误差（Mean Square Error,MSE）损失难优化和交叉熵（Cross Entropy,CE）损失未考虑错分DR等级的代价,设计了多任务学习模块,加权融合了回归任务的MSE损失和分类任务的CE损失。基于这两个模块的设计,提出了融合注意力机制的多任务学习网络（Fusion of Attention mechanism and Multi-Tasking learning network,FAMT）。在kaggle数据集上的实验表明,FAMT网络在验证集上的Kappa比仅使用回归任务的网络高出了2%,比仅使用分类任务的网络提高了4%;FAMT网络在测试集上的Kappa比EfficientNet网络高出1%,比M2CNN网络高出了5%。     

基于层次混合注意力机制的文本分类模型

文本分类是自然语言处理领域的核心任务之一,深度学习的发展给文本分类带来更广阔的发展前景.针对当前基于深度学习的文本分类方法在长文本分类中的优势和不足,该文提出一种文本分类模型,在层次模型基础上引入混合注意力机制来关注文本中的重要部分.首先,按照文档的层次结构分别对句子和文档进行编码;其次,在每个层级分别使用注意力机制....     

基于注意力的多层次混合融合的多任务多模态情感分析

针对多模态情感分析中的模态内部特征表示和模态间的特征融合问题,结合注意力机制和多任务学习,提出了一种基于注意力的多层次混合融合的多任务多模态情感分析模型MAM(multi-level attention and multi-task)。首先,利用卷积神经网络和双向门控循环单元来实现单模态内部特征的提取;其次,利用跨模态注意力机制实现模态间的两两特征融合;再次,在不同层次使用自注意力机制实现模态贡献度选择;最后,结合多任务学习获得情感和情绪的分类结果。在公开的CMU-MOSEI数据集上的实验结果表明,情感和情绪分类的准确率和F;值均有所提升。     

基于注意力机制多任务的肺结节癌变风险判断方法

对于CT影像中检测出的肺部结节, 需要自动判断其是否有癌变风险. 不同于大多数现有的研究方法只区分结节良恶性, 本文提出了一个基于注意力机制的多任务学习模型, 将与结节良恶性相关的语义特征属性一并判断输出, 通过判断9个结节特征(对比度、分叶征、毛刺征、球形度、边缘、纹理、钙化程度、大小以及恶性程度)的同时实现内在特征的共享, 以达到提高各子任务性能的目的. 选择视觉转换器(ViT)模型作为多任务共享特征提取层, 整体模型采用动态加权平均方法来对各子任务的Loss函数进行优化. 在LUNA16数据集上的实验表明, 该学习框架可以提升肺结节癌变风险判断的性能, 且同时对其他语义特征的判断也能提升结果的可解释性.     

基于层次注意力机制的源代码迁移模型

针对源代码迁移模型存在的迁移代码语义一致性问题,在词符注意力机制的基础上引入了语句注意力机制,提出了一种基于层次注意力机制的源代码迁移模型HPGN(hierarchical pointer-generator network),设计了状态传递机制。HPGN在迁移过程中,语句注意力机制对齐源代码语句和迁移代码语句的特征,词符注意力机制从对齐的代码语句中提取词符,状态传递机制传递相邻迁移代码语句的特征,从而提升了迁移代码的语义一致性。在真实项目数据集的实验结果表明,HPGN比最佳对比模型提高了3.4个总体分值,同时有着更少的模型参数量。此外,消融实验验证了状态传递机制和HPGN层次架构的有效性。     

基于注意力机制的CNN-GCN模型及其应用

现有多变量时间序列(multivariate time series,MTS)预测方法模型主要采用循环神经网络和注意力机制提取MTS的复杂时空特征,这些方法对MTS变量之间的空间依赖关系的捕获能力不足。图卷积网络对复杂数据的空间特征提取能力较强。为此提出一种融入图卷积网络、注意力机制和深度学习中的卷积神经网络的三通道网络框架模型,将该框架模型用于多变量时间序列预测任务。实验结果表明,该模型在国际汇率这一多变量时间序列数据集上的性能表现要优于目前较先进的几个基线模型。     

基于加权层级注意力机制的疾病预测模型

近年来,针对电子病历文本的研究受到越来越多的关注,而相关疾病预测模型很少注意到病历文本中记录独立分布的半结构化形式以及语义关系复杂的特点,故该文提出了一种基于加权层级注意力机制的辅助诊断方法,设计加权累加法将普通句向量转换为结构弱关联句向量,并构成词、句、文档层级结构注意力机制来提高模型结构学习能力,此外,设计监督层用于缓解语义关系复杂造成的学习偏置问题,以辅助模型的训练效果。在真实数据集中进行验证表明,该文模型优于当前主流的深度学习模型,取得了较好效果。     

基于多任务学习的肝脏肿瘤自动分割方法

针对深度学习医学影像分割所需的标注数据获取困难且数量少的问题,提出一种基于多任务学习的肝脏肿瘤自动分割方法.提出该方法的主要动机一方面是想要缓解分割数据样本少的问题,另一方面是想要利用不同任务之间有用的信息来提升整体的学习效果.该方法所采用数据集一部分是逐像素的分割数据集,一部分是形式为bounding-box的目标检...     

基于层次注意力机制的高效视觉问答模型

视觉问答(visual question answering,VQA)是深度学习领域的一个新挑战,需要模型同时根据问题的语义和图片的内容进行推理并给出正确答案。针对视觉问答图片输入的多样性,设计了一种由两层注意力机制堆叠组成的层次注意力机制,帮助模型定位图片中与问题相关的信息,其中第一层注意力机制使用目标检测网络提取图片中物体的特征,第二层注意力机制引入问题特征。同时改进了现有的特征融合方式,消除对输入特征尺寸的限制。VQA数据集的测试结果显示,层次注意力机制使计数类问题的回答准确率提升了4%~5%,其他类型的问题回答准确率也有小幅提升。     

基于注意力机制的改进LSTM模型的地铁客流预测研究

介绍了一种基于注意力机制的改进LSTM模型,并分析对比其他模型的结果。使用了上海地铁刷卡数据作为数据源,经过时序处理后的时间序列数据作为模型的输入,通过模型的训练以及参数设置,对比各个模型的实验分析结果,证明了该模型的精确性。     

基于多任务学习的电子病历实体识别方法

中文电子病历NER是医疗信息抽取的难点。本文提出一种多任务学习的实体识别方法,联合实体识别和分词训练模型,使用基于Bi-LSTM的私有层提取专有信息,融合注意力网络作为共享层并增加通用特征增强机制来筛选全局信息,降低过拟合风险并增强模型的泛化能力。此外提出均衡样本过采样方法扩充数据集,有效解决实体类别不平衡所带来的问题。使用CCKS2017/CCKS2020电子病历实体识别语料和Medicine医药分词语料联合训练,实验结果显示本文提出的模型整体性能提升明显,同时也显著提高了Medicine语料的分词实验效果,F1值较基线提升了3个百分点。实验表明本文提出的模型能够有效改善因电子病历中数据不规范、无结构或专有名词等原因造成的实体切分错误等问题。     

基于自注意力机制的阅读理解模型

机器阅读理解是自然语言处理领域一项得到广泛关注与研究的任务。该文针对中文机器阅读理解数据集DuReader,分析其数据集的特点及难点,设计了一种基于循环神经网络和自注意力机制的抽取式模型Mixed Model。通过设计段落融合等策略,该文提出的模型在DuReader测试集上达到了54.2的Rouge-L得分和49.14的Bleu-4得分。     

深度学习中基于注意力机制的推荐模型研究

通过筛选深度学习中结合注意力机制的推荐模型相关文献,将文献从注意力机制结合自编码器、图神经网络这两个方面进行归纳整理,分析了各模型在推荐应用中的特点和不足,展望了该领域的研究方向.     

基于注意力机制和辅助任务的语义分割算法

为提高网络模型低层特征的离散度和语义分割算法的性能,以全卷积神经网络作为基础模型,提出一种基于辅助损失、边缘检测辅助任务和注意力机制的语义分割算法。通过重新设计网络模型的辅助损失分支,使网络低层特征编码更多语义信息。在多任务学习中,选择边缘检测作为辅助任务,基于注意力机制设计边缘检测的辅助任务分支,使网络模型更关注物体的形状和边缘信息。在此基础上,将基础模型、辅助损失分支、辅助任务分支集成构造为语义分割模型。在VOC2012数据集上的实验结果表明,该算法的平均交并比为71.5%,相比基础模型算法提高了6个百分点。     

基于多任务学习的古诗和对联自动生成

实现古诗和对联的自动生成是极具挑战性的任务。该文提出了一种新颖的多任务学习模型用于古诗和对联的自动生成。模型采用编码-解码结构并融入注意力机制,编码部分由两个BiLSTM组成,一个BiLSTM用于关键词输入,另一个BiLSTM用于古诗和对联输入;解码部分由两个LSTM组成,一个LSTM用于古诗的解码输出,另一个LSTM用于对联的解码输出。在中国的传统文学中,古诗和对联具有很多的相似特征,多任务学习模型通过编码器参数共享,解码器参数不共享,让模型底层编码部分兼容古诗和对联特征,解码部分保留各自特征,增强模型泛化能力,表现效果大大优于单任务模型。同时,该文在模型中创新性地引入关键词信息,让生成的古诗及对联表达内容与用户意图一致。最后,该文采用自动评估和人工评估两种方式验证了方法的有效性。     

基于层次注意力机制神经网络模型的虚假评论识别

针对虚假评论识别任务中传统离散模型难以捕捉到整个评论文本的全局语义信息的问题，提出了一种基于层次注意力机制的神经网络模型。首先，采用不同的神经网络模型对评论文本的篇章结构进行建模，探讨哪种神经网络模型能够获得最好的篇章表示；然后，基于用户视图和产品视图的两种注意力机制对评论文本进行建模，用户视图关注评论文本中用户的偏好，而产品视图关注评论文本中产品的特征；最后，将两个视图学习的评论表示拼接以作为预测虚假评论的最终表示。以准确率作为评估指标，在Yelp数据集上进行了实验。实验结果表明，所提出的层次注意力机制的神经网络模型表现最好，其准确率超出了传统离散模型和现有的神经网络基准模型1至4个百分点。     

融合层次类型信息的双向图注意力机制的知识图谱嵌入模型

知识图谱嵌入旨在将实体与关系映射到低维且稠密的向量空间中。目前已有的嵌入模型仍存在以下两个方面的缺陷：现有的模型大多只关注知识图谱的语义信息,而忽略了大量三元组的隐藏信息;现有的模型仅关注了实体的单向信息,而忽略了双向的潜在信息。针对以上问题,提出了一种融合层次类型信息的双向图注意力机制的知识图谱嵌入模型Bi-HTGAT,该模型设计了层次类型注意力机制,考虑不同关系下每种类型的不同实体对中心实体的贡献。同时引入了关系的方向注意力机制,通过融合不同方向的邻居信息来更新实体和关系嵌入,最终聚合两部分信息以得到实体的最终嵌入。在基准数据集上的实验证明,Bi-HTGAT在链接预测任务上性能明显优于其他基线模型,充分证明了Bi-HTGAT能够进一步提高嵌入结果的精准度。