基于多任务深度神经网络的图像情感区域检测

为得到准确的图像情感区域,设计一种基于多任务深度神经网络的图像情感区域检测方法.提出的网络包括两个任务:图像情感区域检测任务和图像情感分类任务,两个任务的共享层为V G G-16网络结构,图像的情感区域检测任务和情感分类任务通过对共享层参数的训练可以提高单个任务的泛化能力,提升网络的性能.实验结果表明,该方法可以准确检...     

基于多任务学习的语音情感识别

在近期的语音情感识别研究中,研究人员尝试利用深度学习模型从语音信号中识别情感。然而,传统基于单任务学习的模型对语音的声学情感信息关注度不足,导致情感识别的准确率较低。鉴于此,本文提出了一种基于多任务学习、端到端的语音情感识别网络,以挖掘语音中的声学情感,提升情感识别的准确率。为避免采用频域特征造成的信息损失,本文利用基于时域信号的Wav2vec2.0自监督网络作为模型的主干网络,提取语音的声学特征和语义特征,并利用注意力机制将两类特征进行融合作为自监督特征。为了充分利用语音中的声学情感信息,使用与情感有关的音素识别作为辅助任务,通过多任务学习挖掘自监督特征中的声学情感。在公开数据集IEMOCAP上的实验结果表明,本文提出的多任务学习模型实现了76.0%的加权准确率和76.9%的非加权准确率,相比传统单任务学习模型性能得到了明显提升。同时,消融实验验证了辅助任务和自监督网络微调策略的有效性。     

基于多任务学习的时序多模态情感分析模型

针对时序多模态情感分析中存在的单模态特征表示和跨模态特征融合问题,结合多头注意力机制,提出一种基于多任务学习的情感分析模型.首先,使用卷积神经网络(CNN)、双向门控循环神经网络(BiGRU)和多头自注意力(MHSA)实现了对时序单模态的特征表示;然后,利用多头注意力实现跨模态的双向信息融合;最后,基于多任务学习思想,...     

基于多任务学习的自然图像分类研究

针对自然图像内容结构复杂、难以区分的实际情况,提出了一种基于多任务学习的自然图像分类方法。通过额外任务来辅助主任务的学习,构造了衡量任务间相关性大小的相关性矩阵,提出了主任务联合额外任务共同决策的学习模式;通过额外任务与主任务的相关性来控制额外任务参与主任务决策的程度,以提高主任务的分类准确率。实验结果表明,与传统的单任务学习相比,尤其是在已知样本较少的情况下,多任务学习机制能够明显地改善分类器的泛化性能。     

基于DCE-MRI影像的深度多任务学习联合预测乳腺癌病理信息研究

乳腺癌病理信息中的Ki-67表达水平、分子分型及组织学分级等信息可为患者提供预后信息,本文提出一种基于深度多任务学习对乳腺癌多种病理信息联合预测的方法.回顾性分析202例术前,化疗前的浸润性导管癌患者乳腺DCE-MRI影像,将数据集随机分为训练集122例,测试集80例.分割影像的含肿瘤的腺体区域,并获得6个减影序列,利用深度学习结合多任务学习方法对Ki-67表达、分子分型及组织学分级中任意显著相关的两个任务进行联合预测,并计算AUC评估模型的分类性能.多任务学习影像模型预测Ki-67表达、Luminal A和组织学分级的最佳AUC为0.804,0.757,0.724.实验结果表明,深度多任务学习可以很好的预测乳腺癌病理信息的性能,对乳腺癌的诊断和个性化治疗方案的选择具有重要意义.     

联合对话行为识别与情感分类的多任务网络

情感分类与对话行为识别任务常被用在对话系统中联合建模,这种联合建模的方法能够挖掘出对话文本的跨任务隐藏交互信息,提高情感分类与对话行为识别的准确性。然而,在两个任务联合建模时,对话文本有上下文信息和跨任务交互信息,对这两种信息与模型预测准确度之间的关系进行研究,需要将这两种信息协同建模,在过去的研究中对这两种信息的利用并不充分,为解决该问题提出多任务图注意力网络（multi-task graph attention network,MGAT）,并且以其为核心模块搭建了多任务协同图注意力网络（multi-task synergic graph attention network,MSGAT）,该模型将上下文信息与跨任务信息联合建模,同时完成情感分类与对话行为识别任务。利用两个公开数据集实验,得到了良好的效果,并且对联合模型与预训练模型组合进行了研究。     

基于深度多任务学习的层次分类

针对现有的深度卷积神经网络往往训练平行的分类器层,很少关注类别的层次性结构,导致均衡性分类器训练难度较大的问题,提出一种结构化的深度多任务学习算法.该算法结合深度卷积神经网络与层次分类,使类别之间的结构性信息融入至深度卷积神经网络中.依托树形的类别结构设计了一个带有共享层的多分支网络结构,并使用一种关联性多任务分类器学习算法协同训练各网络分支的分类器层;为了抑制层次间的误差传播,在各分支网络的分类器层的学习过程中添加一个基于父子关系的结构化限制.采用CIFAR100和手工采集到服装数据集,在tensorflow平台上进行实验,结果表明文中算法相比于基准网络可以提高2%~4%的分类准确度.     

基于多任务学习的糖尿病视网膜病变图像分割

针对糖尿病视网膜病变(DR)图像,提出了一种基于多任务学习的图像多分类分割方法.首先,通过Otsu阈值算法将大部分无病灶信息像素去除;其次,通过滑动窗口切割的方法将图像切分为若干小尺寸的图像,以解决医学图像分辨率过大以及病灶在图像中占比较小的问题;再次,将不存在病灶的子图剔除,以增大含病灶子图的比例;最后,利用UNet++多任务学习属性,并且用转置卷积代替传统上采样,进行多输出多病灶的图像分割.通过在国际公开的IDRID和DDR数据集上进行验证,在IDRi D上取得0.713 1的m AUPR,在DDR上取得0.569 1的m AUPR.     

基于深度学习的照片图像美感质量评估综述

图像美感质量评估作为计算美学中重要的研究领域,是指利用计算机模拟人类的主观审美思维,并在此基础上对图像的美感进行定性或定量评估。作为图像美感质量评估中的一类主要研究对象,照片图像美感质量评估在检索与排序、照片图像美化等方面有着广泛的应用。本文主要对基于深度学习技术的照片图像美感质量评估研究进行归纳和总结,并从基于深度学习的美感评估这一基本思路出发,依次对照片图像美感质量评估类别、照片图像美感评估数据集及其建立方法进行综述,并对相关研究内容提出建议。     

融合场景信息的图像美学属性评价

目的 图像美学属性评价可以提供丰富的美学要素,极大地增强图像美学的可解释性。然而现有的图像美学属性评价方法并没有考虑到图像场景类别的多样性,导致评价任务的性能不够理想。为此,本文提出一种深度多任务卷积神经网络(multi task convolutional neural network, MTCNN)模型,利用场景信息辅助图像的美学属性预测。方法 本文模型由双流深度残差网络组成,其中一支网络基于场景预测任务进行训练,以提取图像的场景特征;另一支网络提取图像的美学特征。然后融合这两种特征,通过多任务学习的方式进行训练,以预测图像的美学属性和整体美学分数。结果 为了验证模型的有效性,在图像美学属性数据集(aesthetics and attributes database, AADB)上进行实验验证。结果显示,在斯皮尔曼相关系数(Spearman rank-order correlation coefficient, SRCC)指标上,本文方法各美学属性预测的结果较其他方法的最优值平均提升了6.1%,本文方法整体美学分数预测的结果较其他方法的最优值提升了6.2%。结论 提出的图像美学属性...     

基于深度学习的广告布局图片美学属性评价

图像质量美学评价是近十年来比较热门的课题,但是研究的大多是对自然图像的美学评价.然而随着互联网技术的发展,线上广告业务得到了迅速发展,因此准确高效地评价一张广告布局图片的好坏是很有必要的.所谓广告布局图片,即广告图片不考虑广告语的具体内容.为了研究广告布局图片的质量美学评价,引入了一个新的数据集ALID,该数据集包含了...     

基于多任务学习的微博谣言检测方法

微博谣言的广泛传播给当今社会造成了日益严峻的负面影响。基于深度神经网络的方法存在缺少大量带标签的数据。研究发现;谣言经常伴随负面情感;而非谣言则伴随正面情感;考虑到谣言与非谣言之间表现出的相反情感倾向性;提出一种将谣言检测和情感分析这两个高度相关的任务结合起来学习的多任务学习方法;为了尽可能多地挖掘不同任务之间的关联;全面分析谣言检测任务的特征;设计了一个由BERT和BiGRU联合的多任务学习框架（BERT-BiGRU-MTL;BBiGM）。利用权值共享的方法对两个任务进行联合训练;同时提取出任务之间的共同特征和针对谣言检测任务的特定特征;利用情感分析任务辅助谣言检测。研究结果表明;该方法在准确率、精确率、F1值评测指标上优于采用单任务学习的方法。     

人像照片的美感质量评价

随着机器学习理论和图形图像处理技术的不断发展,在计算机视觉和计算美学领域中人们越来越关注如何建立自动评价和判断图片美感质量的系统.该系统将可用来补充和完善原有对照片只有主观美感质量评价的这一问题.对人像照片美感质量的客观评价进行研究,提出了25种能够较好反映人像类照片美感质量的特征,并使用支持向量机、Adaboost、随机森林等多种分类器来进行机器学习和评价,对提出的特征值集合进行十交叉检验并探讨了哪些特征对美感评价有较强影响等问题.最后,通过与现有研究结果进行对比分析后得出,当采用所提出的25种特征进行人像照片美感质量评价和分类时有更高的准确率,即使用于机器学习的训练数据集数目较少时仍能保持较高的准确率.     

多任务金字塔重叠匹配的行人重识别方法

针对基于局部特征的行人重识别方法在行人错位和姿态变化时识别精度较低的问题,提出一种采用多任务金字塔重叠匹配特征的重识别方法。在训练阶段,使用改进的ResNes50作为主干网络提取特征图,将其切分组合形成金字塔重叠匹配网络,获得全局特征向量并经全局平均池化得到包含多尺度特征的多个局部特征向量,联合使用Softmax损失函数、三元组损失函数和中心损失函数学习全局和局部特征向量,并利用特征归一化层减少损失函数学习目标冲突的影响。在推理阶段,将多个局部特征向量融合为一个新特征向量进行相似性匹配,以获取更好的匹配结果。在Market1501、DukeMTMC-reID和CUHK03数据集上的实验结果表明,与PSE、MultiScale等主流重识别方法相比,该方法重识别精度更高,提取的特征具有较好的鲁棒性和识别度。     

基于双重情感和多特征融合的虚假新闻检测

在信息爆炸且真伪难辨的网络环境中;精准识别虚假新闻成为一项重要的研究课题。现有研究多采用多种深度学习模型提取多元语义特征;以捕捉文本中不同层次的语义信息;但简单拼接这些特征会导致信息冗余和噪声;限制检测的准确性和泛化性;目前缺乏有效的深度融合方法。此外;现有研究往往忽视了新闻内容与其对应评论共同构建的双重情感对揭示新闻真实性的影响。针对上述问题;提出一种基于双重情感和多特征融合的虚假新闻检测（DEMF-FND）模型。首先;通过情感分析提取新闻和评论的情感特征;并利用相似度计算引入反映两者关联性的情感差异特征;构建双重情感特征集。然后;采用基于多头注意力的融合机制;将双向长短期记忆网络（BiLSTM）与设计的集成静态-动态嵌入的卷积神经网络（ISDE-CNN）所捕捉的新闻文本全局与局部语义特征进行深度融合。最终;将双重情感特征集与经深度融合得到的语义特征拼接融合;输入由全连接层构成的分类层;以判断新闻的真假。实验结果显示;该方法在Weibo20、Twitter15和Twitter16 3个真实数据集上的基准指标均优于基线方法;在准确率上分别实现了2.5、2.3和5.5百分点的提升;凸显了双重情感和深度融合语义特征在提升虚假新闻检测性能方面的重要性。