多模态深度学习综述

在多模态深度学习发展前期总结当前多模态深度学习,发现在不同多模态组合和学习目标下,多模态深度学习实现过程中的共有问题,并对共有问题进行分类,叙述解决各类问题的方法。具体来说,从涉及自然语言、视觉、听觉的多模态学习中考虑了语言翻译、事件探测、信息描述、情绪识别、声音识别和合成以及多媒体检索等方面研究,将多模态深度学习实现过程中的共有问题分为模态表示、模态传译、模态融合和模态对齐四类,并对各类问题进行子分类和论述,同时列举了为解决各类问题产生的神经网络模型。最后论述了实际多模态系统、多模态深度学习研究中常用的数据集和评判标准,并展望了多模态深度学习的发展趋势。     

基于多模态语义分析的试题推荐方法

在教育场景下,教育资源推荐是一项关键且基础的任务,教育资源呈现出显著的多源、异构和多模态特性,给教育资源的理解、应用带来了巨大的挑战。对此,该文提出了一种基于多模态语义分析的试题推荐方法：首先进行多模态教育资源的特征抽取以及不同模态数据之间的语义关联,构建多模态教育资源的理解表示框架;并利用相同领域任务进行多模态视频和试题特征的预训练,进行关联知识建模;最后,利用线上收集的数据进行视频-试题关联特征微调,得到更加鲁棒的特征表示,进行多模态教学视频的相关性试题推荐。在教育领域数据集上的实验结果表明,该文所提出的方法能有效提升现有方法的效果,具有很好的应用价值。     

基于多任务学习的时序多模态情感分析模型

针对时序多模态情感分析中存在的单模态特征表示和跨模态特征融合问题,结合多头注意力机制,提出一种基于多任务学习的情感分析模型.首先,使用卷积神经网络(CNN)、双向门控循环神经网络(BiGRU)和多头自注意力(MHSA)实现了对时序单模态的特征表示;然后,利用多头注意力实现跨模态的双向信息融合;最后,基于多任务学习思想,...     

基于多模态对抗学习的无监督时间序列异常检测

时间序列异常检测旨在发现对应时序特征中不符合一般规律的特异性模式,是机器学习领域重要的研究方向之一.然而,现有的时序异常检测方法大多为单模态学习,忽略了时序信息在多模态空间上不同特征分布的关联性和互补性,不能充分利用已有信息进行有效地模式挖掘,从而造成检测效果差等问题.为此,提出了一种基于多模态对抗学习的无监督时间序列异常检测模型.首先,将原始时间序列转换至频域空间,构造多模态时间序列表示.其次,提出多模态生成对抗网络模型,针对多模态时间序列,实现正常时序信息关于时域和频域特征分布的无监督联合学习.最后,通过将异常检测问题转化为时间序列在时域和频域空间的重构度量问题,从时域空间和频域空间2个方面度量时间序列的异常值,实现更有效的异常检测.在时间序列数据集合UCR和MIT-BIH中的6个真实数据集的实验结果表明,在异常检测任务上相较于传统单模态异常检测方法,提出方法在AUC和AP这2个性能指标上最高分别提升了12.50%和21.59%,证明了方法的有效性.     

基于对比学习和GIF标记的多模态对话回复检索

社交媒体网站上使用GIF(Graphics Interchange Format)作为消息的回复相当普遍。但目前大多方法针对问题“如何选择一个合适的GIF回复消息”,没有很好地利用社交媒体上的GIF附属标记信息。为此,提出基于对比学习和GIF标记的多模态对话回复检索（CoTa-MMD）方法,将标记信息整合到检索过程中。具体来说就是使用标记作为中间变量,文本→GIF的检索就被转换为文本→GIF标记→GIF的检索,采用对比学习算法学习模态表示,并利用全概率公式计算检索概率。与直接的文本图像检索相比,引入的过渡标记降低了不同模态的异质性导致的检索难度。实验结果表明,CoTa-MMD模型相较于深度监督的跨模态检索（DSCMR）模型,在PEPE-56多模态对话数据集和Taiwan多模态对话数据集上文本图像检索任务的召回率之和分别提升了0.33个百分点和4.21个百分点。     

基于多视角学习的时序多模态情感分类研究

针对多模态融合效果不佳,不能充分挖掘特定时间段,多视角关键情感信息的问题,提出了一种基于多视角的时序多模态情感分类模型,用于提取特定时间段,多视角下的关键情感信息。首先,对文本标题及文本内容两种视角下的数据进行低维空间词嵌入和序列表达,提取不同视角的多模态时序特征,对图片截取,水平镜像两种视角下的数据进行特征提取;其次,采用循环神经网络构建多模态数据的时序序列交互特征,增大互信息;最后,基于对比学习进行联合训练,完成情感分类。该模型在两个多模态情感分类基准数据集Yelp和Mutli-Zol上评估,准确度分别为73.92%、69.15%。综合实验表明,多视角的特定时间段多模态语句序列可提升模型性能。     

多模态深度学习综述

模态是指人接收信息的方式,包括听觉、视觉、嗅觉、触觉等多种方式。多模态学习是指通过利用多模态之间的互补性,剔除模态间的冗余性,从而学习到更好的特征表示。多模态学习的目的是建立能够处理和关联来自多种模式信息的模型,它是一个充满活力的多学科领域,具有日益重要和巨大的潜力。目前比较热门的研究方向是图像、视频、音频、文本之间的多模态学习。着重介绍了多模态在视听语音识别、图文情感分析、协同标注等实际层面的应用,以及在匹配和分类、对齐表示学习等核心层面的应用,并针对多模态学习的核心问题:匹配和分类、对齐表示学习方面给出了说明。对多模态学习中常用的数据集进行了介绍,并展望了未来多模态学习的发展趋势。     

融合多模态自监督图学习的视频推荐模型

现有视频推荐方法在算法框架中引入图神经网络来建模用户—视频协同关系,学习用户和视频的表示向量,但是节点中包含的冗余噪声会限制模型的建模能力。针对以上问题,提出了一种融合多模态自监督图学习的视频推荐模型(IMSGL-VRM)。首先,在图数据增强模式下构建自监督的图神经网络模型学习多模态视图下的节点特征表示,以提升节点表示的泛化能力;其次,为了得到推荐结果的多样性,设计了多兴趣提取模块从用户历史的交互视频序列中建模用户的多兴趣;最后,融合多模态的用户多兴趣表示和视频的特征表示,使用多样性可控的方式输出推荐结果,以满足视频推荐的多样性需求。在MovieLens-1M和TikTok数据集上实验,采用准确性、召回率、NDCG和多样性等指标评估模型。实验结果表明,该模型相比经典基准模型均有显著的性能提升。     

基于深度学习的多模态生物特征融合模型

面对公安实战中获取的低质量生物特征数据,单模态生物特征识别技术的精度并不理想,现有的多模态融合算法存在融合层次单一、泛化性不强等问题,深度神经网络的发展为其提供了有效的解决途径。构建基于深度神经网络的多模态生物特征融合模型,将像素层、特征层、分数层等不同层次的融合方法统一到融合模型中,在像素层采用空间、通道和强度融合三种策略;在特征层通过反向传播整体优化模态专用分支与联合表示层,构建模态之间一阶依赖关系;在分数层使用基于Rank1评价和基于模态评价两种方法完成匹配分数融合。模拟实战数据构建虚拟同源多模态数据集进行模型验证。实验结果表明,多模态像素层融合方法提升效果有限,难以增强数据的区分度;多模态特征层融合方法相比单模态算法提升2.2个百分点;分数层融合方法相比单模态算法提升3.5个百分点,最佳检索精度可达99.6%。基于深度学习方法提出的多模态生物特征融合模型极大地提高了模型的泛化性和检索精度。     

基于多模态融合的人脸反欺骗算法研究

人脸反欺骗技术可以准确判断捕获的人脸图像是真实人脸还是虚假人脸,是人脸识别系统安全的重要保障.传统的人脸反欺骗方法主要是利用手工设计的特征,如LBP、HoG、SIFT、SURF和DoG来刻画真实人脸和虚假人脸之间的不同特征分布,但人工设计的特征难以适应无约束环境下(如光照、背景的变化)的人脸反欺骗问题.鉴于此,该文提出...     

基于混合采样的图对比学习推荐算法

在推荐系统领域中,图卷积网络具有对于图结构数据更强的信息抽取能力。然而,现有的图卷积网络推荐算法主要关注改进模型结构,忽视了提高原始样本采样质量与挖掘用户—项目间隐式关系的重要性。针对上述问题,提出一种基于混合采样的图对比学习推荐算法。首先使用混合采样方法,提取出正样本中部分信息并将其注入负样本,从而生成全新的富含信息的难负样本;其次,通过轻量图卷积网络对难负样本进行特征提取,得到用户和项目的节点表征,采用邻域对比学习方法挖掘样本隐式关系;最后,利用多任务策略对推荐监督任务和对比学习任务进行联合优化。在真实数据集Yelp2018和Amazon-book上进行实验,采用recall和NDCG指标进行评估,实验结果表明,提出的模型相较其他基准模型取得了更好的效果。     

异策略模仿-强化学习序列推荐算法

最近,强化学习序列推荐系统受到研究者们的广泛关注,这得益于它能更好地联合建模用户感兴趣的内动态和外倾向。然而,现有方法面临同策略评估方法数据利用率低导致模型依赖大量的专家标注数据和启发式价值激励函数设计依赖反复人工调试两个主要挑战。因此,提出了一种新颖的异策略模仿-强化学习的序列推荐算法COG4Rec,以提高数据利用效率和实现可学习的价值函数。首先,它通过异策略方式更新分布匹配目标函数,来避免同策略更新密集在线交互限制;其次,COG4Rec采用可学习的价值函数设计,通过对数衰减状态分布比模仿用户外倾向的价值激励函数;最后,为了避免模仿学习分布漂移问题,COG4Rec通过累积衰减分布比强化用户行为记录中高价值轨迹片段重组推荐策略。一系列基准数据集上的性能对比实验和消融实验结果表明：COG4Rec比自回归模型提升了17.60%,它比启发式强化学习方法提升了3.25%。这证明了所提模型结构和优化算法的有效性。这也证明可学习的价值函数是可行的,并且异策略方式能有效提高数据利用效率。     

基于MLP改进型深度神经网络学习资源推荐算法

针对在线学习过程中出现的知识过载及传统推荐算法中存在的数据稀疏和冷启动问题,提出了一种基于多层感知机（MLP）的改进型深度神经网络学习资源推荐算法。该算法利用多层感知机对非线性数据处理的优势,将学习者特征和学习资源特征进行向量相乘的预测方式转换为输入多层感知机的方式,改进了DN-CBR神经网络推荐模型。为验证模型的有效性,以爱课程在线学习平台数据为样本构建数据集,通过对比实验表明,在该数据集上,改进后模型相较于DN-CBR模型在归一化折损累积增益和命中率指标上分别提升了1.2%和3%,有效地提高了模型的推荐性能。     

基于高斯分布建模的序列推荐算法

目前大多数序列推荐系统(SRS)都假设需要预测的下一项与用户的上一项输入有关,然而真实场景中,用户可能会在浏览过程中误点击与自身兴趣偏好不一致的项目(不可靠实例)。针对此问题,提出了一种基于高斯分布建模的序列推荐算法。该算法首先通过一个含有多头自注意力的不确定性感知图集合网络(uncertainty-aware graph ensemble network,UAN),通过降低输入项的不确定性来提取输入的序列模式;其次将提取的输入序列模式建模为一个高斯分布,得到序列信息中的动态用户偏好以及偏好的不确定性;再将传统的推荐目标函数拓展为一个采样损失函数和一个不确定性正则化器,赋予每个训练实例适当的不确定性;最后将高损失且低不确定性的不可靠实例去除,增强序列推荐的准确性。该算法在三个公开的数据集Book-Crossing、MovieLens-1M和Steam上进行实验测试,结果表明,该算法相对于效果较好的基线取得了5.3%左右的提升,得到了更优的序列推荐结果,并能通过有效降低输入序列信息的不确定性,从而提升推荐准确率。     

Sequence recommendation based on deep learning

In order to solve the cold start problem of traditional recommendation algorithm, the sequence change of user interaction information and deep learning are gradually considered as a key feature of commodity recommendation system. However, most of the existing recommendation methods based on the sequence changes assume that all the interaction information of users is equally important for recommendation, which is not always applicable in real scenarios, because the interaction process of user items is full of randomness and contingency. In this article, we study how to reduce the randomness and contingency between session sequences, make full use of the association between session sequences in the interaction process of users by Deep Learning. In order to better simulate the change of session sequence in the real scene, we adopt sequence sampling methods to transform the single classification problem into sequence modeling problem. And attention mechanism is added to reduce the interference of the recommendation model in the sequence due to the contingency and randomness of the user in the shopping. Finally, through the verification of real data, the MRR@20 index of the improved model is 20% higher than the benchmark level.     

一种基于MFSP-DG的个性化推荐算法

提出一种基于最大频繁序列模式有向图的页面个性化推荐技术,由于考虑了用户会话的页面访问顺序,比一些不考虑页面访问顺序的推荐技术有更高的准确率。有向图结构压缩存储了所有最大频繁序列模式,推荐引擎依据截取的用户最近访问页面子序列,与有向图的部分路径进行匹配并进行横向推荐和纵向推荐,无需在整个模式库中搜索相同或相似的模式,从而加快了模式匹配的速度,更好地满足了页面推荐的特性和实时要求。实验证明,方法是有效的。     

基于对比学习的多特征融合戴口罩人脸识别

随着计算机视觉技术应用的发展和智能终端的普及,口罩遮挡人脸识别已成为人物身份信息识别的重要部分。口罩的大面积遮挡对人脸特征的学习带来极大挑战。针对戴口罩人脸特征学习困难这一问题,提出了一种基于对比学习的多特征融合口罩遮挡人脸识别算法,该算法改进了传统的基于三元组关系的人脸特征向量学习损失函数,提出了基于多实例关系的损失函数,充分挖掘戴口罩人脸和完整人脸多个正负样本之间的同模态内和跨模态间的关联关系,学习人脸中具有高区分度的能力的特征,同时结合人脸的眉眼等局部特征和轮廓等全局特征,学习口罩遮挡人脸的有效特征向量表示。在真实的戴口罩人脸数据集和生成的戴口罩人脸数据上与基准算法进行了比较,实验结果表明所提算法相比传统的基于三元组损失函数和特征融合算法具有更高的识别准确率。     

基于降噪自编码器的社会化推荐算法

现有的社会化推荐算法未考虑信任用户对目标用户深层的偏好影响。针对这一问题,提出了一种基于深度学习的混合推荐算法,利用降噪自编码器学习用户及其信任用户的评分偏好,使用加权隐藏层来平衡这些表示的重要性,有效建模用户间的潜在偏好交互。在此基础上,通过用户聚类和个性化权重区分不同类的用户受其信任用户的影响程度。在开放数据集上的实验结果表明,该算法优于现有的社会化推荐算法,与主要的推荐算法SoRec、RSTE、SocialMF、TrustMF相比,其平均绝对误差(MAE)和均方根误差(RMSE)显著降低,获得了较好的推荐效果。     

基于标签的强化学习推荐算法研究与应用*

针对协同过滤推荐算法性能稳定性往往受到数据稀疏性影响的问题,在强化学习的框架下提出一种基于标签的协同过滤推荐算法,利用标签模拟用户兴趣来构造非稀疏的个性化数据,并将模拟数据与历史用户访问数据相结合进行协同过滤推荐。实验结果表明,引入基于标签的个性化数据可以有效提升协同过滤算法的性能,且对两种数据的有效结合可以获得最好的效果。     

融合多头自注意力的问答社区专家推荐算法

专家推荐是在线问答社区的研究热点之一,但现有的算法大多关注用户的静态兴趣和问题信息的匹配,忽视了对用户的动态兴趣表征信息的有效捕捉,从而导致推荐的准确度不足。针对上述问题,提出了融合多头自注意力的问答社区专家推荐算法。首先,构造由卷积神经网络和注意力机制组成的问题编码器,来处理目标问题和用户历史回答问题,提取对应的问题表征;其次,将用户历史回答问题序列当作时间序列,利用多头自注意力机制学习序列中所蕴涵的动态兴趣表征,结合用户的静态兴趣表征,获取用户的综合兴趣表征;最后,将目标问题表征和用户综合表征进行相似性计算产生推荐结果。利用来自知乎问答社区的真实数据进行了不同参数配置及不同算法的对比实验,实验结果表明该算法性能要明显优于目前较流行的深度学习专家推荐算法。