多模态深度学习综述

在多模态深度学习发展前期总结当前多模态深度学习,发现在不同多模态组合和学习目标下,多模态深度学习实现过程中的共有问题,并对共有问题进行分类,叙述解决各类问题的方法。具体来说,从涉及自然语言、视觉、听觉的多模态学习中考虑了语言翻译、事件探测、信息描述、情绪识别、声音识别和合成以及多媒体检索等方面研究,将多模态深度学习实现过程中的共有问题分为模态表示、模态传译、模态融合和模态对齐四类,并对各类问题进行子分类和论述,同时列举了为解决各类问题产生的神经网络模型。最后论述了实际多模态系统、多模态深度学习研究中常用的数据集和评判标准,并展望了多模态深度学习的发展趋势。     

基于深度神经网络的多模态信息检索

为了提高大数据中多模态信息的检索效果,提出一种基于深度神经网络的多模态信息检索算法.设计深度自编码器,将不同模态的数据投影到一个相同的广义子空间内;利用稀疏编码技术降低共同特征向量的维度,过滤冗余特征和噪声特征;通过去卷积操作和上采样操作对数据进行重建.基于公开模态识别数据集的实验结果表明,该算法能够有效地学习和泛化多...     

深度多模态表示学习的研究综述

尽管深度学习因为强大的非线性表示能力已广泛应用于许多领域,多源异构模态数据间结构和语义上的鸿沟严重阻碍了后续深度学习模型的应用。虽然已经有许多学者提出了大量的表示学习方法以探索不同模态间的相关性和互补性,并提高深度学习预测和泛化性能。然而,多模态表示学习研究还处于初级阶段,依然存在许多科学问题尚需解决。迄今为止,多模态表示学习仍缺乏统一的认知,多模态表示学习研究的体系结构和评价指标尚不完全明确。根据不同模态的特征结构、语义信息和表示能力,从表示融合和表示对齐两个角度研究和分析了深度多模态表示学习的进展,并对现有研究工作进行了系统的总结和科学的分类。同时,解析了代表性框架和模型的基本结构、应用场景和关键问题,分析了深度多模态表示学习的理论基础和最新发展,并且指出了多模态表示学习研究当前面临的挑战和今后的发展趋势,以进一步推动深度多模态表示学习的发展和应用。     

多模态深度学习综述

模态是指人接收信息的方式,包括听觉、视觉、嗅觉、触觉等多种方式。多模态学习是指通过利用多模态之间的互补性,剔除模态间的冗余性,从而学习到更好的特征表示。多模态学习的目的是建立能够处理和关联来自多种模式信息的模型,它是一个充满活力的多学科领域,具有日益重要和巨大的潜力。目前比较热门的研究方向是图像、视频、音频、文本之间的多模态学习。着重介绍了多模态在视听语音识别、图文情感分析、协同标注等实际层面的应用,以及在匹配和分类、对齐表示学习等核心层面的应用,并针对多模态学习的核心问题:匹配和分类、对齐表示学习方面给出了说明。对多模态学习中常用的数据集进行了介绍,并展望了未来多模态学习的发展趋势。     

基于深度学习框架的多模态动作识别

提出一种基于深度神经网络的多模态动作识别方法,根据不同模态信息的特性分别采用不同的深度神经网络,适应不同模态的视频信息,并将多种深度网络相结合,挖掘行为识别的多模态特征。主要考虑人体行为静态和动态2种模态信息,结合微软Kinect的多传感器摄像机获得传统视频信息的同时也能获取对应的深度骨骼点信息。对于静态信息采用卷积神经网络模型,对于动态信息采用递归循环神经网络模型。最后将2种模型提取的特征相融合进行动作识别和分类。在MSR 3D的行为数据库上实验结果表明,本文的方法对动作识别具有良好的分类效果。     

基于深度学习的多模态医学影像分割研究综述

多模态医学影像分割是医学影像分析领域的研究热点之一。有效利用不同模态影像的互补信息,从多种层面提供病灶区域及其周围区域的更多信息,可提高临床诊断的准确性。为了分析深度学习在多模态医学影像分割领域的研究现状及发展方向,对该领域近些年的分割方法进行了整理和研究。在分析它们的特点及存在的问题的基础上,对未来研究方向进行了展望,可帮助相关研究者全面、快速地了解该领域的研究现状、存在的问题和未来研究方向。     

基于多模态深度学习技术的智能教学系统研究

文章以多模态深度学习技术为切入点,探讨多模态建模技术在智能型教学系统中的潜在应用,如时间序列预测算法（LongShort-TermMemory,LSTM）、残差神经网络（ResidualNetwork,ResNet）、YOLO、深度神经网络（Deep Neural Networks,DNN）和XGBoost,并介绍了课堂监测评估模型和教学策略推荐模型的运行机制。     

多模态视觉语言表征学习研究综述

我们生活在一个由大量不同模态内容构建而成的多媒体世界中,不同模态信息之间具有高度的相关性和互补性,多模态表征学习的主要目的就是挖掘出不同模态之间的共性和特性,产生出可以表示多模态信息的隐含向量.主要介绍了目前应用较广的视觉语言表征的相应研究工作,包括传统的基于相似性模型的研究方法和目前主流的基于语言模型的预训练的方法....     

多模态深度神经网络的固废对象分割

目的 对城市发展过程中产生的建筑固废进行处理,并将之转换为资源和能源,是极佳的保护环境的经济发展模式。然而人工分拣处理存在效率低、污染严重、对人身危害大等问题。目前工业界在探索一种有效的基于机械臂自动抓取的建筑固废自动分拣系统,其中图像分割技术是非常必要的一个环节。但是工业现场的环境因素造成固废对象的颜色严重退化,会影响最终的固废对象分割。本文针对建筑固废图像分割难度大的现状,提出一种基于多模态深度神经网络的方法来解决固废对象分割问题。方法 首先, 在颜色退化严重的场景下,把RGB图像和深度图一起作为深度卷积神经网络的输入,利用深度卷积神经网络进行高维特征学习,通过softmax分类器获得每个像素的标签分配概率。其次,基于新的能量函数建立全连接条件随机场,通过最小化能量函数寻找全局最优解来分割图像,从而为每一类固废对象产生一个独立的分割块。最后,利用局部轮廓信息计算深度梯度,实现同一类别的不同实例的固废对象精确分割。结果 在固废图像测试集上,该方法取得了90.02%均像素精度和89.03%均交并比（MIOU）。此外,与目前一些优秀的语义分割算法相比,也表现出了优越性。结论 本文方法能够对每一个固废对象同时进行有效的分割和分类,为建筑垃圾自动分拣系统提供准确的固废对象轮廓和类别信息,从而方便实现机械臂的自动抓取。     

基于深度学习的阿尔兹海默症多模态辅助诊断研究

阿尔兹海默症(Alzheimer's Disease,AD)是一种在老年人群中常见的痴呆疾病,由于病程不可逆且无法治愈,常会对病人的生活质量产生极大影响,因此尽早诊断病情并对病程加以干预是唯一有效的手段。由于良好的实验效果,深度学习模型在医学图像领域受到了越来越多研究者的关注,但深度学习方法常需要较大的数据量作为支撑,而医学图像由于设备成本以及病例数量的限制,常存在着数据量不足的问题,因而在某些情况下会出现过拟合的问题。提出一种参数高效的深度学习模型,引入了可分离卷积、全局平均池化、残差结构,使得模型参数量成倍地减少,同时引入多模态数据,增大了输入样本的信息量,以求减少过拟合问题。最后,通过对照试验,验证了该文所提出模型的优越性。     

基于连续型深度置信神经网络的软件可靠性预测

为了提高软件可靠性智能预测的精度,采用连续型深度置信神经网络算法用于软件可靠性预测.首先提取影响软件可靠性的核心要素样本,并获取样本要素的关键特征;然后建立连续型深度置信神经网络(Deep Belief Network,DBN)的软件可靠性预测模型,输入待预测样本,通过多个受限波尔兹曼机(Restricted Bolt...     

Result Merging for Structured Queries on the Deep Web with Active Relevance Weight Estimation

Data integration systems on the Deep Web offer a transparent means to query multiple data sources at once. Result merging– the generation of an overall ranked list of results from different sources in response to a query– is a key component of a data integration system. In this work we present a result merging model, called Active Relevance Weight Estimation model. Different from the existing techniques for result merging, we estimate the relevance of a data source in answering a query at query time. The relevances for a set of data sources are expressed with a (normalized) weighting scheme: the larger the weight for a data source the more relevant the source is in answering a query. We estimate the weights of a data source in each subset of the data sources involved in a training query. Because an online query may not exactly match any training query, we devise methods to obtain a subset of training queries that are related to the online query. We estimate the relevance weights of the online query from the weights of this subset of training queries. Our experiments show that our method outperforms the leading merging algorithms with comparable response time.     

基于深度神经网络的语种识别*

语音段的有效表示方法存在易混淆语种和短时语音段识别率较低等问题,为满足不同时长和方言的识别要求,提出基于深度神经网络不同层的有效语音段表示方法.采用含有中间瓶颈层的深层神经网络作为前端特征提取,综合利用该网络的输出层和中间瓶颈层输出结果,得到不同形式的语音段表示并用于语种识别.在美国国家标准技术局语种识别评测2009年和2011年阿拉伯方言数据集上验证了方法的有效性.     

一种鲁棒的多特征点云分类分割深度神经网络

现有的深度学习方法在处理点云分割任务时,难以有效地学习点云的局部特征,存在分类分割精度低和鲁棒性差的问题。构建深度神经网络RMFP-DNN用于多特征点云分类分割。分别利用自注意力模块和多层感知机提取点云的局部特征和全局特征,并将两者相互融合,提高分类分割的准确率和鲁棒性。实验结果表明,RMFP-DNN平均分类准确率和整体分类准确率分别为88.9%和92.6%,与PointNet、PointNet++、DGCNN等方法相比,准确率较高且鲁棒性较好。     

基于深度强化学习的遥感图像可解释目标检测方法

随着遥感技术的飞速发展,遥感图像目标检测在资源勘探、城市规划、自然灾害评估等方面得到广泛应用.遥感影像背景复杂、目标尺度较小,难以检测.针对此问题,文中提出基于深度强化学习的遥感图像可解释目标检测方法.首先,将深度强化学习应用于超快速区域神经网络中的候选区域生成网络,修改激励函数,提高对遥感图像的检测精度.然后,将原有参数量较大的主干网络轻量化,提高方法的检测速度和可移植性.最后,利用网络解剖方法对隐层表征的可解释性进行量化,赋予方法人类理解的可解释性概念.实验表明,文中方法在3个公开的遥感数据集上的性能有所提升.通过改进的网络解剖方法进一步验证方法的有效性.     

基于深度网络的快速少样本学习算法

少样本学习方法模拟人类从少量样本中学习的认知过程,已成为机器学习研究领域的热点.针对目前少样本学习迭代过程的任务量较大、过拟合现象严重等问题,文中提出基于深度网络的快速少样本学习算法.首先,利用核密度估计和图像滤波方法向训练集加入多种类型的随机噪声,生成支持集和查询集.再利用原型网络提取支持集和查询集图像特征,并根据Bregman散度,以每类支持集支持样本的中心点作为类原型.然后,使用L2范数度量支持集与查询图像的距离,利用交叉熵反馈损失,生成多个异构的基分类器.最后,采用投票机制融合基分类器的非线性分类结果.实验表明,文中算法能加快少样本学习收敛速度,分类准确率较高,鲁棒性较强.     

一种深度小波过程神经网络及在时变信号分类中的应用

针对多通道非线性时变信号分类问题,提出一种基于稀疏自编码器的深度小波过程神经网络(SAE-DWPNN)。通过构建一种多输入/多输出的小波过程神经网络(WPNN),实现对时变信号的多尺度分解和对过程分布特征的初步提取;通过在WPNN隐层之后叠加一个SAE深度网络,对所提取的信号特征进行高层次的综合和表示,并基于softmax分类器实现对时变信号的分类。SAE-DWPNN将现有过程神经网络扩展为深度结构,同时将深度SAE网络在信息处理机制上扩展到时间域,扩展了两类模型的信息处理能力。该网络可提取多通道时序信号的分布特征及其结构特征,并保持样本特征的多样性,提高了对信号时频特性和结构特征的分析能力。文中分析了SAE-DWPNN的性质,给出了综合训练算法。以基于12导联ECG信号的7种心血管疾病分类诊断为例,实验结果验证了模型和算法的有效性。     

基于可解释基拆解和知识图谱的深度神经网络可视化

近年来,以卷积神经网络(CNN)等为代表的深度学习模型,以其深度分层学习,无标签化学习等优势,已在图像识别为代表的各个领域得到日益广泛的应用.然而,深度神经网络模型由于其内在的黑盒原理,对其内部工作机制的解释仍然面临巨大挑战,其可解释性问题已成为了研究界和工业界的前沿性热点研究课题.针对现有研究存在的缺乏基于图谱的可解...     

多层次深度网络融合人脸识别算法*

深度学习模型可以获得更具有鉴别力的人脸特征,提高人脸识别性能.因此,文中结合深度学习思想,提出多层次深度网络融合特征提取模型.在深度子空间基础上,采用“卷积-池化”网络结构,在降低特征维度的同时保留图像纹理信息,并且获得局部转换鲁棒性.同时,利用人脸标定算法获得人脸特征点,并以此划分人脸区域为5个局部人脸块.基于多层次分类策略,利用全局人脸训练全局网络,完成测试样本预分类.利用局部人脸块训练局部网络,在候选类别中完成最终分类.实验表明,结合局部特征与全局特征的模型可以取得较好的识别率,对光照、表情、姿态,遮挡等影响因素具有较好的鲁棒性,并且加入池化层及两步判别的算法可以有效提高识别率.     

基于深度神经网络的胎儿体重预测

由于胎儿体重是反映胎儿生长发育情况、宫内异常妊娠情况的重要指标,因此,胎儿的估重是医生对产妇进行临床处理的一个重要依据。传统胎儿体重预测模型的构建依赖于医学知识与生理参数选择,因此构建过程不易进行复制与推广。针对这些问题,提出一种使用深度神经网络来构建胎儿体重预测模型的方法,同时介绍了从电子病历中提取相关参数的过程,以及针对数据缺失值的补全策略。实验表明,基于深度神经网络的胎儿体重预测模型优于公式预测方法与基于传统人工神经网络的模型,且提出的缺失值补全策略能够强化模型的训练,进而提高预测的准确度。最后,基于深度神经网络的胎儿体重预测模型有很强的泛化能力与通用性,为不同地区、不同医院建立个性化的预测模型提供了可行方法。