解耦表征学习研究进展

解耦表征学习旨在对影响数据形态的关键因素进行建模,使得某一关键因素的变化仅仅引起数据在某项特征上的变化,而其他的特征不受影响,这有利于应对机器学习在模型可解释性、对象生成和操作以及零样本学习等问题上的挑战,因此解耦表征学习一直是机器学习领域的一个研究热点。从解耦表征学习的历史与动机入手,对解耦表征学习的研究现状以及应用进行归纳总结,分析了解耦表征所具有的不变性、复用性等特性,介绍了基于生成解耦表征变差因素的研究、基于流形相互作用解耦表征变差因素的研究、基于对抗性训练解耦表征变差因素的研究,以及一种变分自编码器β-VAE的研究等最新研究动态。同时,阐述了解耦表征学习的典型应用,并对未来的研究方向作出了展望。     

基于深度学习的多标签生成研究进展

大数据时代,数据呈现维度高、数据量大和增长快等特点。如何有效利用其中蕴含的有价值信息,以实现数据的智能化处理,已成为当前理论和应用的研究热点。针对现实普遍存在的多义性对象,数据多标签被提出并被广泛应用于数据智能化组织。近年来,深度学习在数据特征提取方面呈现出高速、高精度等优异性,使基于深度学习的多标签生成得到广泛关注。文中分五大类别总结了最新研究成果,并进一步从数据、关系类型、应用场景、适应性及实验性能方面对其进行对比和分析,最后探讨了多标签生成面临的挑战和未来的研究方向。     

面向深度学习系统的模糊测试技术研究进展

深度学习系统具有强大的学习与推理能力, 在无人驾驶、语音识别和机器人等领域应用广泛. 由于数据集的限制以及依赖人工标签数据, 深度学习系统易于出现非预期的行为. 近年来, 深度学习系统的质量问题受到广泛的关注, 特别是在安全攸关的领域. 由于模糊测试具有较强的故障揭示能力, 运用模糊测试技术对深度学习系统进行测试成为研究热点. 从测试用例生成(包括种子队列构建、种子选择和种子变异)、测试结果判定、覆盖分析3个方面对已有的深度学习系统的模糊测试技术进行总结, 并介绍常用的数据集以及度量指标, 最后对其发展方向进行展望.     

基于无监督表征学习的深度聚类研究进展

在大数据时代,数据通常具有规模大、维度高、结构复杂的特点,深度聚类利用深度学习结合表征学习与聚类任务,大幅提高聚类在大规模高维数据中的性能.现有文献少有着重从表征学习的角度归纳和分析目前深度聚类的发展概况,也未通过实验分析传统聚类算法、深度聚类算法及不同深度聚类算法之间的差异.因此,文中首先基于无监督表征学习,简要整理深度聚类中常用的聚类算法,重点将深度聚类算法分成基于生成模型的深度聚类与基于判别模型的深度聚类,分析聚类任务中各深度模型的表征学习过程.然后,通过实验对比分析多类算法,归纳总结优缺点,便于开展针对具体任务中的算法选择.最后,为了深度聚类的进一步发展,描述其应用场景,并讨论未来的发展趋势.     

深度学习可解释性综述

随着数据量呈爆发式增长，深度学习理论与技术取得突破性进展，深度学习模型在众多分类与预测任务(图像、文本、语音和视频数据等)中表现出色，促进了深度学习的规模化与产业化应用。然而，深度学习模型的高度非线性导致其内部逻辑不明晰，并常常被视为“黑箱”模型，这也限制了其在关键领域(如医疗、金融和自动驾驶等)的应用。因此，研究深度学习的可解释性是非常必要的。首先对深度学习的现状进行简要概述，阐述深度学习可解释性的定义及必要性；其次对深度学习可解释性的研究现状进行分析，从内在可解释模型、基于归因的解释和基于非归因的解释3个角度对解释方法进行概述；然后介绍深度学习可解释性的定性和定量评估指标；最后讨论深度学习可解释性的应用以及未来发展方向。     

深度学习可解释性内涵和分类

近年来,深度学习在多个行业得到了广泛应用,效果显著。深度学习虽然具有数学统计原理基础,但是对于任务知识表征学习尚缺乏明确解释。对深度学习理论研究的缺乏将导致即时可以通过各种训练方法使得模型得到满意输出,但不能解释模型内部究竟如何进行工作才得到有效结果。本文从深度学习可解释性内涵和分类角度出发,阐述了深度学习可解释性,以期有助于其他学者研究。     

基于表征学习发展的深度学习研究综述

表征学习是机器学习中学习特征技术的方法集合,深度学习方法是具有多个表示组合的表征学习方法,其通过简单的线性组合和映入非线性模块,能够将原始输入转换为更高、更多的抽象表示层次,通过组合足够多的该类转换,能够从大数据集中学习非常复杂的转换函数。这些方法极大地提高了语音识别、视觉对象识别、对象检测和许多其他领域(如药物发现和基因组学)的最新技术水平。深度学习方法通过使用反向传播算法来指示机器如何在大数据集中发现复杂的结构并改变它的内部参数,其中深度卷积网络广泛应用于图像、视频、语音和音频处理,循环网络则对诸如文本和语音等顺序数据提供处理方案,而最新的Transformer类网络结构引入注意力机制,具有更加良好的挖掘数据特征的性能,逐渐替代深度卷积网络和循环网络结构,但其需要更加庞大的数据驱动,应用范围受限。本文探究深度学习发展历史及其在不同领域的应用,讨论深度机器学习的发展方向。     

加权解耦语义表达的多源领域自适应方法

近年来,深度学习受到越来越多研究者的重视并成功应用于许多领域.虽然深度学习在这些领域获得了巨大的成功,但是数据采集和标注成本高,严重限制了深度学习的推广应用.迁移学习不仅可以打破训练集数据和测试集数据独立同分布的假设,而且可以利用有标签的迁移源数据和没有标签的迁移目标数据训练得到具有良好泛化能力的模型,是扩展深度学习应用场景的重要研究方向.在众多的迁移学习方法中,多源领域自适应方法可以充分利用多个迁移源的信息,具有重要的实际价值.从数据的因果生成机制出发,假设观测数据由语义隐变量和领域隐变量这两组独立的隐变量同时生成.基于上述假设,提出了一种基于多种距离度量框架和加权解耦语义表达的多源领域自适应方法.该方法利用了双重对抗网络来提取解耦的语义信息和领域信息;另一方面,采用了3种不同的语义信息聚合策略获得领域不变的语义表达;最后使用领域不变的语义表达进行图片分类.在多个多源领域自适应数据上的对比及鲁棒性分析实验中,充分地验证了所提出方法的有效性.     

多Agent深度强化学习综述

近年来, 深度强化学习(Deep reinforcement learning, DRL)在诸多复杂序贯决策问题中取得巨大突破.由于融合了深度学习强大的表征能力和强化学习有效的策略搜索能力, 深度强化学习已经成为实现人工智能颇有前景的学习范式.然而, 深度强化学习在多Agent系统的研究与应用中, 仍存在诸多困难和挑战, 以StarCraft Ⅱ为代表的部分观测环境下的多Agent学习仍然很难达到理想效果.本文简要介绍了深度Q网络、深度策略梯度算法等为代表的深度强化学习算法和相关技术.同时, 从多Agent深度强化学习中通信过程的角度对现有的多Agent深度强化学习算法进行归纳, 将其归纳为全通信集中决策、全通信自主决策、欠通信自主决策3种主流形式.从训练架构、样本增强、鲁棒性以及对手建模等方面探讨了多Agent深度强化学习中的一些关键问题, 并分析了多Agent深度强化学习的研究热点和发展前景.     

深度学习相关研究综述

随着大数据时代的到来,深度学习技术已经成为当前人工智能领域的一个研究热点,其已在图像识别、语音识别、自然语言处理、搜索推荐等领域展现出了巨大的优势,并且仍在继续发展变化.为了能够及时跟踪深度学习技术的最新研究进展,把握深度学习技术当前的研究热点和方向,本文针对深度学习技术的相关研究内容进行综述.首先介绍了深度学习技术的应用背景、应用领域,指出研究深度学习技术的重要性;其次介绍了当前重要的几种神经网络模型及两种常用大规模模型训练并行方案,其目的在于从本质上理解深度学习的模型架构和及其优化技巧;接着对比分析了当下主流的深度学习软件工具和相关的工业界研究平台,旨在为神经网络模型的实际使用提供借鉴;最后详细介绍了当下几种主流的深度学习硬件加速技术和最新研究现状,并对未来研究方向进行了展望。     

深度学习在点云分类中的研究综述

点云数据被广泛用于多种三维场景,深度学习凭借提取特征自动化、泛化能力强等优势在三维点云的应用领域快速发展,逐渐成为点云分类的主流研究方法。根据提取方式的不同,将现有算法归纳为传统方法以及深度学习算法。着重介绍基于深度学习的代表性方法和最新研究,总结其基本思想以及优缺点,对比分析主要方法的实验结果;展望深度学习在点云分类领域的未来工作以及研究发展方向。     

解纠缠表示学习在跨年龄人脸识别中的应用

跨年龄人脸识别因其在现实生活中的广泛应用而成为人脸识别领域的热门话题.针对跨年龄人脸识别精度较低的问题,引入解纠缠表示学习,提出了一个基于生成对抗网络的解纠缠表示学习(IPDRL)网络来实现人脸图像的识别.该网络由编码器、生成器和鉴别器构成.编码器在对特征中的年龄变化进行解纠缠的同时,对人脸图像的身份信息进行编码,提取只利于身份鉴别的特征,实现身份特征和年龄特征的解纠缠;生成器根据输入的年龄特征生成对应的身份保持的年龄图像;鉴别器通过对抗学习和多任务学习实现年龄和身份的类分布预测.通过将解纠缠表示学习、对抗学习和多任务学习相结合的方法,很好地保留了人脸图像的身份信息,并使跨年龄人脸图像识别的精度得到了提高.     

深度学习及其在图像物体分类与检测中的应用综述

传统的图像物体分类与检测算法及策略难以满足图像视频大数据在处理效率、性能和智能化等方面所提出的要求。深度学习通过模拟类似人脑的层次结构建立从低级信号到高层语义的映射,以实现数据的分级特征表达,具有强大的视觉信息处理能力,成为应对这一挑战的前沿技术和国内外研究热点。首先论述了深度学习的起源、发展历程及理论体系;然后分别围绕图像物体分类和检测,总结了近年来深度学习在视觉领域的发展;最后对深度学习及其在视觉领域目前存在的诸多问题以及后续的研究方向进行了分类探讨。     

跨模态检索技术研究综述

跨模态检索可以通过一种模态检索出其他模态的信息,已经成为大数据时代的研究热点。研究者基于实值表示和二进制表示两种方法来减小不同模态信息的语义差距并进行有效的相似度对比,但仍会有检索效率低或信息丢失的问题。目前,如何进一步提高检索效率和信息利用率是跨模态检索研究面临的关键挑战。介绍了跨模态检索研究中基于实值表示和二进制表示两种方法的发展现状;分析对比了包含两种表示技术下以建模技术和相似性对比为主线的五种跨模态检索方法：子空间学习、主题统计模型学习、深度学习、传统哈希和深度哈希;对最新的多模态数据集进行总结,为相关的研究和工程人员提供有价值的参考资料;分析了跨模态检索面临的挑战并指出了该领域未来研究方向。     

有遮挡环境下的人脸识别方法综述

随着人脸识别应用领域的逐渐扩大,有遮挡环境下的人脸识别面临着一定的技术挑战。深度学习方法由于其具有强大的学习能力,成为解决有遮挡环境下的人脸识别问题的一种较好的解决方案,但仍面临诸多待解决的问题。减少遮挡对人脸识别算法带来的性能影响是该领域的重点和难点问题之一。从模型、算法和数据集的角度分析了近年来相关研究进展;对比了不同算法的性能结构、优缺点以及存在的问题;探讨了未来可能的研究方向。     

机器学习算法在中医诊疗中的研究综述

机器学习算法包括传统机器学习算法和深度学习算法。传统机器学习算法在中医诊疗领域中的应用研究较多,为探究中医辩证规律提供了参考,也为中医诊疗过程的客观化提供了依据。与此同时,随着其在多个领域不断取得成功,深度学习算法在中医诊疗中的价值越来越多地得到业界的重视。通过对中医诊疗领域中使用到的传统机器学习算法与深度学习算法进行述评,总结了两类算法在中医领域中的研究与应用现状,分析了两类算法的特点以及对中医的应用价值,以期为机器学习算法在中医诊疗领域的进一步研究提供参考。     

深度多模态表示学习的研究综述

尽管深度学习因为强大的非线性表示能力已广泛应用于许多领域,多源异构模态数据间结构和语义上的鸿沟严重阻碍了后续深度学习模型的应用。虽然已经有许多学者提出了大量的表示学习方法以探索不同模态间的相关性和互补性,并提高深度学习预测和泛化性能。然而,多模态表示学习研究还处于初级阶段,依然存在许多科学问题尚需解决。迄今为止,多模态表示学习仍缺乏统一的认知,多模态表示学习研究的体系结构和评价指标尚不完全明确。根据不同模态的特征结构、语义信息和表示能力,从表示融合和表示对齐两个角度研究和分析了深度多模态表示学习的进展,并对现有研究工作进行了系统的总结和科学的分类。同时,解析了代表性框架和模型的基本结构、应用场景和关键问题,分析了深度多模态表示学习的理论基础和最新发展,并且指出了多模态表示学习研究当前面临的挑战和今后的发展趋势,以进一步推动深度多模态表示学习的发展和应用。     

Application of deep learning algorithms in geotechnical engineering: a short critical review

Artificial Intelligence Review - With the advent of big data era, deep learning (DL) has become an essential research subject in the field of artificial intelligence (AI). DL algorithms are...     

深度学习认知计算综述

随着大数据和智能时代的到来,机器学习的研究重心已开始从感知领域转移到认知计算（Cognitive computing,CC）领域,如何提升对大规模数据的认知能力已成为智能科学与技术的一大研究热点,最近的深度学习有望开启大数据认知计算领域的研究新热潮.本文总结了近年来大数据环境下基于深度学习的认知计算研究进展,分别从深度学习数据表示、认知模型、深度学习并行计算及其应用等方面进行了前沿概况、比较和分析,对面向大数据的深度学习认知计算的挑战和发展趋势进行了总结、思考与展望.