深度学习的昨天、今天和明天

机器学习是人工智能领域的一个重要学科.自从20世纪80年代以来,机器学习在算法、理论和应用等方面都获得巨大成功.2006年以来,机器学习领域中一个叫“深度学习”的课题开始受到学术界广泛关注,到今天已经成为互联网大数据和人工智能的一个热潮.深度学习通过建立类似于人脑的分层模型结构,对输入数据逐级提取从底层到高层的特征,从而能很好地建立从底层信号到高层语义的映射关系.近年来,谷歌、微软、IBM、百度等拥有大数据的高科技公司相继投入大量资源进行深度学习技术研发,在语音、图像、自然语言、在线广告等领域取得显著进展.从对实际应用的贡献来说,深度学习可能是机器学习领域最近这十年来最成功的研究方向.将对深度学习发展的过去和现在做一个全景式的介绍,并讨论深度学习所面临的挑战,以及将来的可能方向.     

信息动态

深度学习是机器学习研究中的一个新的领域,其核心思想在于模拟人脑的层级抽象结构,通过无监督的方式分析大规模数据,发掘大数据中蕴藏的有价值信息.深度学习应大数据而生,给大数据提供了一个深度思考的大脑. 尽管YahnLecun在1993年提出的卷积神经网络是第一个真正成功训练多层网络结构的学习算法,但应用效果一直欠佳.直到2006年,Geoffrey Hinton and RuslanSalakhutdinov基于深度置信网,提出非监督贪心逐层训练算法,应用效果才取得突破性进展.从2009下半年开始,美国微软研究院邀请Hinton到雷德蒙与他的研究员合作,将深度学习巧妙地应用在大规模语音识别,迅速获得巨大成功,由此掀起了深度学习的浪潮[1-3].2014年3月,Facebook报道他的DeepFace项目使得人脸识别技术的识别率已经达到了97.25％,只比人类识别97.5％的正确率略低一点,准确率几乎可媳美人类.该项目利用了9层的神经网络来获得脸部表征,神经网络处理的参数高达1.2亿.     

基于半监督深度学习法的网络大数据集成挖掘

传统的数据集成挖掘方法在集成与挖掘两个步骤之间存在较大误差,导致大数据出现乱码问题,数据显示不全.为解决上述问题,提出基于半监督深度学习法的大数据集成挖掘方法.利用有监督与无监督深度学习间的机器学习,组成半监督深度学习.利用支持向量数据组建立超球体.依据超球体结合标记样本,组建半监督深度学习数据检测模型,筛选样本特征词,利用半监督深度学习方法训练单分类SVDD模型,实现网络大数据集成挖掘.仿真结果证明,所提方法能够高精度、高效的对大数据完成集成挖掘,具有理想的应用性能.     

深度学习认知计算综述

随着大数据和智能时代的到来,机器学习的研究重心已开始从感知领域转移到认知计算（Cognitive computing,CC）领域,如何提升对大规模数据的认知能力已成为智能科学与技术的一大研究热点,最近的深度学习有望开启大数据认知计算领域的研究新热潮.本文总结了近年来大数据环境下基于深度学习的认知计算研究进展,分别从深度学习数据表示、认知模型、深度学习并行计算及其应用等方面进行了前沿概况、比较和分析,对面向大数据的深度学习认知计算的挑战和发展趋势进行了总结、思考与展望.     

人工智能的新浪潮——深度学习

深度学习（Deep Learing）作为一种基于人工神经网络的无监督学习方法,是近年来兴起的一种新的混合机器学习模型,现成为人工智能领域中炙手可热的研究技术。深度学习带来了机器学习的一个新浪潮,受到学术界和工业界的广泛重视,并带来大数据的深度学习时代。本文结合大数据时代的具体需求,详细阐述了深度学习的发展和应用,突出了其在人工智能领域的重要地位。     

大数据分析的无限深度神经网络方法

深度神经网络(deep neural networks, DNNs)及其学习算法,作为成功的大数据分析方法,已为学术界和工业界所熟知.与传统方法相比,深度学习方法以数据驱动、能自动地从数据中提取特征(知识),对于分析非结构化、模式不明多变、跨领域的大数据具有显著优势.目前,在大数据分析中使用的深度神经网络主要是前馈神经网络(feedforward neural networks, FNNs),这种网络擅长提取静态数据的相关关系,适用于基于分类的数据应用场景.但是受到自身结构本质的限制,它提取数据时序特征的能力有限.无限深度神经网络(infinite deep neural networks)是一种具有反馈连接的回复式神经网络(recurrent neural networks, RNNs),本质上是一个动力学系统,网络状态随时间演化是这种网络的本质属性,它耦合了“时间参数”,更加适用于提取数据的时序特征,从而进行大数据的预测.将这种网络的反馈结构在时间维度展开,随着时间的运行,这种网络可以“无限深”,故称之为无限深度神经网络.重点介绍这种网络的拓扑结构和若干学习算法及其在语音识别和图像理解领域的成功实例.     

机器视觉应用中的图像数据增广综述

深度学习是目前机器视觉的前沿解决方案,而海量高质量的训练数据集是深度学习解决机器视觉问题的基本保障.收集和准确标注图像数据集是一个极其费时且代价昂贵的过程.随着机器视觉的广泛应用,这个问题将会越来越突出.图像增广技术是一种有效解决深度学习在少量或者低质量训练数据中进行训练的一种技术手段,该技术不断地伴随着深度学习与机器...     

基于深度学习的数据融合方法研究综述

数据融合是最大程度发挥大数据价值的关键,深度学习是挖掘数据深层特征信息的技术利器,基于深度学习的数据融合能够充分挖掘大数据潜在价值,从新的深度和广度拓展对世界的探索和认识。综述了近几年基于深度学习的数据融合方法的相关文献,以此了解深度学习在数据融合中应用所具有的优势。分类阐述常见的数据融合方法,同时指出这些方法的优点和不足。从基于深度学习特征提取的数据融合方法、基于深度学习融合的数据融合方法、基于深度学习全过程的数据融合方法三个方面对基于深度学习的数据融合方法进行分析,并做了对比研究与总结。总结全文并讨论了深度学习在数据融合中应用的难点和未来需要进一步研究的问题。     

深度学习研究进展

深度学习(Deep Learning)是一个近几年备受关注的研究领域,在机器学习中起着重要的作用.如果说浅层学习是机器学习的一次浪潮,那么深度学习作为机器学习的一个新领域,将掀起机器学习的又一次浪潮.深度学习通过建立、模拟人脑的分层结构来实现对外部输入的数据进行从低级到高级的特征提取,从而能够解释外部数据.首先介绍了深度学习的由来,分析了浅层学习存在的弊端;其次列举了深度学习的经典方法,主要以监督学习和无监督学习来展开介绍;然后对深度学习的最新研究进展及其应用进行了综述;最后总结了深度学习发展所面临的问题.     

网络安全探讨大数据技术及其在计算机信息系统中的运用

大数据是在物联网及云计算技术以后,又一个热议的新科技信息技术,发展非常迅速.大数据技术引领着信息经济时代,围绕着大数据进行总结、分析其发展的3大形式,分析对系统支撑的大数据技术及应用(分别是知识计算、深度学习、社会计算及可视化等)进行简要的综述,总结不同的技术在大数据的理解分析过程内起到的关键性作用,梳理大数据的处理在计算机信息系统中的运用.     

FPGA加速深度学习综述

近年来,由于互联网的高速发展和大数据时代的来临,人工智能随之大热,而推动人工智能迅猛发展的正是深度学习的崛起.大数据时代需要迫切解决的问题是如何将极为复杂繁多的数据进行有效的分析使用,进而充分挖掘利用数据的价值并造福人类.深度学习作为一种实现机器学习的技术,正是解决这一问题的重要法宝,它在处理数据过程中发挥着重要作用并且改变了传统的机器学习方法,已被广泛应用于语音识别、图像识别和自然语言处理等研究领域.如何有效加速深度学习的计算能力一直是科研研究的重点.FPGA凭借其强大的并行计算能力和低功耗等优势成为GPU在加速深度学习领域的有力竞争者.从深度学习的几种典型模型出发,在FPGA加速技术现有特点的基础上从针对神经网络模型的加速器、针对具体问题的加速器、针对优化策略的加速器和针对硬件模板的加速器四方面概括总结了FPGA加速深度学习的研究现状,然后对比了不同加速技术和模型的性能,最后对未来可能发展的方向进行了展望.     

深度学习模型鲁棒性研究综述

在大数据时代下,深度学习理论和技术取得的突破性进展,为人工智能提供了数据和算法层面的强有力支撑,同时促进了深度学习的规模化和产业化发展.然而,尽管深度学习模型在现实应用中有着出色的表现,但其本身仍然面临着诸多的安全威胁.为了构建安全可靠的深度学习系统,消除深度学习模型在实际部署应用中的潜在安全风险,深度学习模型鲁棒性分...     

大模型时代正在到来

11月30日,在由深度学习技术及应用国家工程研究中心主办的Wave Summit+2022深度学习开发者峰会上,百度公布了飞桨和文心大模型的最新进展。从这次峰会得到一个前沿信息:大模型时代正在到来。它是大数据时代的2.0版,特点是,数据生产与服务的重心,正从采矿与原料,转向加工与工具制造。     

大数据背景下的深度学习技术应用探究

深度学习技术能深层地挖掘大数据的潜在价值,有广阔的应用前景。如何科学、合理运用深度学习技术为企事业单位服务,是当前研究的重点问题。笔者探究了在大数据背景下的深度学习技术,从技术的起源到具体的应用场景进行深入分析,以期为大数据背景下的深度学习技术的合理应用提供有效参考。     

基于深度学习的三维数据分析理解方法研究综述

基于深度学习的三维数据分析理解是数字几何领域的一个研究热点.不同于基于深度学习的图像分析理解,基于深度学习的三维数据分析理解需要解决的首要问题是数据表达的多样性.相较于规则的二维图像,三维数据有离散表达和连续表达的方法,目前基于深度学习的相关工作多基于三维数据的离散表示,不同的三维数据表达方法与不同的数字几何处理任务对深度学习网络的要求也不同.本文首先汇总了常用的三维数据集与特定任务的评价指标,并分析了三维模型特征描述符.然后从特定任务出发,就不同的三维数据表达方式,对现有的基于深度学习的三维数据分析理解网络进行综述,对各类方法进行对比分析,并从三维数据表达方法的角度进一步汇总现有工作.最后基于国内外研究现状,讨论了亟待解决的挑战性问题,展望了未来发展的趋势.     

基于无监督表征学习的深度聚类研究进展

在大数据时代,数据通常具有规模大、维度高、结构复杂的特点,深度聚类利用深度学习结合表征学习与聚类任务,大幅提高聚类在大规模高维数据中的性能.现有文献少有着重从表征学习的角度归纳和分析目前深度聚类的发展概况,也未通过实验分析传统聚类算法、深度聚类算法及不同深度聚类算法之间的差异.因此,文中首先基于无监督表征学习,简要整理深度聚类中常用的聚类算法,重点将深度聚类算法分成基于生成模型的深度聚类与基于判别模型的深度聚类,分析聚类任务中各深度模型的表征学习过程.然后,通过实验对比分析多类算法,归纳总结优缺点,便于开展针对具体任务中的算法选择.最后,为了深度聚类的进一步发展,描述其应用场景,并讨论未来的发展趋势.     

用于磁共振成像重构的级联UGR-Net模型

近年来,深度学习在图像处理中表现显著,因此研究者开始将深度学习用于磁共振成像的重构.现有的深度学习模型需要依赖大量数据进行训练,而医学图像很难获得大量数据,因此,为有效的提高MR成像重构的质量,本文提出一个在小数据集上表现良好的深度学习MRI重构方法.本文对U-Net模型进行改进,结合GoogleLeNet和ResNe...     

深度学习框架测试研究综述

随着大数据和计算能力的快速发展, 深度学习技术取得巨大突破, 并迅速成为一个具有众多实际应用场景和活跃研究课题的领域. 为了满足日益增长的深度学习任务开发需求, 深度学习框架应运而生. 深度学习框架作为连接应用场景和硬件平台的中间部件, 向上支撑深度学习应用的开发, 帮助用户快速构造不同的深度神经网络模型, 向下深度适配各类计算硬件, 满足不同算力架构和环境下的计算需求. 作为人工智能领域的关键基础软件, 深度学习框架中一旦存在问题, 即使是一个只有几行代码的缺陷都可能导致在其基础上构造的模型发生大规模失效, 严重威胁深度学习系统安全. 作为以深度学习框架测试为主题的研究性综述, 首先对深度学习框架发展历程和基本架构进行介绍; 其次, 通过对55篇与深度学习框架测试研究直接相关的学术论文进行梳理, 对深度学习框架缺陷特性、测试关键技术和基于不同测试输入形式的测试方法这3个方面进行系统分析和总结; 针对不同测试输入形式的特点, 重点探究如何结合测试关键技术来解决研究问题; 最后对深度学习框架测试尚未解决的难点问题进行总结以及对未来值得探索的研究方向进行展望. 可以为深度学习框架测试研究领域的相关人员提供参考和帮助, 推动深度学习框架的不断发展成熟.     

基于深度学习和证据理论的表情识别模型

表情识别是在人脸检测基础之上的更进一步研究,是计算机视觉领域的一个重要研究方向.将研究的目标定位于基于微视频的表情自动识别,研究在大数据环境下,如何使用深度学习技术来辅助和促进表情识别技术的发展.针对表情智能识别过程中存在的一些关键性技术难题,设计了一个全自动表情识别模型.该模型结合深度自编码网络和自注意力机制,构建了...     

基于深度学习的行人重识别研究进展

行人重识别是计算机视觉领域近年来非常热的一个研究课题,可以被视为图像检索的一个子问题,其目标是给定一个监控行人图像检索跨设备下的该行人图像.传统的方法依赖手工特征,不能适应数据量很大的复杂环境.近年来随着深度学习的发展,大量基于深度学习的行人重识别方法被提出.本文先简单介绍了该问题的定义及传统方法的局限,并列举了一些适用于深度学习方法的行人重识别数据集.此外我们详细地总结了一些比较典型的基于深度学习的行人重识别方法,并比较了部分算法在Market1501数据集上的性能表现.最后我们对该问题未来的研究方向做了一个展望.