深度学习的昨天、今天和明天

机器学习是人工智能领域的一个重要学科.自从20世纪80年代以来,机器学习在算法、理论和应用等方面都获得巨大成功.2006年以来,机器学习领域中一个叫“深度学习”的课题开始受到学术界广泛关注,到今天已经成为互联网大数据和人工智能的一个热潮.深度学习通过建立类似于人脑的分层模型结构,对输入数据逐级提取从底层到高层的特征,从而能很好地建立从底层信号到高层语义的映射关系.近年来,谷歌、微软、IBM、百度等拥有大数据的高科技公司相继投入大量资源进行深度学习技术研发,在语音、图像、自然语言、在线广告等领域取得显著进展.从对实际应用的贡献来说,深度学习可能是机器学习领域最近这十年来最成功的研究方向.将对深度学习发展的过去和现在做一个全景式的介绍,并讨论深度学习所面临的挑战,以及将来的可能方向.     

信息动态

深度学习是机器学习研究中的一个新的领域,其核心思想在于模拟人脑的层级抽象结构,通过无监督的方式分析大规模数据,发掘大数据中蕴藏的有价值信息.深度学习应大数据而生,给大数据提供了一个深度思考的大脑. 尽管YahnLecun在1993年提出的卷积神经网络是第一个真正成功训练多层网络结构的学习算法,但应用效果一直欠佳.直到2006年,Geoffrey Hinton and RuslanSalakhutdinov基于深度置信网,提出非监督贪心逐层训练算法,应用效果才取得突破性进展.从2009下半年开始,美国微软研究院邀请Hinton到雷德蒙与他的研究员合作,将深度学习巧妙地应用在大规模语音识别,迅速获得巨大成功,由此掀起了深度学习的浪潮[1-3].2014年3月,Facebook报道他的DeepFace项目使得人脸识别技术的识别率已经达到了97.25％,只比人类识别97.5％的正确率略低一点,准确率几乎可媳美人类.该项目利用了9层的神经网络来获得脸部表征,神经网络处理的参数高达1.2亿.     

基于半监督深度学习法的网络大数据集成挖掘

传统的数据集成挖掘方法在集成与挖掘两个步骤之间存在较大误差,导致大数据出现乱码问题,数据显示不全.为解决上述问题,提出基于半监督深度学习法的大数据集成挖掘方法.利用有监督与无监督深度学习间的机器学习,组成半监督深度学习.利用支持向量数据组建立超球体.依据超球体结合标记样本,组建半监督深度学习数据检测模型,筛选样本特征词,利用半监督深度学习方法训练单分类SVDD模型,实现网络大数据集成挖掘.仿真结果证明,所提方法能够高精度、高效的对大数据完成集成挖掘,具有理想的应用性能.     

深度学习认知计算综述

随着大数据和智能时代的到来,机器学习的研究重心已开始从感知领域转移到认知计算（Cognitive computing,CC）领域,如何提升对大规模数据的认知能力已成为智能科学与技术的一大研究热点,最近的深度学习有望开启大数据认知计算领域的研究新热潮.本文总结了近年来大数据环境下基于深度学习的认知计算研究进展,分别从深度学习数据表示、认知模型、深度学习并行计算及其应用等方面进行了前沿概况、比较和分析,对面向大数据的深度学习认知计算的挑战和发展趋势进行了总结、思考与展望.     

人工智能的新浪潮——深度学习

深度学习（Deep Learing）作为一种基于人工神经网络的无监督学习方法,是近年来兴起的一种新的混合机器学习模型,现成为人工智能领域中炙手可热的研究技术。深度学习带来了机器学习的一个新浪潮,受到学术界和工业界的广泛重视,并带来大数据的深度学习时代。本文结合大数据时代的具体需求,详细阐述了深度学习的发展和应用,突出了其在人工智能领域的重要地位。     

基于深度学习的数据融合方法研究综述

数据融合是最大程度发挥大数据价值的关键,深度学习是挖掘数据深层特征信息的技术利器,基于深度学习的数据融合能够充分挖掘大数据潜在价值,从新的深度和广度拓展对世界的探索和认识。综述了近几年基于深度学习的数据融合方法的相关文献,以此了解深度学习在数据融合中应用所具有的优势。分类阐述常见的数据融合方法,同时指出这些方法的优点和不足。从基于深度学习特征提取的数据融合方法、基于深度学习融合的数据融合方法、基于深度学习全过程的数据融合方法三个方面对基于深度学习的数据融合方法进行分析,并做了对比研究与总结。总结全文并讨论了深度学习在数据融合中应用的难点和未来需要进一步研究的问题。     

深度学习研究进展

深度学习(Deep Learning)是一个近几年备受关注的研究领域,在机器学习中起着重要的作用.如果说浅层学习是机器学习的一次浪潮,那么深度学习作为机器学习的一个新领域,将掀起机器学习的又一次浪潮.深度学习通过建立、模拟人脑的分层结构来实现对外部输入的数据进行从低级到高级的特征提取,从而能够解释外部数据.首先介绍了深度学习的由来,分析了浅层学习存在的弊端;其次列举了深度学习的经典方法,主要以监督学习和无监督学习来展开介绍;然后对深度学习的最新研究进展及其应用进行了综述;最后总结了深度学习发展所面临的问题.     

网络安全探讨大数据技术及其在计算机信息系统中的运用

大数据是在物联网及云计算技术以后,又一个热议的新科技信息技术,发展非常迅速.大数据技术引领着信息经济时代,围绕着大数据进行总结、分析其发展的3大形式,分析对系统支撑的大数据技术及应用(分别是知识计算、深度学习、社会计算及可视化等)进行简要的综述,总结不同的技术在大数据的理解分析过程内起到的关键性作用,梳理大数据的处理在计算机信息系统中的运用.     

FPGA加速深度学习综述

近年来,由于互联网的高速发展和大数据时代的来临,人工智能随之大热,而推动人工智能迅猛发展的正是深度学习的崛起.大数据时代需要迫切解决的问题是如何将极为复杂繁多的数据进行有效的分析使用,进而充分挖掘利用数据的价值并造福人类.深度学习作为一种实现机器学习的技术,正是解决这一问题的重要法宝,它在处理数据过程中发挥着重要作用并且改变了传统的机器学习方法,已被广泛应用于语音识别、图像识别和自然语言处理等研究领域.如何有效加速深度学习的计算能力一直是科研研究的重点.FPGA凭借其强大的并行计算能力和低功耗等优势成为GPU在加速深度学习领域的有力竞争者.从深度学习的几种典型模型出发,在FPGA加速技术现有特点的基础上从针对神经网络模型的加速器、针对具体问题的加速器、针对优化策略的加速器和针对硬件模板的加速器四方面概括总结了FPGA加速深度学习的研究现状,然后对比了不同加速技术和模型的性能,最后对未来可能发展的方向进行了展望.     

深度学习模型鲁棒性研究综述

在大数据时代下,深度学习理论和技术取得的突破性进展,为人工智能提供了数据和算法层面的强有力支撑,同时促进了深度学习的规模化和产业化发展.然而,尽管深度学习模型在现实应用中有着出色的表现,但其本身仍然面临着诸多的安全威胁.为了构建安全可靠的深度学习系统,消除深度学习模型在实际部署应用中的潜在安全风险,深度学习模型鲁棒性分...     

大数据背景下的深度学习技术应用探究

深度学习技术能深层地挖掘大数据的潜在价值,有广阔的应用前景。如何科学、合理运用深度学习技术为企事业单位服务,是当前研究的重点问题。笔者探究了在大数据背景下的深度学习技术,从技术的起源到具体的应用场景进行深入分析,以期为大数据背景下的深度学习技术的合理应用提供有效参考。     

大模型时代正在到来

11月30日,在由深度学习技术及应用国家工程研究中心主办的Wave Summit+2022深度学习开发者峰会上,百度公布了飞桨和文心大模型的最新进展。从这次峰会得到一个前沿信息:大模型时代正在到来。它是大数据时代的2.0版,特点是,数据生产与服务的重心,正从采矿与原料,转向加工与工具制造。     

基于深度学习的三维数据分析理解方法研究综述

基于深度学习的三维数据分析理解是数字几何领域的一个研究热点.不同于基于深度学习的图像分析理解,基于深度学习的三维数据分析理解需要解决的首要问题是数据表达的多样性.相较于规则的二维图像,三维数据有离散表达和连续表达的方法,目前基于深度学习的相关工作多基于三维数据的离散表示,不同的三维数据表达方法与不同的数字几何处理任务对深度学习网络的要求也不同.本文首先汇总了常用的三维数据集与特定任务的评价指标,并分析了三维模型特征描述符.然后从特定任务出发,就不同的三维数据表达方式,对现有的基于深度学习的三维数据分析理解网络进行综述,对各类方法进行对比分析,并从三维数据表达方法的角度进一步汇总现有工作.最后基于国内外研究现状,讨论了亟待解决的挑战性问题,展望了未来发展的趋势.     

基于深度学习的行人重识别研究进展

行人重识别是计算机视觉领域近年来非常热的一个研究课题,可以被视为图像检索的一个子问题,其目标是给定一个监控行人图像检索跨设备下的该行人图像.传统的方法依赖手工特征,不能适应数据量很大的复杂环境.近年来随着深度学习的发展,大量基于深度学习的行人重识别方法被提出.本文先简单介绍了该问题的定义及传统方法的局限,并列举了一些适用于深度学习方法的行人重识别数据集.此外我们详细地总结了一些比较典型的基于深度学习的行人重识别方法,并比较了部分算法在Market1501数据集上的性能表现.最后我们对该问题未来的研究方向做了一个展望.     

深度学习与生物医学图像分析2020年综述

医学大数据主要包括电子健康档案数据（electronic health record,EHR）、医学影像数据和基因信息数据等,其中医学影像数据占现阶段医学数据的绝大部分。如何将医学大数据应用于临床实践?这是计算机科学研究人员非常关注的问题,医学人工智能提供了一个很好的答案。通过结合医学图像大数据分析方向截至2020年的最新研究进展,以及医学图像大数据分析领域最近的工作,梳理了当前在医学图像领域以核磁共振影像、超声影像、病理和电信号为代表的4个子领域以及部分其他方向使用深度学习进行图像分析的方法理论和主要流程,对不同算法进行结果评价。本文分析了现有算法的优缺点以及医学影像领域的重难点,介绍了智能成像和深度学习在大数据分析以及疾病早期诊断领域的应用,同时展望了本领域未来的发展热点。深度学习在医学影像领域发展迅速,发展前景广阔,对疾病的早期诊断有重要作用,能有效提高医生工作效率并减轻负担,具有重要的理论研究和实际应用价值。     

用于金融文本挖掘的多任务学习预训练金融语言模型

近年来,机器学习,尤其是深度神经网络方法促进了金融文本挖掘研究的发展,在金融科技(Fintech)领域起着越来越重要的作用.如何从金融大数据中提取有价值的信息已经成为学术界和工业界一个非常有挑战的研究.由于深度神经网络需要大量标注数据,但是金融领域缺乏训练数据,因此,将深度学习应用于金融大数据挖掘并没有取得很好效果.为了更好地解决该问题,利用自监督学习和多任务学习等深度学习领域最新的思想和技术,提出了基于BERT模型架构的开源金融预训练语言模型F-BERT.F-BERT是一种针对特定领域(金融文本数据)的预训练语言模型,它通过在大型金融语料库上进行无监督训练得到.基于BERT架构,F-BERT可以有效地自动将知识从金融大数据中提取出并记忆在模型中,而无需进行特定于金融任务的模型结构修改,从而可以直接将其应用于下游各种金融领域任务,包括股票涨跌预测、金融情绪分类、金融智能客服等.在金融关系提取、金融情绪分类、金融智能问答任务上的大量实验表明了F-BERT模型的有效性和鲁棒性.同时,F-BERT在这3个有代表性的金融文本挖掘任务上均取得了很高的模型准确率,进一步验证了模型的性能.     

基于深度学习的计算机辅助肺癌诊断方法

癌症,是21世纪死亡率较高的疾病之一,而肺癌在所有癌症发病率及死亡率中均占首位.近年来,随着大数据与人工智能的兴起,基于深度学习的肺癌辅助诊断逐渐成为热门的研究课题.计算机辅助肺癌诊断技术主要是对医学仪器成像得到的肺部影像数据进行处理分析的过程,文中将这类过程总结为4个步骤:医学影像数据预处理、肺实质分割、肺结节检测与分割,以及病变诊断.由于深度学习技术对于训练数据的数量需求较高,而目前领域内公开较多的数据主要是肺部CT图像的结节数据,因此深度学习上对于肺癌辅助诊断的工作主要是肺内实质部分分割、肺结节检测分割以及病变分析的工作.文中对于面向肺癌辅助诊断的传统医学影像处理方法进行了简单介绍,并对前沿的深度学习医学影像处理方法进行了综述.     

基于建模的深度学习

深度学习是通过对人脑神经系统结构及功能的模拟.本文结合建模的思想,首先对深度学习进行了概述,并且研究了深度置信网络DBN模型.以及探讨了深度学习的应用及在建模方面的前景和挑战.深度学习可以对数据间潜在的特征因素进行提取分析.算法的不断更迭和完善,使深度学习对数据的处理更加快速准确,适应多项领域.     

医学图像分析深度学习方法研究与挑战

深度学习（Deep learning,DL）,特别是深度卷积神经网络（Convolutional neural networks,CNNs）,能够从医学图像大数据中自动学习提取隐含的疾病诊断特征,近几年已迅速成为医学图像分析研究热点.本文首先简述医学图像分析特点;其次,论述深度学习基本原理,总结深度CNNs在医学图像分析中的分类、分割框架;然后,分别论述深度学习在医学图像分类、检测、分割等各应用领域的国内外研究现状;最后,探讨归纳医学图像分析深度学习方法挑战及其主要应对策略和开放的研究方向.     

基于示功图大数据的立式抽油机故障分析

有杆抽油系统是目前原油开采的主要方式.抽油机的数字化控制、自动化管理、智能化运行是智能油田的主要目标之一.物联网及深度学习技术的发展为实现抽油机的智能化提供了技术支撑.软件子系统已经成为新一代智能立式抽油机系统的重要组成部分,目的是利用采集的大数据进行智能监控和生产分析决策.基于获得的示功图工况大数据,利用深度学习技术,建立新一代立式智能抽油机的故障分析模型,在保证识别准确率高的同时有效降低训练时间,很好地达到实际应用要求.