循环神经网络研究综述

循环神经网络是神经网络序列模型的主要实现形式,近几年得到迅速发展,其是机器翻译、机器问题回答、序列视频分析的标准处理手段,也是对于手写体自动合成、语音处理和图像生成等问题的主流建模手段.鉴于此,循环神经网络的各分支按照网络结构进行详细分类,大致分为3大类:一是衍生循环神经网络,这类网络是基于基本RNNs模型的结构衍生变体,即对RNNs的内部结构进行修改;二是组合循环神经网络,这类网络将其他一些经典的网络模型或结构与第一类衍生循环神经网络进行组合,得到更好的模型效果,是一种非常有效的手段;三是混合循环神经网络,这类网络模型既有不同网络模型的组合,又在RNNs内部结构上进行修改,是同属于前两类网络分类的结构.为了更加深入地理解循环神经网络,进一步介绍与循环神经网络经常混为一谈的递归神经网络结构以及递归神经网络与循环神经网络的区别和联系.在详略描述上述模型的应用背景、网络结构以及模型变种后,对各个模型的特点进行总结和比较,并对循环神经网络模型进行展望和总结.     

深度记忆网络研究进展

近年来,随着深度神经网络的快速发展,它在越来越多的领域中有了广泛的应用.深度神经网络模型在处理有序列依赖关系的预测问题时,需要利用之前学习到的信息进行记忆.在一般的神经网络模型中,数据经过多个神经元节点传输会损失很多关键的信息,因此需要具有记忆能力的神经网络模型,我们把它们统称为记忆网络.本文首先介绍了记忆网络的基础模型,包括循环神经网络(RNN)、长短期记忆神经网络(LSTM)、神经图灵机(NTM)、记忆神经网络(MN)和变送器(Transformer).其中,RNN和LSTM是通过隐单元对前一时刻信息的处理来记忆信息,NTM和NM是通过使用外部存储器来进行记忆,而变送器使用注意力机制来选择性记忆.本文对这些模型进了对比,并分析了各个记忆方法的问题和不足.然后根据基础模型的不同,本文对常见的记忆网络模型进行了系统的阐述、分类和总结,包括其模型结构和算法.接着介绍了记忆网络在不同领域和场景下的应用,最后对记忆网络的未来研究方向进行了展望.     

面向类脑计算的脉冲神经网络研究

随着深度学习在训练成本、泛化能力、可解释性以及可靠性等方面的不足日益突出,类脑计算已成为下一代人工智能的研究热点。脉冲神经网络能更好地模拟生物神经元的信息传递方式,且具有计算能力强、功耗低等特点,在模拟人脑学习、记忆、推理、判断和决策等复杂信息方面具有重要的潜力。本文对脉冲神经网络从以下几个方面进行总结:首先阐述脉冲神经网络的基本结构和工作原理;在结构优化方面,从脉冲神经网络的编码方式、脉冲神经元改进、拓扑结构、训练算法以及结合其他算法这5个方面进行总结;在训练算法方面,从基于反向传播方法、基于脉冲时序依赖可塑性规则方法、人工神经网络转脉冲神经网络和其他学习算法这4个方面进行总结;针对脉冲神经网络的不足与发展,从监督学习和无监督学习两方面剖析;最后,将脉冲神经网络应用到类脑计算和仿生任务中。本文对脉冲神经网络的基本原理、编码方式、网络结构和训练算法进行了系统归纳,对脉冲神经网络的研究发展具有一定的积极意义。     

自联想记忆神经网络研究

自联想记忆神经网络能模拟人脑思维和机器智能,具有信息分布式存储和内容可寻址访问的重要特征,是人工神经网络研究的一个重要分支.介绍了开创自联想记忆神经网络研究先河的Hopfield联想记忆神经网络模型,分析了该模型的优缺点;然后在系统分析现有自联想记忆神经网络相关研究文献的基础上,从学习算法、体系结构和应用领域三个方面对自联想记忆神经网络的研究进展进行了归纳阐述;总结了自联想记忆神经网络目前存在的主要问题,并且预测了其未来的发展趋势.     

深度学习中的无监督学习方法综述

从2006年开始,深度神经网络在图像/语音识别、自动驾驶等大数据处理和人工智能领域中都取得了巨大成功,其中无监督学习方法作为深度神经网络中的预训练方法为深度神经网络的成功起到了非常重要的作用. 为此,对深度学习中的无监督学习方法进行了介绍和分析,主要总结了两类常用的无监督学习方法,即确定型的自编码方法和基于概率型受限玻尔兹曼机的对比散度等学习方法,并介绍了这两类方法在深度学习系统中的应用,最后对无监督学习面临的问题和挑战进行了总结和展望.     

混沌神经网络模型及其应用研究综述

回顾了近年来混沌神经网络模型及其应用的研究进展．首先依据混沌产生的机理，将现有的多种类型混沌神经网络模型归结为4类典型的网络模型，并结合各种网络模型的数学描述来分析各自的机理和特性；然后从复杂问题优化、联想记忆和图像处理、网络与通信、模式识别、电力系统负荷建模和预测5个方面，介绍了混沌神经网络的应用现状；最后评述了混沌神经网络今后的研究方向和研究内容．     

基于卷积长短时记忆神经网络的蛋白质二级结构预测

鉴于不同类型氨基酸的相互作用对蛋白质结构预测的影响不同,文中融合卷积神经网络和长短时记忆神经网络模型,提出卷积长短时记忆神经网络,并应用到蛋白质8类二级结构的预测中.首先基于氨基酸序列的类别信息和氨基酸结构的进化信息表示蛋白质序列,并采用卷积提取氨基酸残基之间的局部相关特征,然后利用双向长短时记忆神经网络提取蛋白质序列内部残基之间的远程相互作用,最后将提取的蛋白质的局部相关特征和远程相互作用用于蛋白质8类二级结构的预测.实验表明,相比基准方法,文中模型提高8类二级结构预测的精度,并具有良好的可扩展性.     

脉冲神经网络:模型、学习算法与应用

脉冲神经网络是目前最具有生物解释性的人工神经网络,是类脑智能领域的核心组成部分.首先介绍各类常用的脉冲神经元模型以及前馈和循环型脉冲神经网络结构;然后介绍脉冲神经网络的时间编码方式,在此基础上,系统地介绍脉冲神经网络的学习算法,包括无监督学习和监督学习算法,其中监督学习算法按照梯度下降算法、结合STDP规则的算法和基于脉冲序列卷积核的算法3大类别分别展开详细介绍和总结;接着列举脉冲神经网络在控制领域、模式识别领域和类脑智能研究领域的应用,并在此基础上介绍各国脑计划中,脉冲神经网络与神经形态处理器相结合的案例;最后分析脉冲神经网络目前所存在的困难和挑战.     

记忆神经网络在机器人导航领域的应用与研究进展

记忆神经网络非常适合解决时间序列决策问题,将其用于机器人导航领域是非常有前景的新兴研究领域。本文主要讨论记忆神经网络在机器人导航领域的研究进展。给出几种基本记忆神经网络结合导航任务的工作机理,总结了不同模型的优缺点;对记忆神经网络在导航领域的研究进展进行简要综述;进一步介绍导航验证环境的发展;最后梳理了记忆神经网络在导航问题所面临的复杂性挑战,并预测了记忆神经网络在导航领域未来的发展方向。     

神经网络——通信及其保密通信领域的新技术

神经网络是近年来发展迅速的一门新型学科。它具有自适应学习、大规模并行分布处理、联想记忆以及强容错性等功能特点,是90年代最具希望和潜力的智能科学,各发达国家均不惜工本致力于该项研究,使神经网络的应用领域得到了长足发展,其中通信及其保密通信即是神经网络的重要应用领域,并已成为神经网络应用研究中的一个热点。本文在概述神经网络基本概念及其模型基础上,综述了神经网络在通信及其保密通信领域中的应用现状,并展望了神经网络在通信及其保密通信中的应用前景。     

深度学习在工业表面缺陷检测领域的应用研究

深度卷积神经网络在处理自然图片时取得了非常好的效果,但鲜有针对工业应用领域的细分研究。本文探讨了深度学习模型在工业产品表面缺陷检测领域的应用。以Cp工业产品缺陷检测为着眼点,在设计检测方案时应用深度学习模型并辅助图像处理等相关技术,通过实验分析得到最佳应用模型。创新点在于提出了数据集信息密度这一概念,通过在多个数据集上...     

基于深度学习的文本分类研究进展

文本分类技术是自然语言处理领域的研究热点,其主要应用于舆情检测、新闻文本分类等领域。近年来,人工神经网络技术在自然语言处理的许多任务中有着很好的表现,将神经网络技术应用于文本分类取得了许多成果。在基于深度学习的文本分类领域,文本分类的数值化表示技术和基于深度学习的文本分类技术是两个重要的研究方向。对目前文本表示的有关词向量的重要技术和应用于文本分类的深度学习方法的实现原理和研究现状进行了系统的分析和总结,并针对当前的技术发展,分析了文本分类方法的不足和发展趋势。     

深度神经网络FPGA设计进展、实现与展望

近年来,随着人工智能与大数据技术的发展,深度神经网络在语音识别、自然语言处理、图像理解、视频分析等应用领域取得了突破性进展.深度神经网络的模型层数多、参数量大且计算复杂,对硬件的计算能力、内存带宽及数据存储等有较高的要求.FPGA作为一种可编程逻辑器件,具有可编程、高性能、低能耗、高稳定、可并行和安全性的特点.FPGA与深度神经网络的结合成为推动人工智能产业应用的研究热点.本文首先简述了人工神经网络坎坷的七十年发展历程与目前主流的深度神经网络模型,并介绍了支持深度神经网络发展与应用的主流硬件;接下来,在介绍FPGA的发展历程、开发方式、开发流程及型号选取的基础上,从六个方向分析了FPGA与深度神经网络结合的产业应用研究热点;然后,基于FPGA的硬件结构与深度神经网络的模型特点,总结了基于FPGA的深度神经网络的设计思路、优化方向和学习策略;接下来,归纳了FPGA型号选择以及相关研究的评价指标与度量分析原则;最后,我们总结了影响FPGA应用于深度神经网络的五个主要因素并进行了概要分析.     

基于深度学习的语言模型研究进展

语言模型旨在对语言的内隐知识进行表示,作为自然语言处理的基本问题,一直广受关注．基于深度学习的语言模型是目前自然语言处理领域的研究热点,通过预训练-微调技术展现了内在强大的表示能力,并能够大幅提升下游任务性能．本文围绕语言模型基本原理和不同应用方向,以神经概率语言模型与预训练语言模型作为深度学习与自然语言处理结合的切入点,从语言模型的基本概念和理论出发,介绍了神经概率与预训练模型的应用情况和当前面临的挑战,对现有神经概率、预训练语言模型及方法进行对比和分析．我们又从新型训练任务和改进网络结构两方面对预训练语言模型训练方法进行详细阐述,并对目前预训练模型在规模压缩、知识融合、多模态和跨语言等研究方向进行概述和评价．最后总结语言模型在当前自然语言处理应用中的瓶颈,对未来可能的研究重点做出展望．     

图神经网络在自然语言处理中的应用

近几年,神经网络因其强大的表征能力逐渐取代传统的机器学习成为自然语言处理任务的基本模型。然而经典的神经网络模型只能处理欧氏空间中的数据,自然语言处理领域中,篇章结构,句法甚至句子本身都以图数据的形式存在。因此,图神经网络引起学界广泛关注,并在自然语言处理的多个领域成功应用。该文对图神经网络在自然语言处理领域中的应用进行了系统性的综述,首先介绍了图神经网络的核心思想并梳理了三种经典方法: 图循环网络,图卷积网络和图注意力网络;然后在具体任务中,详细描述了如何根据任务特性构建合适的图结构以及如何合理运用图结构表示模型。该文认为,相比专注于探索图神经网络的不同结构,探索如何以图的方式建模不同任务中的关键信息,是图神经网络未来工作中更具普遍性和学术价值的一个研究方向。     

单词嵌入表示学习综述

单词嵌入表示学习是自然语言处理(NLP)中最基本但又很重要的研究内容, 是所有后续高级语言处理任务 的基础. 早期的单词独热表示忽略了单词的语义信息, 在应用中常常会遇到数据稀疏的问题, 后来随着神经语言模 型(NLM)的提出, 单词被表示为低维实向量, 有效地解决了数据稀疏的问题. 单词级的嵌入表示是最初的基于神经 网络语言模型的输入表示形式, 后来人们又从不同角度出发, 提出了诸多变种. 本文从模型涉及到的语种数的角度 出发, 将单词嵌入表示模型分为单语言单词嵌入表示模型和跨语言单词嵌入表示模型两大类. 在单语言中, 根据模 型输入的颗粒度又将模型分为字符级、单词级、短语级及以上的单词嵌入表示模型, 不同颗粒度级别的模型的应用 场景不同, 各有千秋. 再将这些模型按照是否考虑上下文信息再次分类, 单词嵌入表示还经常与其它场景的模型结 合, 引入其他模态或关联信息帮助学习单词嵌入表示, 提高模型的表现性能, 故本文也列举了一些单词嵌入表示模 型和其它领域模型的联合应用. 通过对上述模型进行研究, 将每个模型的特点进行总结和比较, 在文章最后给出了 未来单词嵌入表示的研究方向和展望.     

面向图像识别的卷积神经网络鲁棒性研究进展

卷积神经网络是目前人工智能领域在图像识别与处理相关应用中的关键技术之一,广泛的应用使对其鲁棒性研究的重要性不断凸显。以往对于卷积神经网络鲁棒性的研究较为笼统,且多集中在对抗鲁棒性方面。这难以更深入地研究神经网络鲁棒性的发生机制,已经不适应人工智能的发展。引入神经科学的相关研究,提出了视觉鲁棒性的概念,通过研究神经网络模型与人类视觉系统的相似性,揭示了神经网络鲁棒性的内在缺陷。回顾了近年来神经网络鲁棒性的研究现状,并分析了神经网络模型缺乏鲁棒性的原因。神经网络缺乏鲁棒性体现在其对于微小扰动的敏感性,其原因在于神经网络会更倾向于学习人类难以感知的高频信息用于计算和推理。而这部分高频信息很容易被扰动所破坏,最终导致模型出现判断错误。传统鲁棒性的研究大多关注模型的数学性质,无法突破神经网络的天然局限性。视觉鲁棒性在传统鲁棒性的概念上进行拓展。传统鲁棒性概念衡量模型对于失真变形的图像样本的辨识能力,失真样本与原始干净样本在鲁棒模型上都能保持正确的输出。视觉鲁棒性衡量模型与人类判别能力的一致性。这需要将神经科学和心理学的研究方法、成果与人工智能相结合。回顾了神经科学在视觉领域的发展,讨论了认知心理学的研究方法在神经网络鲁棒性研究上的应用。人类视觉系统在学习和抽象能力上具有优势,神经网络模型在计算和记忆速度方面强于人类。人脑的生理结构与神经网络模型的逻辑结构的差异是导致神经网络鲁棒性问题的关键因素。视觉鲁棒性的研究需要对人类的视觉系统有更深刻的理解。揭示人类视觉系统与神经网络模型在认知机制上的差异,并对算法进行有效的改进,这是神经网络鲁棒性乃至人工智能算法的主要发展趋势。     

深度学习在金融领域的应用研究综述

随着人工智能和金融科技的快速发展,机器学习尤其是深度学习在金融领域的应用引起了人们浓厚的研究兴趣。为了探索金融深度学习的应用领域,对近十年金融深度学习的文献进行了总结,并分别从模型介绍和应用领域两个方面进行了归纳。结果发现:金融深度学习常用的模型包括卷积神经网络、循环神经网络和长短期记忆神经网络,并且它们在金融文本分析、金融风险评估和异常检测以及投资组合管理方面均有着广泛的应用。未来可以将新的文本挖掘和自然语言处理技术应用到行为金融学领域进行更深入的研究,同时还可以探索将深度学习应用到加密货币和区块链等新兴金融领域的更多可能性。