深度学习研究综述

鉴于深度学习在学术界和工业界的重要性,依据数据流向对目前有代表性的深度学习算法进行归纳和总结,综述了不同类型深度网络的结构及特点.首先介绍了深度学习的概念;然后根据深度学习算法的结构特征,概述了前馈深度网络、反馈深度网络和双向深度网络3类主流深度学习算法的网络结构和训练方法;最后介绍了深度学习算法在不同数据处理中的最新应用现状及其发展趋势.可以看到:深度学习在不同应用领域都取得了明显的优势,但仍存在需要进一步探索的问题,如无标记数据的特征学习、网络模型规模与训练速度精度之间的权衡、与其他方法的融合等.     

基于重要性池化的层级图表示学习方法

为解决传统图神经网络在图分类任务上存在训练过程中噪声信息过多以及不能完整地挖掘图的层次表征信息等问题,提出一种端到端的基于重要性池化的层级图表示学习方法.该方法以层内-层间联合特征提取结构为基础,主要包括层内特征提取模块和层间特征提取模块2个部分.利用池化方法将图粗粒化为高级子图结构,以缩减特征图的尺寸;利用循环单元,...     

基于知识表示学习的知识图谱补全研究综述

知识图谱补全能够将知识图谱补充完整,是知识图谱领域的一个研究热点。基于知识表示学习的知识图谱补全学习知识的向量表示,利用向量的计算挖掘知识图谱中的隐藏关联,具备更高的计算效率和更强的泛化能力,是知识图谱补全最好的方案之一。首先,介绍知识图谱补全和知识表示学习的概念;其次,按照实体和关系是否固定分别介绍静态知识图谱补全和动态知识图谱补全,对两个不同场景下各类算法的思路及改进过程进行详细说明;最后,总结知识图谱补全研究现状并展望未来研究方向。     

基于深度学习特征表示协同过滤算法

在推荐系统中,单一的学习矩阵分解的内积交互或者利用深度神经网络来捕获用户与项目交互,不足以有效地学习用户与项目的潜在特征.针对这一问题,提出一种在显式反馈与隐式反馈基础上,称为基于深度学习特征表示的协同过滤算法(DLFeaCF).该模型首先学习用户与项目的内积与外积交互;然后在内积的基础上,从隐式映射与特征映射两个方面...     

智能神经网络程序设计语言中规则的指称语义

智能神经网络程序设计语言NIPL是应用智能神经网络系统理论、开发智能神经网络应用系统的有力工具。着重讨论了NIPL中有关规则的指称语义,从而建立了NIPL中逻辑规则的数学模型,为使用该语言来方便地建立智能神经网络应用系统奠定了基础。     

预测状态表示综述

预测状态表示(predictive state representations, PSR)是一种新型的动态系统模型,用动作-观察值序列的预测向量来表示系统的状态以及预测未来事件发生的概率。综述了预测状态表示的基本原理,对其建模算法进行比较,并概括其最新的应用拓展,最后指出其发展方向。     

设计模式中知识表示的引入

从人工智能的角度首先提出设计模式实质上是软件工程中知识表示的雏形,并与专家系统的推理骨架进行对比,论证了在设计模式中引入知识表示的必要性,设计模式的语义描述目标主要面向人,还不能很好地面向计算机进而有效集成到ＣＡＳＥ环境,为此,提出了基于ＡＩ知识表示的新方法,给出了基知识建模的设计模式语义联系模型,并讨论了进一步的研究方向。     

基于深度学习的人体解析研究综述

人体解析的任务是对图片中人物进行像素级识别,将人体各部位和衣物配饰进行归类。该文从基础技术、数据集和评价标准、技术现状3个方面概述了基于深度学习的人体解析技术。首先,介绍了人体解析涉及的基础技术:卷积神经网络、语义分割。其次,从图像数量、类别数目、优缺点等角度,对比了人体解析领域的8种主流数据集;并介绍了4种常用的评价指标。最后,介绍了4种具有代表性的基于深度学习的人体解析方法:基于特征增强、基于人体结构、基于多任务学习、基于生成对抗网络,并归纳了实例人体解析的解决方案,提出了一些尚待发掘的研究思路。     

基于深度学习的点云语义分割研究综述

点云作为一种重要的三维数据类型,在自动驾驶、机器人、虚拟及增强现实等人工智能方面应用广泛。点云语义分割是点云处理中的关键任务,旨在将点云中的每个点分配给特定的语义类别。综述了国内外基于深度学习的点云语义分割的研究进展。首先,总结了点云语义分割中常用的开源数据集,并介绍了间接基于点云和直接基于点云的深度学习处理方法及其应用进展。此外,给出了这些方法的实验结果,并对他们进行了简要对比。最后,对当前点云语义分割所存在的问题进行了探讨,并提出了未来的研究发展方向。     

基于受限样本的深度学习综述与思考

深度学习目前依靠大数据和强算力取得了较大进展,但在样本受限情况下的表现差强人意,主要问题在于函数空间(簇)的建构和在数据集受限情况下算法的设计。据此,本文对受限样本下的深度学习进行了分类综述。另外,从目前对大脑的研究来看,人的认知过程在大脑中是分区域的,每个区域担负的功能是不同的,对每个区域功能的学习过程也应该是有差异的。因此,提出了“功能进阶”式的深度学习的设想,试图构建分区分层多种功能模块组成的网络结构,研究“进阶”式的功能模块训练方法,以期探求“仿人学习”的新路径。     

超声图像神经分割方法研究

为了提升超声图像中的神经分割效果,提出了一种新的网络结构残差U型网络.相比于现有的U-net网络,残差U型网络加深了网络结构,提高了网络的表达能力;通过对每层参数进行规范化处理,减少了训练时间,提高了神经分割效果.实验结果表明,残差U型网络在分割效果比U-net网络提升了约13%,比SegNet网络提升了约7%.     

面向Android二进制代码的缺陷预测方法

针对Android软件缺陷预测任务中源代码难以获取的问题,提出一种面向Android二进制可执行文件的缺陷预测模型,同时采用深度神经网络进行缺陷预测.首先,通过一种创新的Android可执行文件缺陷特征提取方法,提取其符号特征和语义特征来构建缺陷特征向量;其次,用缺陷特征向量输入深度神经网络算法来训练和构建缺陷预测模型;最后,将工具原型DefectDroid应用于大规模smali文件缺陷预测任务中,在同项目缺陷预测、跨项目缺陷预测、传统机器学习算法等方面对模型进行性能评估.     

基于图像分析和深度学习的复合绝缘子憎水性分级

为了更加方便快捷地检测大量复合绝缘子憎水性等级,提出一种基于图像分析和深度学习的复合绝缘子憎水性分级方法。首先为提高图像对比度,对复合绝缘子憎水性图像进行灰度化和图像增强处理;其次利用图像分析技术和U-Net网络提取水珠轮廓,得到水珠轮廓图像;接着引入深度卷积神经网络,将这些水珠轮廓图作为神经网络的输入,以相应的憎水性等级作为输出向量,训练网络得到分级模型;最后将分级模型用于憎水性分级,得到分级结果。实验结果表明:该方法的分级结果已达到实际应用要求,水珠轮廓提取的精度达到了92.96%,分级准确率达到了90.2%,预测一幅图像的憎水性等级平均耗时0.1 s。     

基于深度学习的手绘草图识别

现有的手绘草图识别方法严重依赖于费时费力的手工特征提取,而经典的深度学习模型主要是为彩色多纹理自然图像设计,用于识别手绘草图时效果不甚理想。本文提出了一种基于深度学习的手绘草图识别方法(Deep-Sketch) ,该算法根据手绘草图缺失颜色、纹理信息的特点,使用大尺寸的首层卷积核取代自然图像识别中常使用的小尺寸首层卷积核,获得更多的空间结构信息。利用训练浅层模型获得的模型参数来初始化深层模型对应层的模型参数,以加快收敛,减少训练时长。加入不改变特征大小的卷积层来加深网络深度等方法以减小错误率。实验结果表明,本文所提出的方法较之其它几种主流的手绘草图识别方法具有良好的正确率,对250类手绘草图识别正确率达到69.2%。     

TargetedFool:一种实现有目标攻击的算法

随着人工智能技术的发展,深度神经网络广泛应用于人脸识别、语音识别、图片识别以及自动驾驶等领域。由于轻微的扰动就可以使深度神经网络出现错误分类,所以在有限的时间内实现特定的攻击效果是对抗攻击领域研究的重点之一。针对有目标对抗攻击算法中产生扰动时间久和扰动易被人眼观察的问题,基于Deepfool提出了在典型的卷积神经网络上生成有目标的对抗样本的算法,即TargetedFool。大量的实验结果表明,TargetedFool可以对MNIST、CIFAR-10和ImageNet实现有目标的对抗攻击。在ImageNet上,TargetedFool可以在平均2.84 s的时间内达到99.8%的扰动率。此外,分析了基于DeepFool的攻击算法无法产生有目标的通用对抗性扰动的原因。     

基于偏差-方差权衡的多层鲁棒极限学习机模型

极限学习机(ELM)作为一种新型的神经网络模型,具有良好的学习速度和泛化能力.然而,单隐层结构的ELM在面临大规模多特征问题时往往不能取得良好的效果,为了解决这个问题,提出一个新型的多层ELM学习算法框架来提高模型的泛化能力.此外,在实际应用中,经常会因为出现噪声或异常点而导致训练数据被污染,面对被污染的数据,普通的E...     

自适应深度卷积神经网络模型构建方法

针对传统卷积神经网络(CNN)模型构建过度依赖经验知识、参数多、训练难度大等缺点,同时鉴于复杂多类问题的CNN模型构建策略的重要价值,提出一种自适应深度CNN模型构建方法.首先,将初始网络模型的卷积层和池化层设置为仅含一幅特征图;然后,以网络收敛速度为评价指标,对网络进行全局扩展,全局扩展后,根据交叉验证样本识别率控制网络展开局部扩展,直到识别率达到预设期望值后停止局部网络学习;最后,针对新增训练样本,通过拓展新支路实现网络结构的自适应增量学习.通过图像识别实验验证了所提算法在网络训练时间和识别效果上的优越性.     

一种基于DBN的网络入侵检测算法

针对传统BP神经网络在检测速度、精度、复杂度等方面的缺陷,提出了一种基于深度信念网（deepbeliefnets,DBN）的网络入侵检测算法,将数据通过双层RBM结构降维,再用BP神经网络反向微调结构参数,从而简化了数据复杂度,减少了BP神经网络的计算量．通过对KDD99数据集仿真实验表明,该算法对于大数据拟合快,检测精度较高．