蒙德里安深度森林

大多数有关深度学习的研究都基于神经网络,即可通过反向传播训练的多层参数化非线性可微模块.近年来,深度森林作为一种非神经网络深度模型被提出,该模型具有远少于深度神经网络的超参数.在不同的超参数设置下以及在不同的任务下,它都表现出非常鲁棒的性能,并且能够基于数据确定模型的复杂度.以gcForest为代表的深度森林的研究为探索基于不可微模块的深度模型提供了一种可行的方式.然而,深度森林目前是一种批量学习方法,这限制了它在许多实际任务中的应用,如数据流的应用场景.因此探索了在增量场景下搭建深度森林的可能性,并提出了蒙德里安深度森林.它具有级联森林结构,可以进行逐层处理.设计了一种自适应机制,通过调整原始特征和经过前一层变换后的特征的权重,以进一步增强逐层处理能力,更好地克服了蒙德里安森林在处理无关特征方面的不足.实验结果表明：蒙德里安深度森林在继承蒙德里安森林的增量训练能力的同时,显著提升了预测性能,并能够使用相同的超参数设置在多个数据集上取得很好的性能.在增量训练场景下,蒙德里安深度森林取得了与定期重新训练的gcForest接近的预测准确率,且将训练速度提升一个数量级.     

一种加权的深度森林算法

深度森林DF(Deep Forest)由多粒度扫描和级联森林两个部分组成。其中:多粒度扫描通过滑动窗口技术获取多个特征子集,以增强级联森林的差异性;级联森林则是将决策树组成的森林通过级联方式实现表征学习。因此,深度森林克服深度学习参数依赖性强、训练开销大以及仅适用于大数据集等不足之处。然而,深度森林中各个子树的预测精度是各不相同的,简单算术平均会导致子树的错误预测对整个森林的预测产生影响,进而随着级数增加,有可能使错误被进一步放大。为此,提出一种根据森林中每棵子树的预测精度进行加权的深度森林。在高维和低维数据集上进行实验,结果表明:加权的深度森林在高维和低维数据集上性能都获得一定提升,特别在高维数据集上优势较为明显。     

基于集成深度森林的入侵检测方法

基于卷积神经网络(CNN)的入侵检测方法在实际应用中模型训练时间过长、超参数较多、数据需求量大。为降低计算复杂度,提高入侵检测效率,提出一种基于集成深度森林(EDF)的检测方法。在分析CNN的隐藏层结构和集成学习的Bagging集成策略的基础上构造随机森林(RF)层,对每层中RF输入随机选择的特征进行训练,拼接输出的类向量和特征向量并向下层传递迭代,持续训练直至模型收敛。在NSL-KDD数据集上的实验结果表明,与CNN算法相比,EDF算法在保证分类准确率的同时,其收敛速度可提升50%以上,证明了EDF算法的高效性和可行性。     

基于深度森林与异质集成的标记分布学习方法

作为一种解决标签模糊性问题的新学习范式, 标记分布学习(LDL)近年来受到了广泛的关注. 为了进一步提升标记分布学习的预测性能, 提出一种联合深度森林与异质集成的标记分布学习方法(LDLDF). 所提方法采用深度森林的级联结构模拟具有多层处理结构的深度学习模型, 在级联层中组合多个异质分类器增加集成的多样性. 相较于其他现有LDL方法, LDLDF能够逐层处理信息, 学习更好的特征表示, 挖掘数据中丰富的语义信息, 具有强大的表示学习能力和泛化能力. 此外, 考虑到深层模型可能出现的模型退化问题, LDLDF采用一种层特征重用机制(layer feature reuse)降低模型的训练误差, 有效利用深层模型每一层的预测能力. 大量的实验结果表明, 所提方法优于近期的同类方法.     

DeepRanger:覆盖制导的深度森林测试方法

深度学习软件的结构特征与传统软件存在明显差异,因此即使展开了大量测试,依然无法有效衡量测试数据对深度学习软件的覆盖情况和测试充分性,并造成后续使用过程中依然可能存在大量未知错误.深度森林是一种新型深度学习模型,其克服了深度神经网络存在的一些缺点,例如:需要大量训练数据、需要高算力平台、需要大量超参数.但目前还没有相关工作对深度森林的测试方法进行研究.针对深度森林的结构特点,制定了一组由随机森林结点覆盖率RFNC、随机森林叶子覆盖率RFLC、级联森林类型覆盖率CFCC和级联森林输出覆盖率CFOC组成的测试覆盖率评价指标.在此基础上,基于遗传算法设计了覆盖制导的测试数据自动生成方法DeepRanger,可自动生成能有效提高模型覆盖率的测试数据集.为对所提出覆盖指标的有效性进行验证,在深度森林开源项目gcForest和MNIST数据集上设计并进行了一组实验.实验结果表明,所提出的4种覆盖指标均能有效评价测试数据集对深度森林模型的测试充分性.此外,与基于随机选择的遗传算法相比,使用覆盖信息制导的测试数据生成方法 DeepRanger能达到更高的模型覆盖率.     

基于扫描森林的BIST策略

在本文中,我们提出了一种改进的扫描森林结构并将其运用到基于扫描的自测试中,目的是在保证故障覆盖率的同时,将电路的扫描测试代价降低到非扫描可测试性设计的水平。为了构造这种适合于自测试(以下简称BIST)的改进的扫描森林结构,我们使用了三项技术：一种扫描触发器平衡分组策略、一种新的扫描树结构和一种新的扫描输入信号号处理办法。大量的实验结果表明,该方法与传统的基于扫描自测试方法相比,能获得更高的故障覆盖率。同时,改进的扫描森林结构相比于原始的扫描森林结构,能大幅度 减少集成电路芯片的面积开销。     

多标记学习中基于交互表示的深度森林方法

在多标记学习中,每个样本都与多个标记关联,关键任务是如何在构建模型时利用标记之间的相关性.多标记深度森林算法尝试在深度集成学习的框架下使用逐层的表示学习来挖掘标记之间的相关性,并利用得到的标记概率表示提升预测精度.然而,一方面标记概率表示与标记信息高度相关,这会导致其多样性较低.随着深度森林的深度增加,性能会下降.另一方面,标记概率的计算需要我们存储所有层数的森林结构并在测试阶段逐一使用,这会造成难以承受的计算和存储开销.针对这些问题,提出基于交互表示的多标记深度森林算法(interactionrepresentation-based multi-label deep forest, iMLDF). iMLDF从森林模型的决策路径中挖掘特征空间中的结构信息,利用随机交互树抽取决策树路径中的特征交互,分别得到特征置信度得分和标记概率分布两种交互表示. iMLDF一方面充分利用模型中的特征结构信息来丰富标记间的相关信息,另一方面通过交互表达式计算所有的表示,从而使得算法无需存储森林结构,大大地提升了计算效率.实验结果表明:在交互表示基础上进行表示学习的i MLDF算法取得了更好的预测性能,...     

改进的多标签深度森林算法研究

多标签深度森林（Multi-Label Deep Forest,MLDF）是一种基于深度森林的深度集成学习模型。为了限制模型的复杂度以及用户可以根据需求优化评价指标,多标签深度森林使用了两种算法：度量感知特征重用与度量感知层增长。前者重用前一层较好的特征,后者用于限制模型增长,然而度量感知特征重用算法使用当前层的输出取算术平均值来计算置信度,忽略了各个森林的精度差异造成的影响。因此,提出一种改进的度量感知特征重用算法,为每个森林在每个标签上赋予权重来计算置信度。实验结果表明,改进的算法在低维多标签数据集上有一定的提升。     

多示例学习下的深度森林架构

多示例学习已经广泛地应用到各个领域,如图像检索、文本分类、人脸识别等.而近年来深度神经网络也成功地运用到各个任务和问题上,MI-Nets是深度神经网络在多示例学习领域一个成功的应用.虽然MI-Nets很成功,但其主要在图像相关的任务上表现突出,而在非图像任务比如文本分类任务上的性能并不令人满意.而最近2年兴起的深度森林在非图像任务上取得了较好的成绩,并因为其相对于深度神经网络有较少的参数和较稳定的性能而受到青睐.所以用深度森林来提升多示例学习性能具有可行性.但由于深度森林结构的限制,并不能把组成深度森林的每一个森林都直接替换成包级别的森林,需要修改深度森林的结构来达到目的.提出了一种新的深度森林架构MIDF.在该架构下,为了使得中间层的输出分布可以和包中的示例拼接成功,拼接时把包里的每个示例都看作是一个包,从而使得级联结构依然有效.另外,还能自动确认深度森林的层数.实验结果表明：该方法在图像任务上的性能与擅长处理图像任务的MI-Nets相当;而在文本数据上,该方法取得了比MI-Nets和其他基线算法更好的效果.     

基于深度神经网络的字典学习

字典学习通常采用线性函数捕获数据潜在特征, 该方式无法充分提取数据的内在特征结构, 近年来深度学习方法因其强大的特征表示能力而备受关注, 由此本文提出一种结合深度学习与字典学习的非线性特征表示策略, 基于深度神经网络的字典学习(deep neural network-based dictionary learning, DNNDL). DNNDL将字典学习模块融入传统深度学习网络结构中, 在通过自编码器进行映射获取的低维嵌入空间中同时学习数据字典及在其上的稀疏表示系数, 从而实现端到端方式的数据潜在特征提取. DNNDL可为已有数据以及样本外点数据生成紧凑且具判别性的表示. DNNDL不仅是一种新的深度学习网络结构, 并且可将其看作为字典学习和深度学习相结合的统一框架. 通过在4个真实数据集上进行的大量实验, 验证表明所提方法较常用方法具有更好数据表示能力.     

面向自然语言处理的深度学习研究

近年来,深度学习在图像和语音处理领域已经取得显著进展,但是在同属人类认知范畴的自然语言处理任务中,研究还未取得重大突破.本文首先从深度学习的应用动机、首要任务及基本框架等角度介绍了深度学习的基本概念;其次,围绕数据表示和学习模型两方面,重点分析讨论了当前面向自然语言处理的深度学习研究进展及其应用策略;并进一步介绍了已有的深度学习平台和工具;最后,对深度学习在自然语言处理领域的发展趋势和有待深入研究的难点进行了展望.     

深度学习跨模态图文检索研究综述

随着深度神经网络的兴起,多模态学习受到广泛关注.跨模态检索是多模态学习的重要分支,其目的在于挖掘不同模态样本之间的关系,即通过一种模态样本来检索具有近似语义的另一种模态样本.近年来,跨模态检索逐渐成为国内外学术界研究的前沿和热点,是信息检索领域未来发展的重要方向.首先,聚焦于深度学习跨模态图文检索研究的最新进展,对基于...     

基于深度学习的三维模型检索算法综述

近年来,深度学习被广泛应用于各个领域并取得了显著的进展,如何利用深度学习高效管理呈爆炸式增长的三维模型一直是一个研究热点.本文介绍了发展至今主流的基于深度学习的三维模型检索算法,并根据实验得出的算法性能评估分析了其优缺点.根据检索任务的不同,可将主要的三维模型检索算法分为两类:(1)基于模型的三维模型检索方法,即检索对...     

深度学习在代码表征中的应用综述

代码表征是对代码数值化的一种技术,把代码映射为一组连续的实值向量,提取隐藏在代码内部的属性,辅助程序员生成或分析代码,是代码克隆、代码推荐、代码剽窃等软件工程任务的核心技术和研究热点。研究者们对代码表征方面进行了一系列研究,根据源代码抽取信息的方式,分为基于文本的表征、基于语法的表征、基于语义的表征和基于功能的表征;根据表征粒度的大小,分为基于词汇的表征、基于语句的表征、基于函数的表征等不同等级;根据表征方法的不同,分为基于统计的模型、基于自然语言的模型和基于深度学习的模型。对近几年基于深度学习的代码表征研究进展进行了综述,并从表征粒度、表征层次、表征模型、应用场景等方面对现有工作进行了概括、比较和分析。对基于深度学习的代码表征的未来发展趋势进行分析和展望。