一种加权的深度森林算法

深度森林DF(Deep Forest)由多粒度扫描和级联森林两个部分组成。其中:多粒度扫描通过滑动窗口技术获取多个特征子集,以增强级联森林的差异性;级联森林则是将决策树组成的森林通过级联方式实现表征学习。因此,深度森林克服深度学习参数依赖性强、训练开销大以及仅适用于大数据集等不足之处。然而,深度森林中各个子树的预测精度是各不相同的,简单算术平均会导致子树的错误预测对整个森林的预测产生影响,进而随着级数增加,有可能使错误被进一步放大。为此,提出一种根据森林中每棵子树的预测精度进行加权的深度森林。在高维和低维数据集上进行实验,结果表明:加权的深度森林在高维和低维数据集上性能都获得一定提升,特别在高维数据集上优势较为明显。     

面部表情的深度卷积级联森林识别

面部表情识别广泛应用于各种研究领域,针对面部表情识别使用深度神经网络方法结构复杂、可解释性差和传统机器学习方法特征提取缺乏多样性、识别率低的问题.提出了一种新的深度卷积级联森林(Deep Convolution Cascade Forest,DCCF)方法用于人脸面部表情识别,该方法通过卷积神经网络深度学习人脸面部显著特征,并采用基于随机森林的级联结构森林逐层学习识别出不同的面部表情特征,提高了人脸表情的识别准确率.DCCF在JAFFE、CK+和Fer2013 3个公开面部表情数据集进行了实验,并对面部表情提取的5种特征和7种分类方法进行了比较分析,结果显示DCCF在对比的算法中人脸表情识别性能最好,3个数据集的准确率分别达到91.4%,98.7%,71.6%.     

一种基于加权深度森林的离群数据挖掘算法

深度森林是一种有效的机器学习方法,但在级联森林模块中,森林中子树的特征选择随机性较大,使用传统的平均值法可能导致森林的预测概率存在一定误差,从而影响整个算法性能.针对以上问题,提出了一种基于加权深度森林离群数据挖掘算法(Weight Deep Forest, WDF).首先,通过森林的预测概率定义权重因子μ,描述当前层森林准确率大小;其次,在级联森林模块的构建过程中,把权重因子μ作为级联层中每个森林的权重,从而降低森林中根节点特征的随机选择对算法性能的影响;根据数据样本分布的不同,通过计算其类密度重新定义了局部孤立因子α,描述数据离群程度大小;最后利用UCI数据集以及LAMOST光谱数据对算法进行验证,结果表明该算法与同类算法相比在离群点检测方面具有更高的挖掘质量.     

基于Fisher-PCA和深度学习的入侵检测方法研究

为了在攻击形式多样化、入侵数据海量及多维化的环境中快速、准确地识别网络攻击,提出了一种融合Fisher-PCA特征提取与深度学习的入侵检测算法。通过Fisher特征选择算法选出重要的特征组成特征子集,然后基于主成分分析法（Principal Component Analysis,PCA）将特征子集进行降维,提取出了分类能力强的特征集。构建了一种新的DNN（Deep Neural Networks）深度神经网络模型对网络攻击数据和正常数据进行识别与分类。在KDD99数据集上进行试验,结果表明这种入侵检测算法与传统的ANN、SVM算法相比,在准确率上分别提高了12.63%、6.77%,在误报率上由原来的2.31%、1.96%降为0.28%,与DBN4 、PCA-CNN算法相比,在准确率和检测率保持基本相同的同时有着更低的误报率。     

分解机深度网络推荐算法

近些年很多基于深度学习的推荐模型被提出,这些模型通过对特征的处理和改变深度网络结构来解决推荐系统数据稀疏和冷启动的问题.然而现有的方法忽略了特征与特征之间的交互对深度网络的影响,限制了模型的学习能力.为了给用户推荐更感兴趣的项目和信息,本文提出了分解机深度网络(Factorization Machine Deep Network, FMN)模型.该模型将因式分解机和深度神经网络结合,首先利用因式分解机在特征之间进行交互以充分学习交叉项特征,然后利用深度网络学习高阶非线性特征.进而,分解机深度网络将特征的隐藏信息充分发掘出来并拥有高阶的非线性特征学习能力.两个真实数据集的实验表明,本文提出的模型在推荐性能上有着明显的提升.     

结合信息论改进的并行深度森林算法

针对并行深度森林算法在处理大数据问题时存在的冗余与不相关特征过多,多粒度扫描不平衡以及并行化效率低等问题,提出了大数据环境下基于信息论改进的并行深度森林算法——IPDFIT（improved parallel deep forest based on information theory）。该算法基于信息论设计了一种混合降维策略DRIT（dimension reduction based on information theory）,以获得降维后的数据集,有效减少了冗余及不相关特征的数量;提出了一种改进的多粒度扫描策略IMGSS（improved multi-grained scanning strategy）对样本进行扫描,保证每个特征在扫描后,同频率出现在数据子集中,避免了因多粒度扫描不平衡对深度森林模型的影响;结合MapReduce框架,对深度森林每层级联结构中的随机森林模型进行并行化训练,同时提出了一种样本加权策略TSWS（the sample weighting strategy）,根据级联中随机森林模型对样本进行评估,选取评估结果较差的样本进入下一层训练,逐步减少了每层级中训练样本的数量,从而提高了算法的并行效率。实验结果表明,该算法在大数据环境下,尤其是针对特征数较多的数据集有着更好的分类效果。     

基于深度森林的人机协同工业制品表面缺陷识别

针对工业制品缺陷分类存在的样本图像少、分类准确性不足和模型训练耗时长等问题, 提出了一种基于深度森林的人机协同分类模型. 该模型首先通过深度森林对样本图像进行初步识别, 经多粒度扫描模块和级联森林模块提取特征, 得到初始预测结果并分离出识别困难的样本图像; 然后采用人机协同的策略, 采用人工方式随机标注部分识别困难的样本, 再利用K近邻算法对剩余识别困难的样本进行再分类. 通过在公开数据集以及生产线实际采集的真实数据上的实验结果表明, 改进的分类模型在工业制品表面缺陷数据集上的性能优于基线算法.     

基于E2E DeepVAE-LSTM的轴承退化预测应用研究

针对额外提取数据特征的方法需要花费大量时间和人力成本,轴承退化的线性预测精度低等问题,以及时序数据具有时间依赖关系的特点,提出了端到端的结合长短时记忆网络的深度变分自编码器模型（E2E Deep VAE-LSTM）用于轴承退化预测。通过改进VAE的结构,并结合LSTM,该模型可以在含有异常值的数据集上直接进行训练和预测;使用系统重建误差表征轴承退化趋势,实现了轴承退化的非线性预测。在三个真实数据集上的实验结果表明,E2E Deep VAE-LSTM模型可以得到满意的预测结果,预测精度均高于现有的几种AE类模型及其他几种方法,且具有良好的泛化能力和抗过拟合能力。     

逾期风险预测的宽度和深度学习

逾期风险控制是信用贷款服务的关键业务环节,直接影响放贷企业的收益率和坏账率。随着移动互联网的发展,信贷类金融服务已经惠及普罗大众,逾期风控也从以往依赖规则的人工判断,转为利用大量客户数据构建的信贷模型,以预测客户的逾期概率。相关模型包括传统的机器学习模型和深度学习模型,前者可解释性强、预测能力较弱;后者预测能力强、可解释性较差,且容易发生过拟合。因此,如何融合传统机器学习模型和深度学习模型,一直是信贷数据建模的研究热点。受到推荐系统中宽度和深度学习模型的启发,信贷模型首先可以使用传统机器学习来捕捉结构化数据的特征,同时使用深度学习来捕捉非结构化数据的特征,然后合并两部分学习得到的特征,将其经过线性变换后,最后得到预测的客户的逾期概率。所提模型中和了传统机器学习模型和深度学习模型的优点。实验结果表明,其具有更强的预测客户逾期概率的能力。     

基于Spark和NRSCA策略的并行深度森林算法

针对并行深度森林在大数据环境下存在冗余及无关特征过多、两端特征利用率过低、模型收敛速度慢以及级联森林并行效率低等问题,提出了基于Spark和NRSCA策略的并行深度森林算法——PDF-SNRSCA。首先,该算法提出了基于邻域粗糙集和Fisher score的特征选择策略(FS-NRS),通过衡量特征的相关性和冗余度,对特征进行过滤,有效减少了冗余及无关特征的数量;其次,提出了一种随机选择和等距提取的扫描策略(S-RSEE),保证了所有特征能够同概率被利用,解决了多粒度扫描两端特征利用率低的问题;最后,结合Spark框架,实现级联森林并行化训练,提出了基于重要性指数的特征筛选机制(FFM-II),筛选出非关键性特征,平衡增强类向量与原始类向量维度,从而加快模型收敛速度,同时设计了基于SCA的任务调度机制(TSM-SCA),将任务重新分配,保证集群负载均衡,解决了级联森林并行效率低的问题。实验表明,PDF-SNRSCA算法能有效提高深度森林的分类效果,且对深度森林并行化训练的效率也有大幅提升。     

基于表示学习和深度森林的长链非编码RNA编码短肽预测模型

长链非编码RNA（lncRNA）中的小开放阅读框（sORFs）能够编码长度不超过100个氨基酸的短肽。针对短肽预测研究中lncRNA中的sORFs特征不鲜明且高可信度数据尚不充分的问题,提出一种基于表示学习的深度森林（DF）模型。首先,使用常规lncRNA特征提取方法对sORFs进行编码;其次,通过自编码器（AE）进行表示学习来获得输入数据的高效表示;最后,训练DF模型实现对lncRNA编码短肽的预测。实验结果表明,该模型在拟南芥数据集上能够达到92.08%的准确率,高于传统机器学习模型、深度学习模型以及组合模型,且具有较好的稳定性;此外,在大豆与玉米数据集上进行的模型测试中,该模型的准确率分别能达到78.16%和74.92%,验证了所提模型良好的泛化能力。     

基于压缩感知和深度小波网络的列车故障识别

针对列车走行部故障振动数据无监督特征学习的难点，提出了一种基于压缩感知和深度小波神经网络（CS-DWNN）的列车故障识别方法。首先，对采集得到的列车走行部振动信号利用高斯随机矩阵进行压缩采样；其次，构建以改进小波自编码器（WAE）为基础的深层小波网络，将压缩后的信号直接输入网络进行自动逐层特征提取；最后，用DWNN学习到的多层特征分别训练多个深度支持向量机（DSVM）和深度森林（DF）分类器，并将识别结果进行集成。该方法利用深层小波网络从压缩信号中自动挖掘隐藏的故障信息，受先验知识和主观影响较小，并且避免了复杂的人工特征提取过程。实验结果表明，CS-DWNN方法取得了99.16%的平均诊断正确率，能够有效识别列车走行部的3种常见故障，识别能力优于传统的人工神经网络（ANN）、支持向量机（SVM）等方法和深度信念网络（DBN）、堆栈降噪自编码器（SDAE）等深度学习模型。     

基于Spark的并行化协同深度推荐模型

协同深度学习（Collaborative Deep Learning,CDL）利用神经网络极强的特征学习能力和模型拟合鲁棒性,解决了推荐系统在数据稀疏的情况下性能表现急剧下降的问题。但当推荐系统面临大量数据时,导致模型训练变得难以维护,进而出现多种不可预料的问题。为解决上述问题,对协同深度学习及其并行化方法进行了研究,提出了一种针对项目内容学习优化的改进模型协同深度推荐（CDL with item private node,CDL-i）,通过对传统CDL中的自编码网络进行改进,增加私有网络节点,在模型的网络参数共享情况下,为每个项目添加私有偏置项,使网络能够更针对性地学习到项目内容参数,改进了模型在推荐系统中对项目内容的探测性能。同时对算法进行并行化改进,通过对模型进行拆分,提出一种并行训练CDL-i的方法,将其移植到Spark分布式集群上,并行地对模型各部分参数进行训练优化,增强模型所能处理数据的规模和扩展性。通过在多个真实数据集上的实验,验证了提出的并行深度推荐算法的有效性和高效性。     

Incremental deep forest for multi-label data streams learning

Multi-label learning has attracted many attentions. However, the continuous data generated in the fields of sensors, network access, etc., that is data streams, the scenario brings challenges such as real-time, limited memory, once pass. Several learning algorithms have been proposed for offline multi-label classification, but few researches develop it for dynamic multi-label incremental learning models based on cascading schemes. Deep forest can perform representation learning layer by layer, and does not rely on backpropagation, using this cascading scheme, this paper proposes a multi-label data stream deep forest (VDSDF) learning algorithm based on cascaded Very Fast Decision Tree (VFDT) forest, which can receive examples successively, perform incremental learning, and adapt to concept drift. Experimental results show that the proposed VDSDF algorithm, as an incremental classification algorithm, is more competitive than batch classification algorithms on multiple indicators. Moreover, in dynamic flow scenarios, the adaptability of VDSDF to concept drift is better than that of the contrast algorithm.

     

基于卷积与稀疏编码的半监督学习方法

卷积神经网络（CNN）在半监督学习中取得了良好的成绩,其在训练阶段既利用有标记样本,也利用无标记样本帮助规范化学习模型。为进一步加强半监督模型的特征学习能力,提高其在图像分类时的性能表现,本文提出一种联合深度半监督卷积神经网络和字典学习的端到端半监督学习方法,称为Semi-supervised Learning based on Sparse Coding and Convolution（SSSConv）;该算法框架旨在学习到鉴别性更强的图像特征表示。SSSConv首先利用CNN提取特征,并对所提取特征进行正交投影变换,下一步通过学习其稀疏编码的低维嵌入以得到图像的特征表示,最后据此进行分类。整个模型框架可进行端到端的半监督学习训练,CNN提取特征部分和稀疏编码字典学习部分具有统一的损失函数,目标一致。本文利用共轭梯度下降算法、链式法则和反向传播等算法对目标函数的参数进行优化,将稀疏编码的相关参数约束于流形上,CNN参数既可定义在欧氏空间,也可以进一步定义在正交空间中。基于半监督分类任务的实验结果验证了所提出SSSConv框架的有效性,与现有方法相比具有较强的竞争力。     

联合嵌入式多标签分类算法

现有的一些多标签分类算法,因多标签数据含有高维的特征或标签信息而变得不可行.为了解决这一问题,提出基于去噪自编码器和矩阵分解的联合嵌入多标签分类算法Deep AE-MF.该算法包括两部分:特征嵌入部分使用去噪自编码器对特征空间学习得到非线性表示,标签嵌入部分则是利用矩阵分解直接学习到标签空间对应的潜在表示与解码矩阵.Deep AE-MF将特征嵌入和标签嵌入的两个阶段进行联合,共同学习一个潜在空间用于模型预测,进而得到一个有效的多标签分类模型.为了进一步提升模型性能,在Deep AE-MF方法中对标签间的负相关信息加以利用.通过在不同数据集上进行实验证明了提出Deep AE-MF方法的有效性和鲁棒性.     

基于卷积神经网络的发动机气路故障诊断方法

深度学习是一种新的基于特征表示的机器学习方法。深度学习模型包含多个隐藏层,可以通过对输入数据进行自动学习来获取隐藏的功能层中的特征信息。与传统的诊断方法相比,深度学习具备从原始信息中提取更丰富的特征的能力,因此已经成为基于机器学习的故障诊断研究的新方向,为发动机气路等复杂系统故障诊断带来了新思路。结合发动机气路试验数据的特点与深度学习的优势,提出基于卷积神经网络的故障诊断方法,包括预处理、模型训练及优化等过程,并实现了复杂系统故障诊断预测算法平台。经某发动机气路试验仿真数据实例验证,提出的方法具有较好的可行性和效果,能够充分利用深度学习的优点,更准确地识别发动机气路的健康状况。     

基于深度神经网络和门控循环单元的动态图表示学习方法

学习图中节点的潜在向量表示是一项重要且普遍存在的任务,旨在捕捉图中节点的各种属性。大量工作证明静态图表示已经能够学习到节点的部分信息,然而,真实世界的图是随着时间的推移而演变的。为了解决多数动态网络算法不能有效保留节点邻域结构和时态信息的问题,提出了基于深度神经网络（DNN）和门控循环单元（GRU）的动态网络表示学习方法DynAEGRU。该方法以自编码器作为框架,其中的编码器首先用DNN聚集邻域信息以得到低维特征向量,然后使用GRU网络提取节点时态信息,最后用解码器重构邻接矩阵并将其与真实图对比来构建损失。通过与几种静态图和动态图表示学习算法在3个数据集上进行实验分析,结果表明DynAEGRU具有较好的性能增益。     

深度卷积神经网络在目标检测中的研究进展

深度卷积神经网络以多层次的特征学习与丰富的特征表达能力,在目标检测领域取得了突破进展。概括了卷积神经网络在目标检测领域的研究进展,首先回顾传统目标检测的发展及存在的问题,引出卷积神经网络的目标检测基本原理和基本训练方法;然后分析了以R-CNN为代表的基于区域建议的目标检测框架,介绍以YOLO算法为代表的将目标检测归结为回归问题的目标检测框架;最后,对目前目标检测的一些问题进行简要总结,对未来深度卷积神经网络在目标检测的发展进行了展望。     

Frequency separation-based multi-scale cascading residual block network for image super resolution

Deep Convolutional Neural Network (CNN) has recently obtained remarkable achievements in single image super-resolution (SISR). Whereas, these existing methods are usually associated with abundant parameters or computational complexity, which highly limits the real-time application. To solve this problem, we propose a lightweight network named FSCRNet. In general, the proposed network consists of three parts: division schema, feature extraction block, and reconstruction block. Specifically, we decouple the image into two parts: content features and detail features, and then perform different operations separately. Concretely, for detailed features, by combining multi-scale strategy and cascading residual block (MSCRB), the model can explore features and propagate messages efficiently. Also, we introduce channel attention to enhance high-frequency feature representation ability. We use a content feature module (CFM) for content features, consisting of asymmetric convolutions to fetch the tensor elements from the horizontal and vertical directions. We demonstrate that the proposed method with few parameters performs favorably on the benchmarks in quantitative and qualitative results.