深度聚类算法研究综述

聚类分析是挖掘数据内在结构的关键技术,在大数据时代,人们面对的数据通常具有规模大、维度高、结构复杂等特点,直接应用传统聚类算法往往会失效.深度学习凭借层次化非线性映射能力使得大规模深度特征提取成为可能,因此基于深度学习的聚类(深度聚类)算法迅速成为无监督学习领域的研究热点.该文旨在对深度聚类的研究现状进行归纳和总结.首先,从神经网络结构、聚类损失和网络辅助损失3个角度介绍深度聚类的相关概念;然后,根据网络的结构特点对现有的深度聚类算法进行分类,并分别对每类方法的优势和劣势进行分析和阐述;最后,提出好的深度聚类算法应具备的三要素:模型的可扩展性、损失函数的鲁棒性和特征空间的平滑性,并从这3个方面分别阐述未来可能的研究方向.     

基于改进旋转森林算法的窃电检测研究

如何准确检测出用户侧窃电行为是长期存在于各供电公司一个难点,传统的窃电检测方案均存在一定的局限性。针对窃电检测领域正负类样本高度不平衡,且单一分类模型表现不佳的问题,提出一种基于改进旋转森林算法的窃电检测方法。旋转森林算法采用主成分分析（principal component analysis,PCA）进行特征提取,利用原始训练集的所有主成分训练每个基分类器。在经典的旋转森林算法基础上,使用改进合成少数类过采样（synthetic minority oversampling technique,SMOTE）算法平衡样本子集中的正负类样本;使用Bagging算法中的Bootstrap抽样对训练子集进一步抽样;按准确率对基分类器进行选择性集成等3个方面的改进。算例使用华东某地区实际用户数据,结果表明所提窃电检测方法对比单一分类模型和现有集成学习策略,在多项评价指标下均取得更好的效果。     

深度学习研究综述

鉴于深度学习在学术界和工业界的重要性,依据数据流向对目前有代表性的深度学习算法进行归纳和总结,综述了不同类型深度网络的结构及特点.首先介绍了深度学习的概念;然后根据深度学习算法的结构特征,概述了前馈深度网络、反馈深度网络和双向深度网络3类主流深度学习算法的网络结构和训练方法;最后介绍了深度学习算法在不同数据处理中的最新应用现状及其发展趋势.可以看到:深度学习在不同应用领域都取得了明显的优势,但仍存在需要进一步探索的问题,如无标记数据的特征学习、网络模型规模与训练速度精度之间的权衡、与其他方法的融合等.     

深度集成森林回归建模方法及应用

复杂工业过程因涉及多种物理/化学反应,其质量指标或环保指标等难测参数的精确数学模型难以构建.常用的基于神经网络的数据驱动建模方法存在可解释性差、样本需求量大等缺点.针对上述问题,提出了一种非神经网络模式的深度集成森林回归(deep ensemble forest regression, DEFR)建模方法.首先,基于样本空间和特征空间的随机采样策略获得训练子集后构建T个基于决策树(decision trees, DT)的子森林模型,将采用K最近邻(K-nearest neighbor, KNN)准则选取的层回归向量与原始特征组合获得的增强层回归向量作为输入层森林模型的输出;然后,采用相同方式构建包含若干预设层数的中间层森林模型;最后,基于上层增强层回归向量构建输出层的子森林模型,通过对其T个输出值的加权获得DEFR模型的预测值.采用加州大学欧文分校(University of California Irvine, UCI)平台混凝土抗压强度数据和城市固废焚烧过程的二口恶英排放质量浓度数据仿真验证了所提方法的有效性.     

基于改进深度森林的表面肌电手势识别方法

为提高基于表面肌电图（surface Electromyo Graphy, sEMG）手势识别的准确率,提出一种改进深度森林相结合的手部运动识别方法.将极致梯度提升（eXtreme Gradient Boosting,XGBoost）树引入深度森林模型,与随机森林和完全随机森林共同组成深度森林的级联结构.深度森林模型在每个层次上集成3种不同的基于树的分类器,共4个决策森林,包括1个随机森林、1个极端随机森林和2个极致梯度提升树,利用不同学习算法之间的互补性来提高分类性能.为评估该模型性能,采集4名健康受试者的表面肌电信号进行手部动作识别验证试验,并与随机森林、支持向量机、一维卷积神经网络及二维卷积神经网络等算法比较.结果表明,提出方法对16种常用手部动作的平均识别精度为94.14%,对表面肌电信号实现了较高的分类准确率.     

基于迁移学习与深度森林的晶圆图缺陷识别

为了有效识别晶圆图缺陷模式并及时诊断制造过程的故障源,提出基于迁移学习和深度森林集成的DenseNet-GCForest晶圆图缺陷模式识别模型. 为了解决深度学习模型训练困难和晶圆图缺陷类型数目不平衡的问题,利用迁移学习将深度卷积神经网络DenseNet在ImageNet上预训练的网络权重参数迁移至本模型并重新设计分类层,以减少深度网络模型的训练时间并提高模型的特征提取能力;基于DenseNet网络提取的高维抽象晶圆图特征,引入深度森林模型进行晶圆图特征缺陷模式识别. 工业案例的实验验证结果表明,该方法的识别准确率达到了96.8%,并提高了识别效率,其性能优于典型的卷积神经网络以及其他常用识别方法.     

基于深度森林的CT图像结直肠息肉检测研究

为提高在CT图像中结直肠息肉的筛选效率,提出一种基于深度森林的结直肠息肉CT图像检测方法。通过灰度化、归一化、中值滤波、随机旋转的手段对数据集进行预处理,将处理后的数据输入一个调整后的深度森林进行预测分类,得到输出结果。实验结果表明,该模型与其他分类算法采用不同指标对比后,具有较好的分类效果,分类精度达到了99.67%,同时该模型具有较少的超参数,泛化能力强,有助于在医学影像领域辅助医生筛查疾病患者。     

深度学习研究综述

为了提升视条件而定的深度卷积网络（conditional deep learning network,CDLN）的分类准确率,提出一种多分类器联合训练的方法.在训练网络时将多个分类器的输出误差同时进行反向传播,以校正网络权重.以LeNet-5、AlexNet为基础构造神经网络CDLN-L和CDLN-A,以MNIST、CIFAR-100和Pascal Voc数据集为实验样本进行实验,网络的分类准确率均得到提升,最高提升了4.39%.实验表明,提出的联合训练方法能够提升CDLN的分类准确率.

     

基于权重值的竞争深度双Q网络算法

在深度强化学习中,深度Q网络算法存在严重高估动作值问题,使得智能体的表现不尽人意.尽管深度双Q网络和竞争网络结构可以部分缓解高估带来的影响,但引入双Q网络的同时,有时也会低估动作值.本文提出了一种基于权重值的竞争深度双Q网络算法(Weighted Dueling Double Deep Q-Network, WD3QN),把改进的双估计器及竞争网络结构结合至深度Q网络中,将学习到的可能动作值进行加权产生最终动作值,有效减少估计误差.最后,将算法应用于Open AI Gym平台上的CartPole经典控制问题,仿真结果显示:与已有算法对比,本算法有更好的学习效果,收敛性和训练速度均有提升.     

温度对深部岩石力学性质的影响

处于地温环境中的深部岩石,其力学特性与地表岩石有极大差异.温度对岩石力学性质的影响机理包括:矿物颗粒热膨胀;含水性及比例;岩石孔 隙结构;矿物结构及成分.随温度增加,岩石变形特征从脆性向塑性变化,峰值强度降低,弹性模量降低,压密阶段应变变长,线弹性阶段的应变降低,峰后阶段的应变增加,抗压强度降低,弹性模量降低.     

基于深度学习的人体解析研究综述

人体解析的任务是对图片中人物进行像素级识别,将人体各部位和衣物配饰进行归类。该文从基础技术、数据集和评价标准、技术现状3个方面概述了基于深度学习的人体解析技术。首先,介绍了人体解析涉及的基础技术:卷积神经网络、语义分割。其次,从图像数量、类别数目、优缺点等角度,对比了人体解析领域的8种主流数据集;并介绍了4种常用的评价指标。最后,介绍了4种具有代表性的基于深度学习的人体解析方法:基于特征增强、基于人体结构、基于多任务学习、基于生成对抗网络,并归纳了实例人体解析的解决方案,提出了一些尚待发掘的研究思路。     

基于深度神经网络的关系抽取研究综述

关系抽取作为信息抽取领域近年来的研究热点,从宏观上可具体分为基于流水线的关系抽取、联合抽取和远程监督等,其中各个类别的关键性问题并不相通。近年来深度神经网络因其强大的语义表征能力,逐渐取代传统的机器学习成为关系抽取的基本模型,又可根据抽取方法细分为基于特征、卷积神经网络和注意机制模型等的关系抽取任务。随着数据规模的不断增大,自动高效地从文本中抽取结构化信息并构建知识库具有重大意义,关系抽取的研究和发展更具有必要性。文章对深度学习模型在各类关系抽取任务中的应用进行系统性评述,先主要介绍了常用的语料集及其规模、构建方式等;然后介绍深度神经网络在基于流水线的关系抽取和联合抽取任务中的具体应用,并描述两类任务的重难点问题。最后,文章认为迁移学习和小样本学习在基于深度神经网络的关系抽取研究中更具挑战性和普遍性。     

基于受限样本的深度学习综述与思考

深度学习目前依靠大数据和强算力取得了较大进展,但在样本受限情况下的表现差强人意,主要问题在于函数空间(簇)的建构和在数据集受限情况下算法的设计。据此,本文对受限样本下的深度学习进行了分类综述。另外,从目前对大脑的研究来看,人的认知过程在大脑中是分区域的,每个区域担负的功能是不同的,对每个区域功能的学习过程也应该是有差异的。因此,提出了“功能进阶”式的深度学习的设想,试图构建分区分层多种功能模块组成的网络结构,研究“进阶”式的功能模块训练方法,以期探求“仿人学习”的新路径。     

深度迁移学习在高光谱遥感图像分类中的研究现状与展望

高光谱遥感通过利用许多窄电磁波波段获取包含丰富的空间、辐射和光谱信息,在对地观测研究领域扮演着重要角色。随着深度学习的迅速发展,深度神经网络及深度森林等算法在高光谱遥感图像分类任务中得到广泛应用,但同时也产生了一系列困难,如对训练样本数量需求高、模型训练耗时以及分类代价大等问题。将深度学习与迁移学习结合,能够有效解决上述问题,在高光谱遥感图像分类领域得到初步应用。本工作首先介绍高光谱遥感图像分类的相关背景,之后介绍深度学习在高光谱遥感图像分类中的应用,并指出其具有的优势与不足,最后介绍深度迁移学习在高光谱遥感图像分类中的应用,并对当前研究存在的问题进行总结与展望。     

深基坑支护结构土压力计算理论的发展述评

根据基坑支护工程的设计计算理论与工程实践的发展与动态,参阅大量相关资料,结合近年的研究成果,对支护结构土压力计算理论的创新与发展进行了分析,并对水土合算、水土分算、考虑施工过程的分步开挖、考虑渗流时的土压力计算方法进行了论述．     

高层建筑深基坑边坡支护结构综述

建筑深基坑边坡支护结构有重力式、悬壁式、桩（墙）拉锚、桩（墙）内支撑、拱形和喷锚等多种形式。悬壁式,桩（墙）锚护支护是最常用的支护结构。挡土桩多为钻孔灌注桩。喷锚支护具有工期短、造价低、适应性强的优点,它不仅适应地下水位低,也适应于地下水补给充分的深基坑支护,是有发展前途的深基坑支护结构。