分布式机器学习中的通信机制研究综述

与传统的分布式计算不同,分布式机器学习更加关注参数同步和梯度同步,网络通信是最大的瓶颈。许多研究者针对网络问题提出了多种解决方法。首先介绍了机器学习领域内最热门的深度神经网络的发展背景,然后分别对数据并行模型中参数同步步调和参数同步方法进行了详细的概述,最后对分布式机器学习的发展趋势和面临的挑战进行了讨论。     

深度学习研究综述

鉴于深度学习在学术界和工业界的重要性,依据数据流向对目前有代表性的深度学习算法进行归纳和总结,综述了不同类型深度网络的结构及特点.首先介绍了深度学习的概念;然后根据深度学习算法的结构特征,概述了前馈深度网络、反馈深度网络和双向深度网络3类主流深度学习算法的网络结构和训练方法;最后介绍了深度学习算法在不同数据处理中的最新应用现状及其发展趋势.可以看到:深度学习在不同应用领域都取得了明显的优势,但仍存在需要进一步探索的问题,如无标记数据的特征学习、网络模型规模与训练速度精度之间的权衡、与其他方法的融合等.     

基于分布式内存计算的深度学习方法

为了提升深度学习技术并行化学习效率,设计了一种面向计算机集群的分布式内存计算方法。构建分布式内存环境,建立数据分片处理和多任务调度机制,使模型参数和神经元节点的计算和存储并行运行于该环境中,避免了磁盘I/O对训练速率的影响;采用深度信念网络模型,以多个副本异步并行计算的方式进行模型训练,并使用dropout方法防止模型训练过拟合。对CIFAR-10图像数据集进行分类训练,试验结果表明,该方法可以明显提高深度神经网络的训练效率,并具备良好的可扩展性。     

深度学习研究综述

为了提升视条件而定的深度卷积网络（conditional deep learning network,CDLN）的分类准确率,提出一种多分类器联合训练的方法.在训练网络时将多个分类器的输出误差同时进行反向传播,以校正网络权重.以LeNet-5、AlexNet为基础构造神经网络CDLN-L和CDLN-A,以MNIST、CIFAR-100和Pascal Voc数据集为实验样本进行实验,网络的分类准确率均得到提升,最高提升了4.39%.实验表明,提出的联合训练方法能够提升CDLN的分类准确率.

     

基于深度学习的人体解析研究综述

人体解析的任务是对图片中人物进行像素级识别,将人体各部位和衣物配饰进行归类。该文从基础技术、数据集和评价标准、技术现状3个方面概述了基于深度学习的人体解析技术。首先,介绍了人体解析涉及的基础技术:卷积神经网络、语义分割。其次,从图像数量、类别数目、优缺点等角度,对比了人体解析领域的8种主流数据集;并介绍了4种常用的评价指标。最后,介绍了4种具有代表性的基于深度学习的人体解析方法:基于特征增强、基于人体结构、基于多任务学习、基于生成对抗网络,并归纳了实例人体解析的解决方案,提出了一些尚待发掘的研究思路。     

基于最佳联合稀疏表示的分布式压缩感知算法

通过探索无线传感器网络节点感知数据的时空相关性,可以构建适用于不同应用情形的联合稀疏模型。利用联合稀疏模型,提出了一种适用于无线传感器网络的分布式压缩感知算法。该算法采用联合编码联合解码的方式,充分利用了信号内部和信号之间的相关性,从而可以用更少的观测值实现信号群的精确重构。与单独编码单独解码相比,采用联合编码联合解码的方法,在保证信息可靠传输的前提下,减少了整个网络的数据流量,节约了宝贵的能量资源,以能量有效的方式满足了传感器网络的应用。     

深度森林研究综述

深度森林算法首次开启了非神经网络结构的深度学习模式,并因具有非微分形式基学习器和无须大量训练数据的优良特性,已经成为工业界和学术界的重要研究方向,因此,对现有深度森林算法进行归纳和总结,综述了其主要结构及特点.首先,介绍深度森林结构及其性质;接着,将目前深度森林的研究分为引入特征工程、改进表征学习、修改基学习器、修改层级结构和引入权重配置等5个方向进行分析和总结;然后,介绍深度森林算法在不同领域中的最新应用现状,并给出深度森林算法所面临的挑战及未来研究方向;最后,对本文工作进行总结.     

基于深度卷积生成网络的冲击波信号压缩感知方法

因信号的重构效果受到稀疏矩阵选取或设计的影响,传统压缩感知技术在处理冲击波信号时要求信号在某个变换域上满足稀疏先验性.为了避免稀疏矩阵不易选取的问题,提出了一种基于深度卷积生成网络与压缩感知技术相结合的算法.该算法将固定的随机信号作为网络输入值,网络的输出结果为重构信号,利用文中设计的损失函数对网络中的参数进行优化,实现信号端到端的恢复,并通过仿真验证了重构结果误差的减少.在15 psi和5 psi传感器实测冲击波信号的实验结果中表明,本文算法相比于传统压缩感知技术具有更好的重构结果,重构误差在稳定时约为DFT-OMP算法和DCT-OMP算法在M为2400时误差值的0.5倍.     

地基变形及压缩深度计算方法研究

地基变形计算是土力学中尚在进行研究的课题.本文针对苏联建筑法规和我国规范的计算方法中存在的不足进行讨论改进,合理考虑土的压缩特性,提出新的计算方法.     

基于深度学习的不均衡网络数据分类技术研究

在现实网络环境中,数据分布不均衡是普遍现象,也是研究的热点问题.利用传统机器学习算法解决该问题的研究成果较多,综述性研究也较丰富.但当前从深度学习的角度探讨数据不均衡问题已成为新趋势.对此,综述了基于深度学习方法的研究成果.通过对数据不均衡问题进行深入分析,从数据预处理、分类器设计及改进两大方面梳理相关技术路线,包括传...     

基于深度学习的融合多源异构数据的推荐模型

为了充分利用多源异构数据所提供的信息提高推荐准确度,提出一个基于深度学习的混合推荐模型.该模型融合评分、评论和社交网络数据进行推荐,采用深度学习方法对文本和评分进行特征学习,然后使用社交网络对采样进行约束,从而得到更准确的用户和物品的特征表示.实验结果表明,该方法具有较高的准确度.     

基于深度学习的输变电设备状态检测综述

随着深度学习技术的发展,在电厂输变电设备状态检测上也起到了举足轻重的作用。通过对输变电设备状态检测方法应用特点的研究,概述了各个方法的优缺点及其发展趋势,从而得到了各个方法的突出点及其相互之间的联系。     

一种基于深度学习的双JPEG图像压缩检测算法

双JPEG图像压缩检测是图像盲取证中的研究热点之一。针对JPEG图像压缩检测盲取证问题,提出了一种在双JPEG格式下基于卷积神经网络（CNN）的压缩检测算法。将图像数据集中的样本以不同的质量因子进行单JPEG压缩和双JPEG压缩,把检测图像的DCT系数直方图作为CNN网络的输入进行特征提取,输出层是样本类别的概率分类。实验结果表明,样本尺寸越大,篡改后的质量因子越大,分类器检测正确率越高;与现有算法相比,提出的算法检测正确率最高提高了1.3%,证明具有良好的双JPEG图像压缩性能检测能力。     

基于XML Web Services的分布式CAD数据互操作技术

首先分析了分布式CAD产品设计和实现中面临的数据互操作问题，总结了目前存在的分布式计算技术的优缺点，提出了基于XML Web Services的技术解决方法．然后介绍了XML Web Services的概念、基础结构及工作原理．最后给出了一个分布式CAD数据互操作参考模型，并进行了试验验证。     

基于知识蒸馏的目标检测模型增量深度学习方法

随着万物互联时代的到来,具备目标检测能力的物联网设备数量呈爆炸式增长。基于此,网络边缘产生了海量的实时数据,具有低时延、低带宽成本和高安全性特点的边缘计算随之成为一种新兴的计算模式。传统的深度学习方法通常假定在模型训练前所有数据已完全具备,然而实际的边缘计算场景中大量的新数据及类别往往随时间逐渐产生和获得。为了在训练数据成批积累和更新的条件下在资源有限的边缘设备上高效率地完成目标检测任务,本文提出了基于多中间层知识蒸馏的增量学习方法（Incremental Learning method based on knowledge distillation of Multiple Intermediate Layers,ILMIL）。首先为了能够适当地保留原有数据中的知识,提出了包含多个网络中间层知识的蒸馏指标（Multi-layer Feature map、RPN and RCN Knowledge,MFRRK）。ILMIL将教师模型和学生模型的中间层特征的差异加入模型训练,相比于现有的基于知识蒸馏方法的增量学习,采用ILMIL方法训练的学生模型可以从教师模型的中间层学习到更多的旧类信息来缓解遗忘;其次ILMIL利用MFRRK蒸馏知识完成现有模型的增量训练,避免训练使用多个独立模型带来的资源开销;为进一步降低模型复杂度以高效地在边缘设备上部署推理,可在知识蒸馏前进行剪枝操作来压缩现有模型。通过在不同场景和条件下的实验对比,本文方法可在有效降低模型计算和存储开销的前提下,缓解已有知识的灾难性遗忘现象,并维持可接受的推理精度。     

基于深度学习的推荐算法研究综述

深度学习技术是机器学习领域的一个研究热点,已被深入研究并广泛应用于许多领域. 推荐系统是缓解信息过载的重要技术,如何将深度学习融入推荐系统,利用深度学习的优势从各种复杂多维数据中学习用户和物品的内在本质特征,构建更加符合用户兴趣需求的模型,以提高推荐算法的性能和用户满意度,是深度学习应用于推荐系统的主要研究任务. 对基于深度学习的推荐算法研究和应用现状进行了综述,讨论并展望了深度学习应用于推荐系统的研究发展趋势.     

云数据库中等宽直方图的分布式并行构造方法

直方图能够直观的表示数据分布状况,在数据库查询优化中起着重要作用。为了更高效的利用计算集群中计算资源构建直方图,基于关系型云数据库提出一种直方图的分布式并行构造方法。集群中应用请求节点通过对经RPC协议传输的工作节点最值数据比较得到数据库表的全局最大值、最小值,依次将全局最值信息传送至集群中相关工作节点,使各工作节点能够在本地构建范围相同的等宽直方图,最后应用请求节点依据多个工作节点的直方图信息数据进行合并。算法利用分布式并行思想实现了关系型云数据库中直方图的构建,将计算任务划分成多个小任务并行执行,与基于MapReduce架构的直方图构建方法相比,该方法中不需要传输数据库表数据,解决了大数据环境下直方图构建过程中的网络传输量问题。     

一种基于BER模式的蓝牙网数据传输算法

分析了蓝牙网在不同BER模式条件下的数据传输情况,提出了一种基于物理链接层BER模式的蓝牙网络的自适应数传算法。按照蓝牙网数据包的ACL分组,在不同BER模式条件进行了数据传输实验,实验结果分析表明该算法能显著改善蓝牙网数据传输效率。