随机梯度下降算法研究进展

在机器学习领域中, 梯度下降算法是求解最优化问题最重要、最基础的方法. 随着数据规模的不断扩大, 传统的梯度下降算法已不能有效地解决大规模机器学习问题. 随机梯度下降算法在迭代过程中随机选择一个或几个样本的梯度来替代总体梯度, 以达到降低计算复杂度的目的. 近年来, 随机梯度下降算法已成为机器学习特别是深度学习研究的焦点. 随着对搜索方向和步长的不断探索, 涌现出随机梯度下降算法的众多改进版本, 本文对这些算法的主要研究进展进行了综述. 将随机梯度下降算法的改进策略大致分为动量、方差缩减、增量梯度和自适应学习率等四种. 其中, 前三种主要是校正梯度或搜索方向, 第四种对参数变量的不同分量自适应地设计步长. 着重介绍了各种策略下随机梯度下降算法的核心思想、原理, 探讨了不同算法之间的区别与联系. 将主要的随机梯度下降算法应用到逻辑回归和深度卷积神经网络等机器学习任务中, 并定量地比较了这些算法的实际性能. 文末总结了本文的主要研究工作, 并展望了随机梯度下降算法的未来发展方向.     

一种基于4Bit编码的深度学习梯度压缩算法

对梯度数据进行压缩,是一种减少多机间通信开销的有效方法,如MXNet系统中的2Bit方法等。但这类方法存在一个突出的问题,即过高的压缩比会导致精度及收敛速度下降,尤其是对规模较大的深度神经网络模型。针对上述问题,提出了一种新的4Bit梯度压缩策略。该方法采用4个比特位表示一个具体的梯度值(通常为32位的浮点数)。相对于2Bit,该方法能够对梯度值进行更细粒度的近似,从而提高训练结果的准确率和收敛性。进一步地,根据网络模型每一层梯度特性的不同,选择不同的近似阈值,使得压缩后的数值更合理,从而进一步加快模型的收敛速度并提高最终准确率;具体地,兼顾操作的方便性和分布的合理性,根据每层梯度特性的不同,设置3组不同的阈值,以满足不同层梯度差异化特性的需求。实验结果表明,使用多组阈值的4Bit梯度压缩策略虽然在加速方面略逊于2Bit方法,但其准确率更高,实用性更强,能够在保持模型更高精度的前提下减少分布式深度学习系统的通信开销,这对于在资源受限环境下实现性能更好的深度学习模型非常有意义。     

基于梯度下降算法的神经网络模型研究

神经网络的研究与应用已经取得了巨大的成功,但是在网络的收敛性和稳定性方面还有很多问题。本文对神经网络的核心算法BP算法进行了改进,使用梯度下降算法对神经网络的原始输入变量进行预处理,选择输入变量的主成分作为网络输入,使变量维度和相关性同时减小,从而实现神经网络的结构简化、高收敛性和高稳定性。     

卷积神经网络中基于差分隐私的动量梯度下降算法

针对卷积神经网络（CNN）模型的训练过程中,模型参数记忆数据部分特征导致的隐私泄露问题,提出一种CNN中基于差分隐私的动量梯度下降算法（DPGDM）。首先,在模型优化的反向传播过程中对梯度添加满足差分隐私的高斯噪声,并用加噪后的梯度值参与模型参数的更新过程,从而实现对模型整体的差分隐私保护;其次,为了减少引入差分隐私噪声对模型收敛速度的影响,设计学习率衰减策略,改进动量梯度下降算法;最后,为了降低噪声对模型准确率的影响,在模型优化过程中动态地调整噪声尺度的值,从而改变在每一轮迭代中需要对梯度加入的噪声量。实验结果表明,与DP-SGD (Differentially Private Stochastic Gradient Descent)相比,所提算法可以在隐私预算为0.3和0.5时,模型准确率分别提高约5和4个百分点。可见,所提算法提高了模型的可用性,并实现了对模型的隐私保护。     

一种基于梯度的多智能体元深度强化学习算法

多智能体系统在自动驾驶、智能物流、医疗协同等多个领域中广泛应用,然而由于技术进步和系统需求的增加,这些系统面临着规模庞大、复杂度高等挑战,常出现训练效率低和适应能力差等问题。为了解决这些问题,将基于梯度的元学习方法扩展到多智能体深度强化学习中,提出一种名为多智能体一阶元近端策略优化（MAMPPO）方法,用于学习多智能体系统的初始模型参数,从而为提高多智能体深度强化学习的性能提供新的视角。该方法充分利用多智能体强化学习过程中的经验数据,通过反复适应找到在梯度下降方向上最敏感的参数并学习初始参数,使模型训练从最佳起点开始,有效提高了联合策略的决策效率,显著加快了策略变化的速度,面对新情况的适应速度显著加快。在星际争霸II上的实验结果表明,MAMPPO方法显著提高了训练速度和适应能力,为后续提高多智能强化学习的训练效率和适应能力提供了一种新的解决方法。     

一种基于条件梯度的加速分布式在线学习算法

由于容易实施, 基于投影梯度的分布式在线优化模型逐渐成为一种主流的在线学习方法. 然而, 在处理大数据应用时, 投影步骤成为该方法的计算瓶颈. 近年来, 研究者提出了面向凸代价函数的分布式在线条件梯度算法, 其悔界为${\rm O}(T^{3/4})$, 其中$T$是一个时间范围. 该算法存在两方面的问题, 一是其悔界劣于公认的悔界${\rm O}(\sqrt{T})$; 二是没有分析非凸代价函数的收敛性能, 而实际应用中代价函数大部分是非凸函数. 因此, 提出一种基于条件梯度的加速分布式在线学习算法, 使用Frank-Wolfe 步骤替代投影步骤, 避免昂贵的投影计算. 文中证明当局部代价函数为凸函数时, 所提算法达到公认的悔界${\rm O}(\sqrt{T})$; 当局部代价函数为潜在非凸函数时, 所提算法以速率${\rm O}(\sqrt{T})$收敛到平稳点. 最后, 仿真实验验证了所提算法的性能与理论证明的结论.     

一种基于分布式编码的卷积优化算法

卷积在统计学、信号处理、图像处理、深度学习等领域有着广泛的应用,且起到了至关重要的作用。在深度神经网络中,使用卷积运算对输入信息进行特征提取的方法是实现神经网络的基础计算单元之一。如何优化卷积的运算速度,提高卷积计算效率一直是亟需探讨的问题。近年来,很多研究指出分布式计算架构可以提高卷积神经网络的计算速度,进而优化深度学习的训练效率,然而由于分布式系统中普遍存在落跑者问题(straggler),该问题可能会拖慢整个系统执行任务的时间,因此该问题也成为了分布式深度学习中一个待解决的问题。文中针对二维卷积计算,结合Winograd算法和分布式编码,提出了一种优化的分布式二维卷积算法。Winograd算法能够有效地加速单次二维卷积计算的速度,分布式编码通过使用一种基于分布式冗余的编码方式能够缓解straggler节点对整个分布式系统计算延迟的影响。因此,提出的分布式二维卷积算法可以在加速二维卷积计算的同时有效缓解分布式系统中的straggler问题,有效提高了分布式卷积的计算效率。     

基于隐式随机梯度下降的恶意代码分类算法

针对目前基于深度学习的恶意代码分类算法易出现灾难性遗忘导致分类准确率不高、收敛过慢的问题,提出基于隐式随机梯度下降的恶意代码分类算法。与现有算法不同,该算法构造内外循环网络结构来协同学习最优网络模型以提高恶意代码分类准确率。在内循环优化阶段,通过优化带有偏好正则项的损失函数迫使内循环网络沿外循环网络方向更新权重从而避免内循环网络遗忘过去学到的知识。在外循环优化阶段,通过求解近似外循环网络梯度并利用隐式随机梯度下降优化外循环网络权重,使得外循环网络能够更快更稳定地收敛。在三个恶意代码数据集上的实验结果表明,该算法有效避免了灾难性遗忘,使用较少训练轮数取得了最高的分类准确率,显著提升了恶意代码分类的稳定性和鲁棒性。     

一种基于混合梯度下降算法的模糊神经网络设计及应用

为了提高模糊神经网络(FNN)的收敛速度和泛化能力,提出一种基于混合梯度下降算法(HG)的模糊神经网络(HG-FNN).HG-FNN通过设计FNN参数调整过程的自适应学习率,利用链式法则获取FNN参数学习过程的梯度,在实现FNN参数自校正的同时,给出HG-FNN的收敛性证明,保证HG-FNN的收敛速度和泛化能力.最后,将所设计的HG-FNN应用于非线性系统建模与污水处理过程关键水质参数预测,实验比较结果显示,HG-FNN不仅具有较快的收敛速度,而且具有较好的泛化能力.     

一种面向分布式深度学习的轻量级聚合通信库

聚合通信操作在分布式训练中应用广泛,特别是AllReduce操作被用于同步每个节点上模型的参数。为了获得更高的精度,数据集和神经网络模型的规模越来越大,节点间的通信开销在训练过程中占比很大且已成为训练加速的瓶颈。目前已有许多针对这一场景下聚合操作的优化工作,但都聚焦于操作的合理使用而不是其本身,例如通信调度和梯度量化。事实上,聚合操作与分布式训练应用之间存在许多不相匹配的地方,比如后者不要求所有节点同时同步梯度,而前者却需要。这使得针对分布式训练中聚合通信的研究是有必要的。然而发现目前分布式训练中的通信框架结构复杂、代码量大,对开展相关工作来说是不合适的。为了解决这一问题,设计并实现了一个轻量级的聚合通信库,以方便分析和改进分布式训练中的聚合操作。它支持主流框架和网络,并且架构简洁。这便于研究人员实现自定义通信操作,并能应用到主流的实验环境中以产生较广的影响。在多种情况下分别通过纯聚合操作和分布式深度学习应用来评估所设计的聚合通信库。实验结果显示,该库可以实现与MPI相近的性能,可以作为分析和研究分布式训练中梯度同步的聚合通信库。     

基于改进投影梯度下降算法的图卷积网络投毒攻击

图神经网络在面对节点分类、链路预测、社区检测等与图数据处理相关的任务时,容易受到对抗性攻击的安全威胁。基于梯度的攻击方法具有有效性和高效性,被广泛应用于图神经网络对抗性攻击,高效利用攻击梯度信息与求取离散条件下的攻击梯度是攻击离散图数据的关键。提出基于改进投影梯度下降算法的投毒攻击方法。将模型训练参数看作与扰动相关的函数,而非固定的常数,在模型的对抗训练中考虑了扰动矩阵的影响,同时在更新攻击样本时研究模型对抗训练的作用,实现数据投毒与对抗训练两个阶段的结合。采用投影梯度下降算法对变量实施扰动,并将其转化为二进制,以高效利用攻击梯度信息,从而解决贪婪算法中时间开销随扰动比例线性增加的问题。实验结果表明,当扰动比例为5%时,相比Random、DICE、Min-max攻击方法,在Citeseer、Cora、Cora＿ml和Polblogs数据集上图卷积网络模型被该方法攻击后的分类准确率分别平均降低3.27%、3.06%、3.54%、9.07%,在时间开销和攻击效果之间实现了最佳平衡。     

分布式信源编码在视频编码中的应用研究

分布式视频编码对编码器的功耗、复杂度、存储能力和传输能力都有较高的要求,而分布式信源编码理论正好适应了这一需求。为了使人们对这一技术有所了解,首先阐述了分布式视频编码的基本原理与其应用研究现状。并针对多视点分布式视频编码的Wyner—Ziv编解码器设计、虚拟“相关信道”建模、辅助边信息生成等几项关键技术存在的问题及最新研究进展进行分析和实验,最后总结了分布式信源编码理论在多视点视频编码的发展与研究方向。     

基于分布式学习的大规模网络入侵检测算法

计算机网络的高速发展,使处理器的速度明显低于骨干网的传输速度,这使得传统的入侵检测方法无法应用于大规模网络的检测.目前,解决这一问题的有效办法是将海量数据分割成小块数据,由分布的处理节点并行处理.这种分布式并行处理的难点是分割机制,为了不破坏数据的完整性,只有采用复杂的分割算法,这同时也使分割模块成为检测系统新的瓶颈.为了克服这个问题,提出了分布式神经网络学习算法,并将其用于大规模网络入侵检测.该算法的优点是,大数据集可被随机分割后分发给独立的神经网络进行并行学习,在降低分割算法复杂度的同时,保证学习结果的完整性.对该算法的测试实验首先采用基准测试数据circle-in-the-square测试了其学习能力,并与ARTMAP(adaptive resonance theory supervised predictive mapping)和BP(back propagation)神经网络进行了比较;然后采用标准的入侵检测测试数据集KDD'99 Data Set测试了其对大规模入侵的检测性能.通过与其他方法在相同数据集上的测试结果的比较表明,分布式学习算法同样具有较高的检测效率和较低的误报率.     

基于无线传感器网络的分布式信源编码方法

针对在无线传感器网络中节点能量有效性较低的问题,利用分布式信源编码方法,去除冗余并压缩节点发送的数据。将分布式信源编码方法与对应网络结构相结合,提出基于簇的无线传感器网络实现分布式信源编码方法。实验结果表明,该方法能节省网络中25％-30％的能量消耗。     

分布式视频编码方法研究

分布式视频编码(Distributed Video Coding,DVC)是一种新颖的视频压缩方法,具有极低的编码复杂度和良好的抗噪声鲁棒性。为了使人们对该编码方法有所了解,该文首先详细介绍了分布式视频编码的理论基础和特点,然后讨论了分布式视频编码的两大关键技术,包括编码端高效压缩和解码端边信息(side information)插值;最后总结分析了分布式视频编码在低复杂度编码和视频信号鲁棒传输等两大应用领域的研究现状,并对其研究前景进行了探讨。     

传感器网络中的分布式信息编码

分布式编码是传感器网络研究中的一个重要内容．介绍了传感器网络中分布式编码的概念和意义，回顾了分布式信源编码的理论基础，综述了分布式信源编码的主要方法．给出了分布式编码方法在传感器阵列中的应用实例．     

基于多层LDPC的分布式视频编码

改进了基于多层低密度一致校验码(Multi-level LDPC)的分布式视频解码方法.逐层进行迭代译码,低层向高层传递译码软信息(似然比),迭代译码的内信息通过计算旁信息与码字之间欧氏距获得.相比传统的多级解码方式,提出的解码方式可以减少逐层硬判决带来的信息丢失,从而减小低层向高层的错误传播,更适合于视频数据的Syndrome编码.实验结果表明,该解码方式能提高分布式视频中多层码的解码成功率,从而提高编码效率.     

MapReduce框架下结合分布式编码计算的容错算法

随着分布式系统规模扩大及计算复杂度增加,分布式计算的平均故障修复时间和容错计算所产生的通信开销呈现日益上升趋势.结合分布式编码计算和副本冗余技术,提出一种新的容错算法.map节点应用分布式编码计算的思想,将数据冗余分配至多个计算节点创建编码中间结果,降低计算节点在shuffle阶段的数据传输量.reduce节点通过对接...     

基于分布式编码的多描述视频编解码器

为了解决多描述视频编码器在丢包信道下的漂移问题,本文提出了一种新的基于分布式视频算法的多描述视频编码方案。实验结果表明,借助于分布式编码的稳健性,这一新方案能有效地避免漂移问题。为了解决多描述视频编码器在丢包信道下的漂移问题,提出了一种新的基于分布式视频算法的多描述视频编码方案。实验结果表明,借助于分布式编码的稳健性,这一新方案能有效地避免漂移问题。