带有随机改进Barzilai-Borwein步长的小批量稀疏随机方差缩减梯度法

为了更好地应对当今时代的大规模高维稀疏数据集，融合BB方法、小批量算法与随机方差缩减梯度法(SVRG)优势，提出一种带有随机改进Barzilai-Borwein步长的小批量稀疏随机方差缩减梯度法(MSSVRG-R2BB)。首先，在SVRG外循环中全梯度计算的基础上加入L₁范数次梯度设计出一种稀疏近似梯度用于内循环，得到一种稀疏的SVRG算法(SSVRG)。在此基础上，在小批量的稀疏随机方差缩减梯度法中使用随机选取的改进BB方法自动计算、更新步长，解决了小批量算法的步长选取问题，拓展得到MSSVRG-R2BB算法。数值实验表明，在求解大规模高维稀疏数据的线性支持向量机(SVM)问题时，MSSVRG-R2BB算法不仅可以减小运算成本、更快达到收敛上界，同时能达到与其他先进的小批量算法相同的优化水平，并且对于不同的初始参数选取表现稳定且良好。     

基于随机方差减小方法的DDPG算法

针对深度确定性策略梯度算法（DDPG）收敛速度比较慢,训练不稳定,方差过大,样本应用效率低的问题,提出了一种基于随机方差减小梯度方法的深度确定性策略梯度算法（SVR-DDPG）。该算法通过利用随机方差减小梯度技术（SVRG）提出一种新的创新优化策略,将之运用到DDPG算法之中,在DDPG算法的参数更新过程中,加入了随机方差减小梯度技术,利用该方法的更新方式,使得估计的梯度方差有一个不断减小的上界,令方差不断缩小,从而在小的随机训练子集的基础上找到更加精确的梯度方向,以此来解决了由近似梯度估计误差引发的问题,加快了算法的收敛速度。将SVR-DDPG算法以及DDPG算法应用于Pendulum和Mountain Car问题,实验结果表明,SVR-DDPG算法具有比原算法更快的收敛速度,更好的稳定性,以此证明了算法的有效性。     

基于最优间隔的AdaBoostv算法的非平衡数据分类

为了解决非平衡数据分类问题,提出了一种基于最优间隔的AdaBoostv算法.该算法采用改进的SVM作为基分类器,在SVM的优化模型中引入间隔均值项,并根据数据非平衡比对间隔均值项和损失函数项进行加权;采用带有方差减小的随机梯度方法(Stochastic Variance Reduced Gradient,SVRG)对优化模型进行求解,以加快收敛速度.所提基于最优间隔的AdaBoostv算法在样本权重更新公式中引入了一种新的自适应代价敏感函数,赋予少数类样本、误分类的少数类样本以及靠近决策边界的少数类样本更高的代价值;另外,通过结合新的权重公式以及引入给定精度参数v下的最优间隔的估计值,推导出新的基分类器权重策略,进一步提高了算法的分类精度.对比实验表明,在线性和非线性情况下,所提基于最优间隔的Ada-Boostv算法在非平衡数据集上的分类精度优于其他算法,且能获得更大的最小间隔.     

基于卷积注意力特征迁移学习的滚动轴承故障诊断

针对变工况条件下因源域和目标域样本数据分布差异大造成滚动轴承故障诊断准确率较低的问题,提出一种新的迁移学习方法——卷积注意力特征迁移学习(Convolutional Attention-based Feature Transfer Learning, CAFTL),并用于变工况条件下的滚动轴承故障诊断。在所提出的CAFTL中,将源域和目标域样本经过多头自注意力计算再经过归一化之后,输入到卷积神经网络中得到对应的源域和目标域特征;然后通过域自适应迁移学习网络将两域特征投影到同一个公共特征空间内;接着,利用由源域有标签样本构建的分类器进行分类;最后,利用随机梯度下降(Stochastic Gradient Descent, SGD)方法对CAFTL进行训练和参数更新,得到CAFTL的最优参数集后将参数优化后的CAFTL用于滚动轴承待测样本的故障诊断。滚动轴承故障诊断实例验证了所提出的方法的有效性。     

拟双曲动量梯度的对抗深度强化学习研究

在深度强化学习（Deep Reinforcement Learning,DRL）中,智能体（agent）通过观察通道来观察环境状态。该观察可能包含对抗性攻击的干扰,也即对抗样本,使智能体选择了错误动作。生成对抗样本常用方法是采用随机梯度下降方法。提出使用拟双曲动量梯度算法（QHM）来生成对抗干扰,该方法能够充分利用以前的梯度动量来修正梯度下降方向,因而比采用随机梯度下降方法（SGD）在生成对抗样本上具有更高效率。同时借助这种攻击方法在鲁棒控制框架内训练了DRL鲁棒性。实验效果表明基于QHM训练方法的DRL在进行对抗性训练后,面对攻击和环境参数变化时的鲁棒性显著提高。     

求解非光滑强凸优化问题的减小方差加权随机算法*

在光滑问题随机方法中使用减小方差策略,能够有效改善算法的收敛效果.文中同时引用加权平均和减小方差的思想,求解“L1+L2+Hinge”非光滑强凸优化问题,得到减小方差加权随机算法(α-HRMDVR-W).在每步迭代过程中使用减小方差策略,并且以加权平均的方式输出,证明其具有最优收敛速率,并且该收敛速率不依赖样本数目.与已有减小方差方法相比,α-HRMDVR-W每次迭代中只使用部分样本代替全部样本修正梯度.实验表明α-HRMDVR-W在减小方差的同时也节省CPU时间.     

一种减小方差求解非光滑问题的随机优化算法

随机优化算法是求解大规模机器学习问题的高效方法之一.随机学习算法使用随机抽取的单个样本梯度代替全梯度,有效节省了计算量,但却会导致较大的方差.近期的研究结果表明:在光滑损失优化问题中使用减小方差策略,能够有效提高随机梯度算法的收敛速率.考虑求解非光滑损失问题随机优化算法COMID(compositeobjective mirror descent)的方差减小问题.首先证明了COMID具有方差形式的O(1/√T+σ²/√T)收敛速率,其中,T是迭代步数,σ²是方差.该收敛速率保证了减小方差的有效性,进而在COMID中引入减小方差的策略,得到一种随机优化算法α-MDVR(mirror descent with variance reduction).不同于Prox-SVRG(proximal stochastic variance reduced gradient),α-MDVR收敛速率不依赖于样本数目,每次迭代只使用部分样本来修正梯度.对比实验验证了α-MDVR既减小了方差,又节省了计算时间.     

基于图像翻转变换的对抗样本生成方法

面对对抗样本的攻击,深度神经网络是脆弱的。对抗样本是在原始输入图像上添加人眼几乎不可见的噪声生成的,从而使深度神经网络误分类并带来安全威胁。因此在深度神经网络部署前,对抗性攻击是评估模型鲁棒性的重要方法。然而,在黑盒情况下,对抗样本的攻击成功率还有待提高,即对抗样本的可迁移性有待提升。针对上述情况,提出基于图像翻转变换的对抗样本生成方法——FT-MI-FGSM（Flipping Transformation Momentum Iterative Fast Gradient Sign Method）。首先,从数据增强的角度出发,在对抗样本生成过程的每次迭代中,对原始输入图像随机翻转变换;然后,计算变换后图像的梯度;最后,根据梯度生成对抗样本以减轻对抗样本生成过程中的过拟合,并提升对抗样本的可迁移性。此外,通过使用攻击集成模型的方法,进一步提高对抗样本的可迁移性。在ImageNet数据集上验证了所提方法的有效性。相较于I-FGSM（Iterative Fast Gradient Sign Method）和MI-FGSM（Momentum I-FGSM）,在攻击集成模型设置下,FT-MI-FGSM在对抗训练网络上的平均黑盒攻击成功率分别提升了26.0和8.4个百分点。     

基于样本的VVC无损帧内梯度预测算法

为了进一步提升VVC无损帧内编码的性能,在BDPCM编码工具的基础上,利用样本之间的关系,对其进行改进,提出了一种基于样本的梯度预测（Sample-based Gradient Prediction,SGP）算法。在该算法中,预测样本由对应预测方向上的相邻参考样本,以及参考样本之间的梯度信息获得,获得的预测样本被限制在一定范围内。在VVC测试模型（VTM）12.3上的实验结果表明,提出的SGP算法在VVC无损帧内编码中平均节省了5.30%的比特率,编码时间增加了17.7%,解码时间下降了19.5%。相较于BDPCM可以达到的3.88%平均比特率节省,SGP所带来的比特率节省大幅度提升,并且编码时间和解码时间都更短。     

随机梯度下降算法研究进展

在机器学习领域中, 梯度下降算法是求解最优化问题最重要、最基础的方法. 随着数据规模的不断扩大, 传统的梯度下降算法已不能有效地解决大规模机器学习问题. 随机梯度下降算法在迭代过程中随机选择一个或几个样本的梯度来替代总体梯度, 以达到降低计算复杂度的目的. 近年来, 随机梯度下降算法已成为机器学习特别是深度学习研究的焦点. 随着对搜索方向和步长的不断探索, 涌现出随机梯度下降算法的众多改进版本, 本文对这些算法的主要研究进展进行了综述. 将随机梯度下降算法的改进策略大致分为动量、方差缩减、增量梯度和自适应学习率等四种. 其中, 前三种主要是校正梯度或搜索方向, 第四种对参数变量的不同分量自适应地设计步长. 着重介绍了各种策略下随机梯度下降算法的核心思想、原理, 探讨了不同算法之间的区别与联系. 将主要的随机梯度下降算法应用到逻辑回归和深度卷积神经网络等机器学习任务中, 并定量地比较了这些算法的实际性能. 文末总结了本文的主要研究工作, 并展望了随机梯度下降算法的未来发展方向.     

局部迭代NLMS算法研究

针对回波抵消器中大量抽头系数需要更新的问题,分析比较各种局部迭代NLMS算法的性能和计算复杂度。根据权系数局部迭代的简化原理,将滤波器系数分成多个系数子集,通过每次迭代仅更新权系数部分子集的方法,减少算法的计算量。并对不同的子集生成策略进行复杂度和滤波性能分析,分析结果表明,基于权系数瞬时梯度估计的Mmax系数局部迭代方法,以及基于最小化干扰原理的选择性权系数局部迭代算法,其性能与全系数更新算法相当,而计算量与连续局部迭代算法相比仅附加少量比较运算。     

基于FPGA的手写数字BP神经网络研究与设计

手写数字逆向传播（Back Propagation,BP）神经网络由输入层、隐藏层、输出层构成。训练数据是MNIST开源手写数字集里60?000个样本,BP算法由随机梯度下降算法和反向传播算法构成,采用network小批量数据迭代30次的网络学习过程,训练出合适的权重和偏置。利用现场可编程门阵列（Field Programmable Gate Array,FPGA）硬件平台,Verilog代码实现BP算法、时序控制各层网络训练状态、Sigmoid（S型）函数及导数线性拟合是设计重点。初始化均值为0,方差为1的高斯分布网络权重和偏置,采用小批量数据个数[m]为10,学习系数[η]为3,在系统中输入样本及标签利用Quartus13.0和modelsim仿真与分析,工程运行迭代30次时间是4.5 s,样本识别正确率是91.6%,与软件python2.7相比满足了硬件设计的实时性和手写数字识别的高准确率。     

Accelerating local SGD for non-IID data using variance reduction

Distributed stochastic gradient descent and its variants have been widely adopted in the training of machine learning models, which apply multiple workers in parallel. Among them, local-based algorithms, including LocalSGD and FedAvg, have gained much attention due to their superior properties, such as low communication cost and privacy-preserving. Nevertheless, when the data distribution on workers is non-identical, local-based algorithms would encounter a significant degradation in the convergence rate. In this paper, we propose Variance Reduced Local SGD (VRL-SGD) to deal with the heterogeneous data. Without extra communication cost, VRL-SGD can reduce the gradient variance among workers caused by the heterogeneous data, and thus it prevents local-based algorithms from slow convergence rate. Moreover, we present VRL-SGD-W with an effective warm-up mechanism for the scenarios, where the data among workers are quite diverse. Benefiting from eliminating the impact of such heterogeneous data, we theoretically prove that VRL-SGD achieves a linear iteration speedup with lower communication complexity even if workers access non-identical datasets. We conduct experiments on three machine learning tasks. The experimental results demonstrate that VRL-SGD performs impressively better than Local SGD for the heterogeneous data and VRL-SGD-W is much robust under high data variance among workers.     

一种基于分布式编码的同步梯度下降算法

基于数据并行化的异步随机梯度下降（ASGD）算法由于需要在分布式计算节点之间频繁交换梯度数据,从而影响算法执行效率。提出基于分布式编码的同步随机梯度下降（SSGD）算法,利用计算任务的冗余分发策略对每个节点的中间结果传输时间进行量化以减少单一批次训练时间,并通过数据传输编码策略的分组数据交换模式降低节点间的数据通信总量。实验结果表明,当配置合适的超参数时,与SSGD和ASGD算法相比,该算法在深度神经网络和卷积神经网络分布式训练中平均减少了53.97%、26.89%和39.11%、26.37%的训练时间,从而证明其能有效降低分布式集群的通信负载并保证神经网络的训练精确度。     

梯度有偏情形非光滑问题NAG的个体收敛性

随机优化方法已经成为处理大规模正则化和深度学习优化问题的首选方法,其收敛速率的获得通常都建立在目标函数梯度无偏估计的基础上,但对机器学习问题来说,很多现象都导致了梯度有偏情况的出现.与梯度无偏情形不同的是,著名的Nesterov加速算法NAG(Nesterov accelerated gradient)会逐步累积每次迭代中的梯度偏差,从而导致不能获得最优的收敛速率甚至收敛性都无法保证.近期的研究结果表明,NAG方法也是求解非光滑问题投影次梯度关于个体收敛的加速算法,但次梯度有偏对其影响的研究未见报道.针对非光滑优化问题,证明了在次梯度偏差有界的情况下,NAG能够获得稳定的个体收敛界,而当次梯度偏差按照一定速率衰减时,NAG仍然可获得最优的个体收敛速率.作为应用,得到了一种无需精确计算投影的投影次梯度方法,可以在保持收敛性的同时较快地达到稳定学习的精度.实验验证了理论分析的正确性及非精确方法的性能.     

Accelerating SGD using flexible variance reduction on large-scale datasets

Neural Computing and Applications - Stochastic gradient descent (SGD) is a popular optimization method widely used in machine learning, while the variance of gradient estimation leads to slow...     

一种求解强凸优化问题的最优随机算法

随机梯度下降(SGD)算法是处理大规模数据的有效方法之一.黑箱方法SGD在强凸条件下能达到最优的O(1/T)收敛速率,但对于求解L1+L2正则化学习问题的结构优化算法,如COMID(composite objective mirror descent)仅具有O(lnT/T)的收敛速率.提出一种能够保证稀疏性基于COMID的加权算法,证明了其不仅具有O(1/T)的收敛速率,还具有on-the-fly计算的优点,从而减少了计算代价.实验结果表明了理论分析的正确性和所提算法的有效性.     

空中加油场景下的目标联合检测跟踪算法

针对自主空中加油对接阶段的目标跟踪问题,提出一种空中加油场景下的目标联合检测跟踪算法。该算法采用检测跟踪一体化的CenterTrack网络实现对锥套的追踪,而针对计算量较大、训练耗时过长的问题,分别从模型设计与网络优化两方面改善该网络。首先,在跟踪器中引入膨胀卷积组,以在不改变感受野大小的前提下使得网络轻量化;同时,将输出部分的卷积层替换为深度可分离卷积层,从而减少网络的参数量与计算量;然后,对网络进行进一步的优化,即将随机梯度下降（SGD）法与Adam算法相结合,使网络更快收敛至稳定状态;最后,利用真实的空中加油场景视频与地面模拟视频制作相应格式的数据集,并将其用于实验验证。分别在自制的锥套数据集和MOT17公共数据集上进行了训练与测试,证实了提出算法的有效性。相较于原CenterTrack网络,改进的网络Tiny-CenterTrack减少了约48.6%的训练时长,并在实时性方面提升了8.8%。实验结果表明,改进后的网络在不损失网络性能的前提下可有效节省计算资源并在一定程度上提升实时性。