可扩展机器学习的并行与分布式优化算法综述

机器学习问题通常会转换成一个目标函数去求解,优化算法是求解目标函数中参数的重要工具.在大数据环境下,需要设计并行与分布式的优化算法,通过多核计算和分布式计算技术来加速训练过程.近年来,该领域涌现了大量研究工作,部分算法也在各机器学习平台得到广泛应用.本文针对梯度下降算法、二阶优化算法、邻近梯度算法、坐标下降算法、交替方向乘子算法五类最常见的优化方法展开研究,每一类算法分别从单机并行和分布式并行来分析相关研究成果,并从模型特性、输入数据特性、算法评价、并行计算模型等角度对每个算法进行详细对比.随后对有代表性的可扩展机器学习平台中优化算法的实现和应用情况进行对比分析.同时对本文中介绍的所有优化算法进行多层次分类,方便用户根据目标函数类型选择合适的优化算法,也可以通过该多层次分类图交叉探索如何将优化算法应用到新的目标函数类型.最后分析了现有优化算法存在的问题,提出可能的解决思路,并对未来研究方向进行展望.     

基于Im2col的并行深度卷积神经网络优化算法

针对大数据环境下并行深度卷积神经网络（DCNN）算法中存在数据冗余特征多、卷积层运算速度慢、损失函数收敛性差等问题,提出了一种基于Im2col方法的并行深度卷积神经网络优化算法IA-PDCNNOA。首先,提出基于Marr-Hildreth算子的并行特征提取策略MHO-PFES,提取数据中的目标特征作为卷积神经网络的输入,有效避免了数据冗余特征多的问题;其次,设计基于Im2col方法的并行模型训练策略IM-PMTS,通过设计马氏距离中心值去除冗余卷积核,并结合MapReduce和Im2col方法并行训练模型,提高了卷积层运算速度;最后提出改进的小批量梯度下降策略IM-BGDS,排除异常节点的训练数据对批梯度的影响,解决了损失函数收敛性差的问题。实验结果表明,IA-PDCNNOA算法在大数据环境下进行深度卷积神经网络计算具有较好的性能表现,适用于大规模数据集的并行化深度卷积神经网络模型训练。     

利用坐标下降实现并行稀疏子空间聚类

随着数据规模的不断扩大,稀疏子空间聚类问题面临计算上的巨大挑战。现有稀疏子空间聚类算法如交替方向乘子法(ADMM)往往基于串行实现,难以利用多核处理器提高处理大规模聚类问题的效率。针对这个问题,提出一种基于坐标下降的并行稀疏子空间聚类方法。该方法利用稀疏子空间聚类可以建模为求解一系列的样本自稀疏表达子问题的特点,使用坐标下降方法来求解每个子问题,具有参数少、收敛快的优点;同时结合自稀疏表达子问题独立的特点,在处理器的各个核心上同时求解不同样本对应的子问题,因此可以充分利用计算机资源,减少运行时间开销。在模拟数据和运动分割数据集Hopkins-155上与常用的ADMM算法进行对比实验,结果表明该算法在多核处理器上可以显著提升运行速度且聚类精度与ADMM相当。     

稀疏学习优化问题的求解综述

机器学习正面临着数据规模日益扩大的严峻挑战,如何处理大规模甚至超大规模数据问题,是当前统计学习亟需解决的关键性科学问题.大规模机器学习问题的训练样本集合往往具有冗余和稀疏的特点,机器学习优化问题中的正则化项和损失函数也蕴含着特殊的结构含义,直接使用整个目标函数梯度的批处理黑箱方法不仅难以处理大规模问题,而且无法满足机器学习对结构的要求.目前,依靠机器学习自身特点驱动而迅速发展起来的坐标优化、在线和随机优化方法成为解决大规模问题的有效手段.针对L1 正则化问题,介绍了这些大规模算法的一些研究进展.     

随机梯度下降算法研究进展

在机器学习领域中, 梯度下降算法是求解最优化问题最重要、最基础的方法. 随着数据规模的不断扩大, 传统的梯度下降算法已不能有效地解决大规模机器学习问题. 随机梯度下降算法在迭代过程中随机选择一个或几个样本的梯度来替代总体梯度, 以达到降低计算复杂度的目的. 近年来, 随机梯度下降算法已成为机器学习特别是深度学习研究的焦点. 随着对搜索方向和步长的不断探索, 涌现出随机梯度下降算法的众多改进版本, 本文对这些算法的主要研究进展进行了综述. 将随机梯度下降算法的改进策略大致分为动量、方差缩减、增量梯度和自适应学习率等四种. 其中, 前三种主要是校正梯度或搜索方向, 第四种对参数变量的不同分量自适应地设计步长. 着重介绍了各种策略下随机梯度下降算法的核心思想、原理, 探讨了不同算法之间的区别与联系. 将主要的随机梯度下降算法应用到逻辑回归和深度卷积神经网络等机器学习任务中, 并定量地比较了这些算法的实际性能. 文末总结了本文的主要研究工作, 并展望了随机梯度下降算法的未来发展方向.     

基于交替方向乘子法的非光滑损失坐标优化算法

交替方向乘子法(ADMM)在机器学习问题中已有一些实际应用。针对大规模数据的处理和非光滑损失凸优化问题,将镜面下降方法引入原ADMM批处理算法,得到了一种新的改进算法,并在此基础上提出了一种求解非光滑损失凸优化问题的坐标优化算法。该算法具有操作简单、计算高效的特点。通过详尽的理论分析,证明了新算法的收敛性,在一般凸条件下其具有目前最优的收敛速度。最后与相关算法进行了对比,实验结果表明该算法在保证解稀疏性的同时拥有更快的收敛速度。     

内外特征一致性对齐的非等距三维模型对应关系计算

针对非等距三维模型对应关系计算准确率低且难以自动化的问题,提出一种基于局部流形调和基与内外积空间对齐的三维模型对应关系计算算法.首先利用局部流形调和基作为模型本征信息,并结合笛卡儿坐标等外部信息嵌入内外积空间,实现本征信息和外部信息对齐;其次将计算对齐的目标函数与一致性点偏移算法融合,提高结果的稳定性和准确性;最后利用基于交替方向乘子法的交替优化算法来求解目标函数,构建最终的对应关系结果.与已有算法的对比实验结果表明,所提算法在SMAL, SHERC’19, TOSCA和SHERC’16 Topology数据集上构建的对应关系测地误差最小,全局对应关系准确率最高,同时能够处理拓扑噪声和模型自身对称性影响对应关系计算的问题.     

一种基于交替方向乘子法改进的模型预测控制方法

模型预测控制能够有效处理实际应用中的扰动、多控制变量和复杂约束,因此被广泛应用于各种大规模控制问题.然而,在处理基于复杂线性时不变系统的模型预测控制问题时,传统的二次规划算法存在计算负载过大,实时性差的缺点.为此,本文引入交替方向乘子法对模型预测控制问题进行分布式地求解.仿真实验结果表明,基于交替方向乘子法的模型预测控制相较传统的方法,计算效率明显提高,更适于求解大规模优化控制问题.     

多源域分布下优化权重的迁移学习Boosting方法

深度决策树迁移学习Boosting方法（DTrBoost）仅能适应一个源域与一个目标域的训练数据,无法适应多个不同分布的源域的样本。此外,DTrBoost方法同步地从源域中学习数据至目标域模型,并没有根据重要程度量化学习知识的权重。在实践中,对于某数据集的数据按照某一或某些特征划分出来的数据往往分布不一致,并且这些不同分布的数据对于最终模型的重要性也不一致,知识迁移的权重也因此不平等。针对这一问题,提出了多源域优化权重的迁移学习方法,主要思想是根据不同分布的源域空间计算出到目标域的KL距离,利用KL距离的比值计算出不同分布的源域样本的学习权重比例,从而优化整体梯度函数,使学习方向朝着梯度下降最快的方向进行。使用梯度下降算法能使模型较快收敛,在确保迁移学习效果的同时,也能确保学习的速度。实验结果表明,提出的算法在整体上实现了更好的性能并且对于不同的训练数据能够实现自适应效果,分类错误率平均下降0.013,在效果最好的OCR数据集上下降0.030。     

基于梯度追踪的MIMO-OFDM稀疏信道估计算法

现有的压缩感知MIMO-OFDM信道估计方法多采用正交匹配追踪算法及其改进的算法。针对该类算法重构大规模的数据存在计算复杂度高、存储量大等问题,提出了基于梯度追踪算法的MIMO-OFDM 稀疏信道估计方法。梯度追踪算法采用最速下降法对目标函数解最优解,即每步迭代时计算目标函数的搜索方向和搜索步长,并以此选择原子得到每次迭代重构值的最优解。本文使用梯度追踪算法对信道进行估计,并与传统的最小二乘估计算法、正交匹配追踪算法的性能和计算复杂度进行比较。仿真结果表明,梯度追踪算法能够保证较好的估计效果,减少了导频开销,降低了运算复杂度,提高了重构效率。