基于交替方向乘子法的非光滑损失坐标优化算法

交替方向乘子法(ADMM)在机器学习问题中已有一些实际应用。针对大规模数据的处理和非光滑损失凸优化问题,将镜面下降方法引入原ADMM批处理算法,得到了一种新的改进算法,并在此基础上提出了一种求解非光滑损失凸优化问题的坐标优化算法。该算法具有操作简单、计算高效的特点。通过详尽的理论分析,证明了新算法的收敛性,在一般凸条件下其具有目前最优的收敛速度。最后与相关算法进行了对比,实验结果表明该算法在保证解稀疏性的同时拥有更快的收敛速度。     

一种非光滑损失坐标下降算法

针对非光滑损失问题提出一种新的坐标下降算法,采用排序搜索的方式求解子问题解析解。分析了算法的时间复杂度,并给出了三种提高收敛速度的实用技巧。实验表明算法对正则化Hinge损失问题具有良好的性能,达到了预期的效果。     

ADMM稀疏非负矩阵分解语音增强算法

提出一种基于交替方向乘子法的（Alternating Direction Method of Multipliers,ADMM）稀疏非负矩阵分解语音增强算法,该算法既能克服经典非负矩阵分解（Nonnegative Matrix Factorization,NMF）语音增强算法存在收敛速度慢、易陷入局部最优等问题,也能发挥ADMM分解矩阵具有的强稀疏性。算法分为训练和增强两个阶段：训练时,采用基于ADMM非负矩阵分解算法对噪声频谱进行训练,提取噪声字典,保存其作为增强阶段的先验信息;增强时,通过稀疏非负矩阵分解算法,从带噪语音频谱中对语音字典和语音编码进行估计,重构原始干净的语音,实现语音增强。实验表明,该算法速度更快,增强后语音的失真更小,尤其在瞬时噪声环境下效果显著。     

面向通用一致性优化的通信高效的异步ADMM算法

分布式交替方向乘子法(Alternating Direction Method of Multipliers, ADMM)是求解大规模机器学习问题使用最广泛的方法之一。现有大多数分布式ADMM算法都基于完整的模型更新。随着系统规模及数据量的不断增长,节点间的通信开销逐渐成为限制分布式ADMM算法发展的瓶颈。为了减少节点间通信开销,提出了一种通信高效的通用一致性异步分布式ADMM算法(General Form Consensus Asynchronous Distributed ADMM,GFC-ADADMM),该算法通过分析高维稀疏数据集的特性,节点间利用关联模型参数代替完整模型参数进行通信,并对模型参数进行过滤以进一步减少节点间传输负载。同时结合过时同步并行(Stale Synchronous Parallel, SSP)计算模型、allreude通信模型及混合编程模型的优势,利用异步allreduce框架并基于MPI/OpenMP混合编程模型实现GFC-ADADMM算法,提高算法计算与通信效率。文中利用GFC-ADADMM算法求解稀疏logistic回归问题,实验测试表明,与现有分...     

一种减小方差求解非光滑问题的随机优化算法

随机优化算法是求解大规模机器学习问题的高效方法之一.随机学习算法使用随机抽取的单个样本梯度代替全梯度,有效节省了计算量,但却会导致较大的方差.近期的研究结果表明:在光滑损失优化问题中使用减小方差策略,能够有效提高随机梯度算法的收敛速率.考虑求解非光滑损失问题随机优化算法COMID(compositeobjective mirror descent)的方差减小问题.首先证明了COMID具有方差形式的O(1/√T+σ²/√T)收敛速率,其中,T是迭代步数,σ²是方差.该收敛速率保证了减小方差的有效性,进而在COMID中引入减小方差的策略,得到一种随机优化算法α-MDVR(mirror descent with variance reduction).不同于Prox-SVRG(proximal stochastic variance reduced gradient),α-MDVR收敛速率不依赖于样本数目,每次迭代只使用部分样本来修正梯度.对比实验验证了α-MDVR既减小了方差,又节省了计算时间.     

图像上梯度相关的优化问题快速算法

针对图像处理中目标函数为对图像梯度的约束,形式为正则项与保真项之和的优化问题,提出了一种对该优化问题的变形形式,并给出了基于交替方向乘子法(alternatingdirectionmethodofmultipliers,ADMM)的优化算法进行求解.在约束条件下采用每个图像中的最小单元上的分段式,使得在每步迭代中的每个子问题可以分化为在每个最小单元上的二元优化问题,从而可直接获得优化问题的最优解.所提出的优化形式与优化算法可以控制每步迭代的时间复杂度在O(N),其中N为优化问题在该图像区域中最小单元的个数,还可进一步根据图像的分割进行并行化.文中给出了2个图像上比较经典的优化问题:L0模优化问题和Poisson图像编辑的优化算法.与现有的基于迭代算法相比,文中算法在达到相似结果的同时,可具有更快计算速度与更小的内存消耗.     

线性支持向量机优化问题的一种光滑算法

线性支持向量机的无约束优化模型的目标函数不是一个二阶可微函数,因此不能应用一些快速牛顿算法来求解。提出了目标函数的一种光滑化技巧,从而得到了相应的光滑线性支持向量机模型,并给出了求解该光滑线性支持向量机模型的Newton-Armijo算法,该算法是全局收敛的和二次收敛的。     

一种解决非光滑伪凸优化问题的新型神经网络

针对带有不等式约束条件的非光滑伪凸优化问题，提出了一种基于微分包含理论的新型递归神经网络模型，根据目标函数与约束条件设计出随着状态向量变化而变化的罚函数，使得神经网络的状态向量始终朝着可行域方向运动，确保神经网络状态向量可在有限时间内进入可行域，最终收敛到原始优化问题的最优解。最后，用两个仿真实验用来验证神经网络的有效性与准确性。与现有神经网络相比，它是一种新型的神经网络模型，模型结构简单，无需计算精确的罚因子，最重要的是无需可行域有界。     

一种新型拉格朗日神经网络解决非光滑优化问题

针对函数是非光滑的问题以及采用固定惩罚项的弊端,利用 Clarke广义梯度的理论和lagrange乘子法的思想,建立了一个微分包含的神经网络模型。此模型是采用罚函数的方法,有效避免了固定项的缺陷。理论证明了网络是有全局解的,并且收敛到原问题的关键点集,对于凸问题来说网络收敛的平衡点就是问题的最优点。最后通过仿真实验验证了理论结果的正确性。     

一种线性的在线AUC优化方法

AUC(area under the ROC curve)优化问题的损失函数由来自不同类别的样本对构成,这使得依赖于损失函数之和的目标函数与训练样本数二次相关,不能直接使用传统在线学习方法求解.当前的在线AUC优化算法聚焦于在求解过程中避免直接计算所有的损失函数,以减小问题的规模,实现在线AUC优化.针对以上问题提出了一种AUC优化的新目标函数,该目标函数仅与训练样本数线性相关;理论分析表明：最小化该目标函数等价于最小化由L2正则化项和最小二乘损失函数组成的AUC优化的目标函数.基于新的目标函数,提出了在线AUC优化的线性方法(linear online AUC maximization, LOAM);根据不同的分类器更新策略,给出2种算法LOAM\\-{ILSC}和LOAM\\-{Ada}.实验表明:与原有方法相比,LOAM\\-{ILSC}算法获得了更优的AUC性能,而对于实时或高维学习任务,LOAM\\-{Ada}算法更加高效.     

基于Storm的在线序列极限学习机的气象预测模型

为提高气象预测精度,实时应对频发的局域气象灾害,拥有更高的处理海量数据的效率,提出了一种基于Storm的在线序列的极限学习机气象预测模型.该模型首先初始化多个在线极限学习机,当新批次的数据不断到达时,模型能够在训练结果的基础上继续学习新样本,并引入随机梯度下降法和误差权值调整方法,对新的预测结果进行误差反馈,实时更新误差权值参数,以提高模型预测准确率.另外,采用Storm流式处理框架对提出的算法模型进行并行化改进,以提高处理海量高维数据的能力.实验结果表明：该模型与基于Hadoop的并行极限学习机算法(parallel extreme learning machine, PELM)相比,具有更高的预测精度和优异的并行性能.     

基于信任权学习的在线分类算法

鉴于高斯过程对处理高维数、小样本、非线性等复杂问题具有较好的适应性,将其引入到在线分类器学习算法中,形成一种新型的在线分类算法,即信任权算法。该算法的信任权超参数为模型向量的高斯分布,每训练一次样本就修正一次模型向量的信任权,并使样本正确分类的概率在某个特定信任域内。采用人工和实际数据进行实验,结果表明信任权算法优于传统的感知器算法。     

针对动态非平衡数据集鲁棒的在线极端学习机

动态数据存在数据量动态改变,数据类别分布非平衡、不稳定等问题,这些问题成为分类的难点。针对该问题,通过对在线极端学习机模型进行拓展,提出鲁棒的权值在线极端学习机算法。为解决动态数据非平衡性,该算法借助代价敏感学习理论生成局部动态权值矩阵,从而优化分类模型产生的经验风险。同时,算法进一步考虑动态数据由于时序性质改变造成的数据分布变化,而引入遗忘因子增强分类器对数据分布变更的敏感性。算法在不同数据分布的24个非平衡动态数据集上测试,取得了较好的效果。     

基于角度优化的鲁棒极端学习机算法

极端学习机因其学习速度快、泛化性能强等优点,在当今模式识别领域中已经成为了主流的研究方向;但是,由于该算法稳定性差,往往易受数据集中噪声的干扰,在实际应用中导致得到的分类效果不是很显著;因此,为了提高极端学习机分类的准确性,针对数据集样本中带有噪声和离群点问题,提出了一种基于角度优化的鲁棒极端学习机算法;该方法利用鲁棒激活函数角度优化的原则,首先降低了离群点对分类算法的影响,从而保持数据样本的全局结构信息,达到更好的去噪效果;其次,有效的避免隐层节点输出矩阵求解不准的问题,进一步增强极端学习机的泛化性能;通过应用在普遍图像数据库上的实验结果表明,这种提出的算法与其他算法相比具有更强的鲁棒性和较高的识别率。     

基于蚁群优化的极限学习机选择性集成学习算法

针对现有极限学习机集成学习算法分类精度低、泛化能力差等缺点,提出了一种基于蚁群优化思想的极限学习机选择性集成学习算法。该算法首先通过随机分配隐层输入权重和偏置的方法生成大量差异的极限学习机分类器,然后利用一个二叉蚁群优化搜索算法迭代地搜寻最优分类器组合,最终使用该组合分类测试样本。通过12个标准数据集对该算法进行了测试,该算法在9个数据集上获得了最优结果,在另3个数据集上获得了次优结果。采用该算法可显著提高分类精度与泛化性能。     

一种基于新型优化算法的多播路由选择方法

遗传算法、蚁群优化算法已在多播路由优化问题中得到了广泛应用,但由于算法本身的缺陷,二者在具体应用时都存在着时间性能与优化性能之间的矛盾。论文将遗传算法与蚁群优化算法二者合成,优势互补。仿真实验表明,应用这种算法于多播路由问题,可以得到比现有启发式算法更好的结果。