随机梯度下降算法研究进展

在机器学习领域中, 梯度下降算法是求解最优化问题最重要、最基础的方法. 随着数据规模的不断扩大, 传统的梯度下降算法已不能有效地解决大规模机器学习问题. 随机梯度下降算法在迭代过程中随机选择一个或几个样本的梯度来替代总体梯度, 以达到降低计算复杂度的目的. 近年来, 随机梯度下降算法已成为机器学习特别是深度学习研究的焦点. 随着对搜索方向和步长的不断探索, 涌现出随机梯度下降算法的众多改进版本, 本文对这些算法的主要研究进展进行了综述. 将随机梯度下降算法的改进策略大致分为动量、方差缩减、增量梯度和自适应学习率等四种. 其中, 前三种主要是校正梯度或搜索方向, 第四种对参数变量的不同分量自适应地设计步长. 着重介绍了各种策略下随机梯度下降算法的核心思想、原理, 探讨了不同算法之间的区别与联系. 将主要的随机梯度下降算法应用到逻辑回归和深度卷积神经网络等机器学习任务中, 并定量地比较了这些算法的实际性能. 文末总结了本文的主要研究工作, 并展望了随机梯度下降算法的未来发展方向.     

基于Lagrange乘子法神经网络求解弹塑性力学有限元问题

根据人工神经网络的基本优化机理,研究了基于Lagrange乘子法神经网络求解弹塑性力学有限元问题.该神经网络对弹塑性力学有限元问题模型的不等式约束直接进行处理,无需添加松弛变量,降低了网络模拟和硬件实现的复杂程度.还分析了该神经网络的收敛性和稳定性.最后对一个简单弹塑性问题进行了数值仿真,计算结果表明了该神经网络求解弹塑性力学有限元问题的可行性.     

张量补全算法及其在人脸识别中的应用

数据丢失问题通常可以归结为矩阵补全问题,而矩阵补全是继压缩感知理论之后的又一种重要的信号获取方法。在实际应用中,数据样例往往具有多线性性,即数据集可以表示成高阶张量。本文研究了张量补全问题及其在人脸识别中的应用。基于张量的低维Tucker分解,提出张量补全的迭代算法,并且证明在算法的迭代过程中,估计张量与其Tucker逼近张量的距离是单调递减的。实验结果表明张量补全算法在补全张量和人脸识别上的可行性与有效性。     

不完全非负矩阵分解的加速算法

非负矩阵分解(NMF)已成为数据分析与处理的一种日益流行的方法.当数据矩阵不完全时,可用加权非负矩阵分解(WNMF)来分解矩阵.但是在WNMF算法中,对于给定的搜索方向,步长的选取一般来说不是最优的.本文研究了不完全非负矩阵分解(INMF)问题,提出了加速算法(AINMF).首先,将INMF问题转化为交替地求解两个非负...     

红枣可乐的研制

研究了以金丝小枣为主要原料,通过对枣进行处理,提取,酶解等工艺,提取营养丰富的枣汁,再采用先进的工艺和科学的配方制成碳酸型红枣可乐饮料。