一类非光滑非凸优化问题的神经网络方法

提出了解决一类带等式与不等式约束的非光滑非凸优化问题的神经网络模型。证明了当目标函数有下界时,神经网络的解轨迹在有限时间收敛到可行域。同时,神经网络的平衡点集与优化问题的关键点集一致,且神经网络最终收敛于优化问题的关键点集。与传统基于罚函数的神经网络模型不同,提出的模型无须计算罚因子。最后,通过仿真实验验证了所提出模型的有效性。     

非光滑凸情形Adam型算法的最优个体收敛速率

Adam是目前深度神经网络训练中广泛采用的一种优化算法框架,同时使用了自适应步长和动量技巧,克服了SGD的一些固有缺陷。但即使对于凸优化问题,目前Adam也只是在线学习框架下给出了和梯度下降法一样的regret界,动量的加速特性并没有得到体现。这里针对非光滑凸优化问题,通过巧妙选取动量和步长参数,证明了Adam的改进型具有最优的个体收敛速率,从而说明了Adam同时具有自适应和加速的优点。通过求解 ${l_1}$ 范数约束下的hinge损失问题,实验验证了理论分析的正确性和在算法保持稀疏性方面的良好性能。     

线性插值投影次梯度方法的最优个体收敛速率

投影次梯度算法(projected subgradient method, PSM)是求解非光滑约束优化问题最简单的一阶梯度方法,目前只是对所有迭代进行加权平均的输出方式得到最优收敛速率,其个体收敛速率问题甚至作为open问题被提及.最近,Nesterov和Shikhman在对偶平均方法(dual averaging method, DAM)的迭代中嵌入一种线性插值操作,得到一种拟单调的求解非光滑问题的次梯度方法,并证明了在一般凸情形下具有个体最优收敛速率,但其讨论仅限于对偶平均方法.通过使用相同技巧,提出了一种嵌入线性插值操作的投影次梯度方法,与线性插值对偶平均方法不同的是,所提方法还对投影次梯度方法本身进行了适当的修改以确保个体收敛性.同时证明了该方法在一般凸情形下可以获得个体最优收敛速率,并进一步将所获结论推广至随机方法情形.实验验证了理论分析的正确性以及所提算法在保持实时稳定性方面的良好性能.     

一种解决非光滑伪凸优化问题的新型神经网络

针对带有不等式约束条件的非光滑伪凸优化问题，提出了一种基于微分包含理论的新型递归神经网络模型，根据目标函数与约束条件设计出随着状态向量变化而变化的罚函数，使得神经网络的状态向量始终朝着可行域方向运动，确保神经网络状态向量可在有限时间内进入可行域，最终收敛到原始优化问题的最优解。最后，用两个仿真实验用来验证神经网络的有效性与准确性。与现有神经网络相比，它是一种新型的神经网络模型，模型结构简单，无需计算精确的罚因子，最重要的是无需可行域有界。     

递归神经网络方法解决非光滑伪凸优化问题

针对目标函数为非光滑伪凸函数且带有等式约束和不等式约束的优化问题,基于罚函数以及微分包含的思想,构建一个层次仅为一层且不包含惩罚算子的新型递归神经网络模型。该模型不用提前计算惩罚参数,能够很好地收敛。理论证明全局解存在,模型的状态解能够在有限的时间内进到原目标函数的可行域并不再离开,其状态解最终收敛到目标函数的一个最优解。仿真实验证实了理论结果的可行性。     

梯度有偏情形非光滑问题NAG的个体收敛性

随机优化方法已经成为处理大规模正则化和深度学习优化问题的首选方法,其收敛速率的获得通常都建立在目标函数梯度无偏估计的基础上,但对机器学习问题来说,很多现象都导致了梯度有偏情况的出现.与梯度无偏情形不同的是,著名的Nesterov加速算法NAG(Nesterov accelerated gradient)会逐步累积每次迭代中的梯度偏差,从而导致不能获得最优的收敛速率甚至收敛性都无法保证.近期的研究结果表明,NAG方法也是求解非光滑问题投影次梯度关于个体收敛的加速算法,但次梯度有偏对其影响的研究未见报道.针对非光滑优化问题,证明了在次梯度偏差有界的情况下,NAG能够获得稳定的个体收敛界,而当次梯度偏差按照一定速率衰减时,NAG仍然可获得最优的个体收敛速率.作为应用,得到了一种无需精确计算投影的投影次梯度方法,可以在保持收敛性的同时较快地达到稳定学习的精度.实验验证了理论分析的正确性及非精确方法的性能.     

梯度有偏随机DA优化方法的个体收敛界分析

样本不满足独立同分布会使梯度估计在迭代过程中存在偏差,且最优的个体收敛界在噪声的干扰下无法确定。为此,提出一种线性插值随机对偶平均(DA)优化方法。给出DA方法收敛性的证明,在梯度估计有偏的基础上,求解得到一种线性插值DA随机优化方法不产生累积偏差的个体收敛界,以保证正则化损失函数结构下优化方法的个体收敛精度。实验结果表明,与随机加速方法相比,该方法具有较快的个体收敛速率与较高的收敛精度。     

非单调信赖域方法求解无约束非光滑优化问题

提出了非单调信赖域算法求解无约束非光滑优化问题,并和经典的信赖域方法作比较分析。同时,设定了一些条件,在这些假设条件下证明了该算法是整体收敛的。数值实验结果表明,非单调策略对无约束非光滑优化问题的求解是行之有效的,拓展了非单调信赖域算法的应用领域。     

Heavy-Ball型动量方法的最优个体收敛速率

动量方法作为一种加速技巧被广泛用于提高一阶梯度优化算法的收敛速率.目前,大多数文献所讨论的动量方法仅限于Nesterov提出的加速方法,而对Polyak提出的Heavy-ball型动量方法的研究却较少.特别,在目标函数非光滑的情形下,Nesterov加速方法具有最优的个体收敛性,并在稀疏优化问题的求解中具有很好的效果.但对于Heavy-ball型动量方法,目前仅仅获得了平均输出形式的最优收敛速率,个体收敛是否具有最优性仍然未知.对于非光滑优化问题,通过巧妙地设置步长,证明了Heavy-ball型动量方法具有最优的个体收敛速率,从而说明了Heavy-ball型动量方法可以将投影次梯度方法的个体收敛速率加速至最优.作为应用,考虑了l\\-1范数约束的hinge损失函数优化问题.通过与同类的优化算法相比,实验验证了该理论分析的正确性以及所提算法在保持稀疏性方面的良好性能.     

自适应策略下Heavy-Ball型动量法的最优个体收敛速率

同时使用自适应步长和动量两种优化技巧的AMSGrad在收敛性分析方面存在比自适应步长算法增加一个对数因子的问题.为了解决该问题,文中在非光滑凸情形下,巧妙选取动量和步长参数,证明自适应策略下Heavy-Ball型动量法具有最优的个体收敛速率,说明自适应策略下Heavy-Ball型动量法兼具动量的加速特性和自适应步长对超...     

Averaging of nonsmooth systems using dither

It was shown by Zames and Shneydor and later by Mossaheb that a high-frequency dither signal of a quite arbitrary shape can be used to narrow the effective nonlinear sector of Lipschitz continuous feedback systems. In this paper, it is shown that also discontinuous nonlinearities of feedback systems can be narrowed using dither, as long as the amplitude distribution function of the dither is absolutely continuous and has bounded derivative. The averaged system is proven to approximate the dithered system with an error of the order of dither period.     

元胞遗传算法的收敛性分析和收敛速度估计

元胞遗传算法是空间结构化种群的遗传算法,将遗传操作限制在相邻个体之间进行,限制优势基因的扩散速度,保持种群的多样性,改善遗传算法的性能。但是,目前有关元胞遗传算法收敛性的分析还较缺乏。文中根据元胞遗传算法的特性,建立元胞遗传算法的吸收态 Markov链模型,证明元胞遗传算法的收敛性。提出元胞遗传算法的首达最优解期望时间的估算方法,并估计标准同步元胞遗传算法首达最优解期望时间的上下界。     

机器学习随机优化方法的个体收敛性研究综述

随机优化方法是求解大规模机器学习问题的主流方法,其研究的焦点问题是算法是否达到最优收敛速率与能否保证学习问题的结构。目前,正则化损失函数问题已得到了众多形式的随机优化算法,但绝大多数只是对迭代进行 平均的输出方式讨论了收敛速率,甚至无法保证最为典型的稀疏结构。与之不同的是,个体解能很好保持稀疏性,其最优收敛速率已经作为open问题被广泛探索。另外,随机优化普遍采用的梯度无偏假设往往不成立,加速方法收敛界中的偏差在有偏情形下会随迭代累积,从而无法应用。本文对一阶随机梯度方法的研究现状及存在的问题进行综述,其中包括个体收敛速率、梯度有偏情形以及非凸优化问题,并在此基础上指出了一些值得研究的问题。     

对偶区间集概念格上区间集协调集的判定方法

对偶区间集概念格是将区间集引入到对偶概念格产生的,它将对偶概念的外延与内涵从经典集合推广到区间集,使之成为一种描述不确定性概念的数学方法。而属性约简是数据挖掘的核心内容之一,是一种研究概念格本质特征的方法,它通过删除冗余属性使数据表中概念的获取与表示变得更简洁。文中主要研究对偶区间集概念格上区间集协调集的判定方法。首先基于对偶区间集概念格的同构,引入了区间集协调集,给出了对偶区间集概念格上区间集协调集的一系列判定定理,进而讨论了利用区间集协调集获取区间集属性约简的方法。     

分形图像插值加速收敛方法的改进

图像插值是对数字图像进行不同比例放大过程中必须解决的关键问题。由于分形具有无穷的 细节,采用分形的方法对图像进行插值可以使图像放大后保持较高的视觉分辨率。针对分形图像插 值速度较慢的特点,提出了两种加速收敛的方法,即根据控制学中的有关理论,提出了一种简单易 行的带比较环节的迭代方法,提高迭代收敛速度;此外,尝试一种交叉迭代法,同样达到了加速收敛 的目的。最后,对两种加速方法的实验结果所反映的特点和不足进行了分析和讨论。     

Turbo—CPM系统迭代检测收敛性的研究

根据连续相位调制(CPM)的分解模型,CPM调制可以分解为连续相位编码(CPE)和无记忆调制(MM),基于CPE的记忆和递归特性,结合外部的Turbo码及交织器,建它了Turbo-CPM系统模型.针对短帧系统在迭代检测过程中存在的正反馈现象,设计了一种基于加权外信息交换的迭代检测接收机.理论分析与仿真结果表明:在低信噪比条件下,所设计的接收机不仅能够有效地抑制系统中存在的正反馈现象,改善系统的收敛性,提高系统的误比特率性能,而且减少了平均迭代次数,提高了系统的实时性.     

三网融合时代职业教育物联网技术融入探索

随着电信网、广播电视网和计算机通信网的相互渗透、互相兼容,及逐步整合,智能物流、智能交通、智能家居等物联网应用已率先进入人们的生活中,这一变化带动了物联网相关职业岗位专门人才的大量需求。从微电子、软件、信息技术方面,探讨了物联网技术在高职教育中适度融入的问题,以满足区域经济发展对人才的需求。