多个体网络分布式随机投影无梯度优化算法

研究了有向多个体网络的无梯度优化问题,提出了一种分布式随机投影无梯度优化算法。假定网络的优化目标函数可分解成所有个体的目标函数之和,每个个体仅知其自身的目标函数及其自身的状态约束集。运用无梯度方法解决了因个体目标函数可能非凸而引起的次梯度无法计算问题,并结合随机投影算法解决了约束集未知或约束集投影运算受限的问题。在该算法作用下,所有个体状态几乎必然收敛到优化集内,并且网络目标函数得到最优。     

改进的多载波码分多址系统多址干扰抑制算法

为了抑制多载波码分多址（MC-CDMA）系统中的多址干扰,提出了一种基于自适应并行次梯度投影的多址干扰抑制算法。它首先根据接收端信号模型建立包含最优干扰抑制滤波器系数并具有随机属性的凸集,然后运用并行次梯度投影的思想将对该凸集的投影转化为对多个闭合半平面的投影,最后将更新后的干扰抑制滤波器系数矢量投影到限定集合上。理论分析和仿真结果表明,该算法具有快速收敛性和稳定的干扰抑制性能,在不同的噪声强度下都具有较低的误码率和较高的鲁棒性。     

基于次梯度的L1正则化Hinge损失问题求解研究

Hinge损失函数是支持向量机(support vector machines,SVM)成功的关键,L1正则化在稀疏学习的研究中起关键作用.鉴于两者均是不可导函数,高阶梯度信息无法使用.利用随机次梯度方法系统研究L1正则化项的Hinge损失大规模数据问题求解.首先描述了直接次梯度方法和投影次梯度方法的随机算法形式,并对算法的收敛性和收敛速度进行了理论分析.大规模真实数据集上的实验表明,投影次梯度方法对于处理大规模稀疏数据具有更快的收敛速度和更好的稀疏性.实验进一步阐明了投影阈值对算法稀疏度的影响.     

次梯度投影算子求解图像重建问题的并行策略

将次梯度投影迭代算法应用到数字图像重建问题。将图像重建问题转化为求一个加权最小二乘问题,导出次梯度投影算子在该问题下的具体迭代形式,并采用并行计算策略重建算法。通过三维数值实验对比次梯度投影迭代算法与常用的SART算法,验证算法的可行性和效率。     

基于随机神经网络的多步网络时延预测模型

网络时延的动态变化反映了网络路径的负载特征,对时延的精确预测是实施网络拥塞控制、路由选择的重要依据,建立了基于随机神经网络的时延预测模型,该模型克服了传统时间序列预测方法受随机干扰因素影响大、模型结构辨识过程繁琐,以及传统神经网络预测方法易于陷入局部极值、偏离全局最优的缺点.仿真实验表明,在提前单步和多步的预测中该模型比AR模型、RBF神经网络预测算法的准确度更高.     

切换网络分布式次梯度优化算法

研究了切换网络的多个体分布式次梯度优化算法。在有向切换网络是周期强连通的且对应的邻接矩阵是随机的而非双随机的条件下,利用非二次李雅普诺夫函数方法证明了所提多个体分布式次梯度优化算法的收敛性。最后,通过仿真实例验证了所提算法的有效性。     

具有一步随机时滞和多丢包的网络系统H∞滤波器设计

在网络系统中由于连接传感器和滤波器的网络带宽有限,系统测量数据在传输中会出现随机时延甚至丢失. 本文讨论了具有一步随机时延和丢包的网络系统的H∞滤波器设计问题.基于新近提出的同时描述随机时延和丢包的模型,利用线性矩阵不等式方法设计线性滤波器,使得滤波误差系统均方指数稳定,并具有给定的H∞性能. 滤波器参数通过求解一个线性矩阵不等式得到.仿真研究说明了所提出算法的有效性.     

传输合同约束下编码分组网络的效用最大化研究

研究在传输合同约束条件下当编码子图给定时编码分组网络的效用最大化问题。基于提出的网络效用最大化模型,通过对偶分解理论,提出了分布式的次梯度投影算法,证明了算法收敛的充分条件,最后通过仿真验证了算法的正确性。     

多个体切换网络分布式量化次梯度优化算法

由于已有的分布式次梯度算法大多基于理想的假设：网络拓扑是有向平衡的,构成网络的个体间通信的是各个个体某个状态变量的完全精确的信息。针对更一般的非平衡切换网络以及实际生活中网络通道的带宽限制,提出一种基于有限量化信息通信的切换网络分布式量化次梯度优化算法。在非平衡切换网络中,通过设计具有有限量化水平的一致量化器使所有信息在发送之前都经过量化,利用非二次李雅普诺夫函数方法,证明了所提出的多个体分布式量化次梯度优化算法的收敛性。最后仿真实例验证了所提算法的有效性,而且通过调节量化水平参数,在相同的带宽条件下,可提高信息传输速率,使网络中的个体更快地达到一致。该方法弱化了对刻画网络拓扑的邻接矩阵的假设及对网络带宽的要求,更具实用性。     

网络控制系统中在线时延测量及时延补偿

为了克服网络控制系统中随机时延对控制性能产生的影响,提出了基于在线时延测量和一步预测输出(基于在线参数辨识)的随机时延补偿方法。通过对以太网中随机时延的分析,提出一种在以太网中不存在同步时钟的情况下在线测量时延的方法;在在线辨识模型参数基础上,得到对象一步(随机时延小于一个采样周期)预测输出,从而根据测得的时延得到对象由于随机时延而引起的输出量变化;再用变化量加上对象输出量用于控制算法反馈。最后通过基于以太网控制实验平台对液位对象进行控制所得的结果,验证了时延测量方法和随机时延补偿算法的有效性。     

非均匀选择概率下异步随机Gossip共识算法及优化

异步随机Gossip算法火都采用以均匀选择概率为基础的时间模型,并未充分考虑网络拓扑结构对智能体获取信息的影响,为此本文提出了一种更为合理的基于非均匀选择概率的异步随机Gossip算法.首先给出了非均匀选择概率下的异步时间模型,在概率意义下分析了算法的收敛性.算法的收敛速度取决于概率化权重矩阵的第2大特征值,并利用投影次梯度算法给出了选择概率优化方法.仿真分析表明,在非均匀选择概率下可通过对各智能体选择概率的优化,改善算法的收敛速度,并且弥补了传统的通信概率矩阵优化方法受制于网络拓扑结构的不足.     

无线传感网络中拥塞控制与路由的跨层设计:分布式牛顿法

无线传感网络应用广泛, 其性能与路由选择和拥塞控制密切相关. 致力于拥塞控制与多径路由的跨层优化, 以实现在链路容量受限和节点能量受限情况下的无线传感网络效用最大化. 针对对偶次梯度算法具有收敛速度慢与信息交互量大等缺陷, 设计了具有二阶收敛性能的分布式牛顿算法来实现网络效用最大化. 通过矩阵分裂技术, 实现了只需单跳信息交互的牛顿对偶方向的分布式求解方法. 仿真结果表明, 分布式牛顿算法的收敛性能显著优于对偶次梯度算法.     

Distributed Subgradient Methods for Multi-Agent Optimization

We study a distributed computation model for optimizing a sum of convex objective functions corresponding to multiple agents. For solving this (not necessarily smooth) optimization problem, we consider a subgradient method that is distributed among the agents. The method involves every agent minimizing his/her own objective function while exchanging information locally with other agents in the network over a time-varying topology. We provide convergence results and convergence rate estimates for the subgradient method. Our convergence rate results explicitly characterize the tradeoff between a desired accuracy of the generated approximate optimal solutions and the number of iterations needed to achieve the accuracy.     

Distributed projection subgradient algorithm for two-network zero-sum game with random sleep scheme

In this paper, a zero-sum game Nash equilibrium computation problem with a common constraint set is investigated under two time-varying multi-agent subnetworks, where the two subnetworks have opposite payoff function. A novel distributed projection subgradient algorithm with random sleep scheme is developed to reduce the calculation amount of agents in the process of computing Nash equilibrium. In our algorithm, each agent is determined by an independent identically distributed Bernoulli decision to compute the subgradient and perform the projection operation or to keep the previous consensus estimate, it effectively reduces the amount of computation and calculation time. Moreover, the traditional assumption of stepsize adopted in the existing methods is removed, and the stepsizes in our algorithm are randomized diminishing. Besides, we prove that all agents converge to Nash equilibrium with probability 1 by our algorithm. Finally, a simulation example verifies the validity of our algorithm.     

梯度有偏情形非光滑问题NAG的个体收敛性

随机优化方法已经成为处理大规模正则化和深度学习优化问题的首选方法,其收敛速率的获得通常都建立在目标函数梯度无偏估计的基础上,但对机器学习问题来说,很多现象都导致了梯度有偏情况的出现.与梯度无偏情形不同的是,著名的Nesterov加速算法NAG(Nesterov accelerated gradient)会逐步累积每次迭代中的梯度偏差,从而导致不能获得最优的收敛速率甚至收敛性都无法保证.近期的研究结果表明,NAG方法也是求解非光滑问题投影次梯度关于个体收敛的加速算法,但次梯度有偏对其影响的研究未见报道.针对非光滑优化问题,证明了在次梯度偏差有界的情况下,NAG能够获得稳定的个体收敛界,而当次梯度偏差按照一定速率衰减时,NAG仍然可获得最优的个体收敛速率.作为应用,得到了一种无需精确计算投影的投影次梯度方法,可以在保持收敛性的同时较快地达到稳定学习的精度.实验验证了理论分析的正确性及非精确方法的性能.     

带事件触发机制的分布式量化随机无梯度投影算法

本文研究多智能体系统的分布式约束优化问题,系统中的每个智能体仅知道自身的局部目标函数和全局非空约束集,通过与邻居节点进行信息交互,最终协同求出优化问题的最优解.本文所提出的算法针对通信网络为时变不平衡有向图,且每个智能体不知道它的出度的情况.同时考虑到现实中通信带宽有限和通讯成本的限制,应用基于编译码方案的量化技术对节点之间的通讯信息进行预处理,再利用事件触发广播技术降低网络的通信次数.同时引入高斯光滑函数和随机无梯度方法替代传统的次梯度方法.本文提出了基于事件触发的分布式量化随机无梯度算法,在目标函数为凸且Lipschitz连续的条件下,证明了所提算法能收敛到最优值的邻域,同时给出了使量化器不饱和量化水平更新规则.最后通过数值仿真验证了算法的有效性和可行性.