非平衡有向网络的完全分布式凸优化

分布式凸优化问题的目的是如何以分布式方法最小化局部智能体成本函数和,而现有分布式算法的控制步长选取依赖于系统智能体个数、伴随矩阵等全局性信息,有悖于分布式算法的初衷.针对此问题,提出一种基于非平衡有向网络的完全分布式凸优化算法(FDCOA).基于多智能体一致性理论和梯度跟踪技术,设计了一种非负余量迭代策略,使得FDCOA的控制步长收敛范围仅与智能体局部信息相关,进而实现控制步长的分布式设置.进一步分析了FDCOA在固定强连通和时变强连通网络情形下的收敛性.仿真结果表明本文构建的分布式控制步长选取方法对FDCOA在有向非平衡下的分布式凸优化问题是有效的.     

非平衡有向网络下带约束的连续时间分布式优化算法设计EI北大核心CSCD

本文基于权重不平衡有向网络,对一类分布式约束优化问题进行研究,其中全局目标函数等于具有李普希兹梯度的强凸目标函数之和,并且每个智能体的状态都有一个局部约束集.每个智能体仅知道自身的局部目标函数和非空约束集.本文的目标是用分布式方法求解该问题的最优解.针对优化问题,提出了一种新的分布式投影梯度连续时间协调算法,利用拉普拉斯矩阵的零特征值对应的左特征向量消除了图的不平衡性.在某些假设下,结合凸分析理论和李雅普诺夫稳定性理论,证明了算法能够获得问题的最优解.最后,通过仿真验证了算法的有效性.     

基于事件驱动的二次凸优化问题分布式优化算法

针对多智能体系统中等式约束下的二次凸优化问题,给出一种事件驱动机制下的分布式优化算法.该算法可以降低每个智能体控制协议的更新频率以及智能体之间的通信负担.基于图论和李雅普诺夫函数方法给出两种不同的事件触发条件,其中第2种事件触发条件不需要拉普拉斯矩阵的最大特征根的信息,可实现算法全分布式实施.两种事件触发条件均可实现算法渐近收敛到优化值,避免智能体控制协议的连续更新以及智能体之间的连续通信,同时保证每个智能体相邻事件触发时刻的时间间隔大于0,避免持续事件触发.将所提出的算法应用于Matlab仿真环境中进行仿真验证,仿真结果验证了所提出算法的有效性.     

基于自适应精确罚函数的分布式资源分配算法

在多智能体系统中, 分布式资源分配问题是近年来研究热点之一. 分布式资源分配问题旨在通过智能体间信息交互实现资源最优配置. 其中智能体局部约束给算法设计带来巨大挑战. 首先, 针对一阶多智能体系统, 提出基于自适应精确罚函数的分布式资源分配算法, 其中各智能体利用距离函数实现局部约束求解. 此外, 自适应设计思想旨在避免算法对全局先验知识获取. 其次, 利用跟踪技术实现二阶多智能体系统算法设计. 并利用凸函数和非光滑分析法给出严谨的收敛性分析. 最后, 仿真结果验证了本文所设计优化算法对强凸分布式资源分配问题的有效性.     

有向网络分布式优化的Barzilai-Borwein梯度跟踪方法

本文研究有向网络上的分布式优化问题, 其全局目标函数是网络上所有光滑强凸局部目标函数的平均值.受Barzilai-Borwein步长改善梯度方法表现的启发, 本文提出了一种分布式Barzilai-Borwein梯度跟踪方法. 与文献中使用固定步长的分布式梯度算法不同, 所提出的方法中每个智能体利用其局部梯度信息自动地计算其步长. 通过同时使用行随机和列随机权重矩阵, 该方法避免了由特征向量估计引起的计算和通信. 当目标函数是光滑和强凸函数时, 本文证明了该算法产生的迭代序列可以线性地收敛到最优解. 对分布式逻辑回归问题的仿真结果验证了所提出的算法比使用固定步长的分布式梯度算法表现更好     

多运动体分布式最优编队构型形成算法

针对分布式通信条件下的多运动体编队构型形成问题进行研究.考虑到个体的有限通信与感知能力,传统集中式求解算法无法适应实际需求,提出一种基于分布式交替映射凸优化的分布式时间最优编队构型形成算法,使得个体间仅依赖局部通信与局部计算实现编队构型的快速形成;将该问题建模为含有等式约束的分布式Minimax凸优化问题,提出基于虚拟等式约束函数的分布式交替映射凸优化算法实现求解;根据求解结果,各运动体采用RVO避障策略实现最优构型形成.针对含有100个运动体的最优编队构型形成问题进行仿真,验证了所提出算法的有效性.     

基于鞍点法的自适应分布式资源分配算法

研究一类带有不等式约束为凸函数的多智能体系统分布式资源分配问题.在资源分配问题中,各智能体拥有仅自身可知的局部成本函数和局部凸不等式约束.分布式资源分配旨在如何利用智能体间的信息交互设计一种分布式优化算法,完成定量资源分配的同时还保证最小化全局成本函数.针对该问题,基于卡罗需-库恩-塔克条件和比例积分控制思想,首先提出一种自适应分布式优化算法,其中凸不等式约束的对偶变量可实现自适应获取;然后,为了降低系统的通信资源消耗,设计一种动态事件触发控制策略以实现离散时间通信的分布式资源分配算法;最后,通过数值仿真验证所设计算法的有效性.     

分布式遗传退火算法求解分布式配置问题

利用分布式约束满足的方法求解分布式配置问题时,在过约束和欠约束条件下都不能得到令人满意的结果,文中将分布式配置问题抽象为分布式组合最优化问题,把遗传退火算法扩展到分布式计算环境以求解分布式配置问题,以SOAP为基础搭建实验平台,在各种约束情况下,文中算法都给出了令人满意的实验结果,可见分布式遗传退火算法可以求解各种约束条件下的分布式配置问题。     

自组织分治求解分布式约束优化问题

分布式约束优化问题(DCOP)是在大规模、开放、动态网络环境中的优化问题,在计算网格、多媒体网络、电子商务、企业资源规划等领域中都有广泛应用.除了具有传统优化问题的非线性、约束性等特点,DCOP还具有动态演化、信息区域化、控制局部化、网络状态异步更新等特点.寻求一种解决DCOP的大规模、并行、具有智能特征的求解方法已成为一个具有挑战性的研究课题.目前已提出多种求解DCOP的算法,但大多不是完全分散的算法,存在集中环节,需要网络的全局结构作为输入,不适合处理由规模巨大、地理分布、控制分散等因素导致的全局结构难以获取的分布式网络.针对该问题,提出一个基于自组织行为的分治策略求解DCOP.在不具有全局网络知识的情况下,分布在网络中的多个自治Agent基于局部感知信息、采用自组织的方式协作求解.与已有算法相比,它是一个完全分散式算法,并在求解效率和求解质量方面都展现出很好的性能.     

带事件触发机制的分布式量化随机无梯度投影算法

本文研究多智能体系统的分布式约束优化问题,系统中的每个智能体仅知道自身的局部目标函数和全局非空约束集,通过与邻居节点进行信息交互,最终协同求出优化问题的最优解.本文所提出的算法针对通信网络为时变不平衡有向图,且每个智能体不知道它的出度的情况.同时考虑到现实中通信带宽有限和通讯成本的限制,应用基于编译码方案的量化技术对节...     

分布式优化: 算法设计和收敛性分析

近年来,随着高科技的蓬勃发展,特别是云计算和大数据等新兴领域的出现,分布式优化理论和应用得到了越来越多的重视,并逐渐渗透到科学研究、工程应用和社会生活的各个方面,分布式优化是通过多智能体之间的合作协调有效地实现优化的任务,可用来解决许多集中式算法难以胜任的大规模复杂的优化问题.如今如何设计出有效的分布式优化算法并对其进行收敛性和复杂性的分析成了优化研究的主要任务之一.与集中式算法的主要区别在于分布式算法还不得不考虑通讯和协调在优化中起到的重要作用.本文集中讨论了近年来分布式优化研究中的一些典型热门的研究问题,从一个侧面介绍了包括无约束优化、带约束优化、以及分布式博弈等方向的部分最新成果.同时也比较详尽地论述了笔者最近的相关研究成果.最后,本文简要地对分布式优化的研究和应用前景进行了展望.     

Skyline计算研究综述

近年来,skyline计算以其在多目标决策、数据挖掘、数据库可视化等方面的潜在应用引起了越来越多研究者的关注。集中式skyline计算作为最早的研究重点得到了深入的研究,许多有效的skyline计算算法被提出来,例如BNL、NN、BBS等等。其中,BBS被认为是当前最佳的集中式skyline计算算法。分布式skyline计算的研究也取得了明显进展,已有的工作分别对面向分布式数据库、移动自组织网络和对等网络等的skyline计算进行了探索。Skyline计算还被扩展为其它更复杂的计算问题,包括任意子空间上的skyline,所有子空间上的skyline,k-支配的skyline,空间skyline计算等等。然而,迄今为止,国内外还没有一篇论文对sky-line计算技术作过全面的分析与评述。对skyline计算技术进行系统的综述。在介绍已有代表性算法的基础上,通过分析它们的特点和比较它们的性能,总结了各算法的优势和不足,并指出了skyline计算的未来发展方向。     

可扩展机器学习的并行与分布式优化算法综述

机器学习问题通常会转换成一个目标函数去求解,优化算法是求解目标函数中参数的重要工具.在大数据环境下,需要设计并行与分布式的优化算法,通过多核计算和分布式计算技术来加速训练过程.近年来,该领域涌现了大量研究工作,部分算法也在各机器学习平台得到广泛应用.本文针对梯度下降算法、二阶优化算法、邻近梯度算法、坐标下降算法、交替方向乘子算法五类最常见的优化方法展开研究,每一类算法分别从单机并行和分布式并行来分析相关研究成果,并从模型特性、输入数据特性、算法评价、并行计算模型等角度对每个算法进行详细对比.随后对有代表性的可扩展机器学习平台中优化算法的实现和应用情况进行对比分析.同时对本文中介绍的所有优化算法进行多层次分类,方便用户根据目标函数类型选择合适的优化算法,也可以通过该多层次分类图交叉探索如何将优化算法应用到新的目标函数类型.最后分析了现有优化算法存在的问题,提出可能的解决思路,并对未来研究方向进行展望.     

Influence-based model decomposition for reasoning about spatially distributed physical systems

Many important science and engineering applications, such as regulating the temperature distribution over a semiconductor wafer and controlling the noise from a photocopy machine, require interpreting distributed data and designing decentralized controllers for spatially distributed systems. Developing effective computational techniques for representing and reasoning about these systems, which are usually modeled with partial differential equations (PDEs), is one of the major challenge problems for qualitative and spatial reasoning research.

This paper introduces a novel approach to decentralized control design, influence-based model decomposition, and applies it in the context of thermal regulation. Influence-based model decomposition uses a decentralized model, called an influence graph, as a key data abstraction representing influences of controls on distributed physical fields. It serves as the basis for novel algorithms for control placement and parameter design for distributed systems with large numbers of coupled variables. These algorithms exploit physical knowledge of locality, linear superposability, and continuity, encapsulated in influence graphs representing dependencies of field nodes on control nodes. The control placement design algorithms utilize influence graphs to decompose a problem domain so as to decouple the resulting regions. The decentralized control parameter optimization algorithms utilize influence graphs to efficiently evaluate thermal fields and to explicitly trade off computation, communication, and control quality. By leveraging the physical knowledge encapsulated in influence graphs, these control design algorithms are more efficient than standard techniques, and produce designs explainable in terms of problem structures.     

面向多GPU的图神经网络训练加速

图神经网络由于其强大的表示能力和灵活性最近取得了广泛的关注. 随着图数据规模的增长和显存容量的限制, 基于传统的通用深度学习系统进行图神经网络训练已经难以满足要求, 无法充分发挥GPU设备的性能. 如何高效利用GPU硬件进行图神经网络的训练已经成为该领域重要的研究问题之一. 传统做法是基于稀疏矩阵乘法, 完成图神经网络中的计算过程, 当面对GPU显存容量限制时, 通过分布式矩阵乘法, 把计算任务分发到每个设备上, 这类方法的主要不足有: (1)稀疏矩阵乘法忽视了图数据本身的稀疏分布特性, 计算效率不高; (2)忽视了GPU本身的计算和访存特性, 无法充分利用GPU硬件. 为了提高训练效率, 现有一些研究通过图采样方法, 减少每轮迭代的计算带价和存储需求, 同时也可以支持灵活的分布式拓展, 但是由于采样随机性和方差, 它们往往会影响训练的模型精度. 为此, 提出了一套面向多GPU的高性能图神经网络训练框架, 为了保证模型精度, 基于全量图进行训练, 探索了不同的多GPU图神经网络切分方案, 研究了GPU上不同的图数据排布对图神经网络计算过程中GPU性能的影响, 并提出了稀疏块感知的GPU访存优化技术. 基于C++和CuDNN实现了该原型系统, 在4个不同的大规模GNN数据集上的实验表明: (1)通过图重排优化, 提高了GPU约40%的缓存命中率, 计算加速比可达2倍; (2)相比于现有系统DGL, 取得了5.8倍的整体加速比.     

基于通信负载均衡的社交网络图分割方法

海量社交网络数据中蕴含着丰富的信息,图论是挖掘这些信息的重要方法之一。面对日益增多的图数据,分布式计算成为处理大规模图数据的有效手段。在分布式图计算中,通信所消耗的时间占有很大的比例,通过图分割算法的设计可以有效地降低通信量并实现负载均衡,从而提高分布式图计算的效率,典型的例子包括Metis图分割算法。但是,用现有的图分割算法处理非均衡图数据会造成各个子图之间通信量不均衡,从而影响了计算效率。为了解决这一问题,提出一种新的图分割方法：通信均衡标签交换方法。该方法在保持子图规模一致的基础上,既降低了全图计算所需的通信量,又使各个子图之间的通信量达到均衡。实验结果表明,与Metis等典型的图分割算法相比,提出的图分割方法在各种数据集和集群配置情况下,能降低6%~30%的图计算时间,充分显示了该方法的有效性。     

分布式深度学习训练网络综述

近年来深度学习在图像、语音、自然语言处理等诸多领域得到广泛应用,但随着人们对深度学习的训练速度和数据处理能力的需求不断提升,传统的基于单机的训练过程愈发难以满足要求,分布式的深度学习训练方法成为持续提升算力的有效途径其中训练过程中节点间网络的通信性能至关重要,直接影响训练性能分析了分布式深度学习中的性能瓶颈,在此基础上...     

面向大数据分析的分布式矩阵计算系统研究进展

在大数据治理应用中,数据分析是必不可少的一环,且具有耗时长、计算资源需求大的特点,因此,优化其执行效率至关重要.早期由于数据规模不大,数据分析师可以利用传统的矩阵计算工具执行分析算法,然而随着数据量的爆炸式增长,诸如MATLAB等传统工具已无法满足应用需求的执行效率,进而涌现出了一批面向大数据分析的分布式矩阵计算系统.从技术、系统等角度综述了分布式矩阵计算系统的研究进展.首先,从发展成熟的数据管理领域的视角出发,剖析分布式矩阵计算系统在编程接口、编译优化、执行引擎、数据存储这4个层面面临的挑战;其次,分别就这4个层面展开,探讨、总结相关技术;最后,总体分析了典型的分布式矩阵计算系统,并展望了未来研究的发展方向.     

基于星形互连网络的并行快速傅立叶变换算法

星形互连网络是一种易于实现大规模并行计算的互连网络拓扑结构。利用星形互连网络的递归可分解性的多样性，提出了一种基于星形互连网络的并行快速傅立叶变换算法的实现方法。该方法能够有效地减少计算过程中处理器结点之间的通信开销。提出的星图结点和数据的映射应运 及实现并行FFT的思想可推广到线性方程组求解、矩阵乘法等其它并行算法在星形互连网络上的实现。     

Weighted steepest descent method for solving matrix equations

This paper describes iterative methods for solving the general linear matrix equation including the well-known Lyapunov matrix equation, Sylvester matrix equation and some related matrix equations encountered in control system theory, as special cases. We develop the methods from the optimization point of view in the sense that the iterative algorithms are constructed to solve some optimization problems whose solutions are closely related to the unique solution to the linear matrix equation. Actually, two optimization problems are considered and, therefore, two iterative algorithms are proposed to solve the linear matrix equation. To solve the two optimization problems, the steepest descent method is adopted. By means of the so-called weighted inner product that is defined and studied in this paper, the convergence properties of the algorithms are analysed. It is shown that the algorithms converge at least linearly for arbitrary initial conditions. The proposed approaches are expected to be numerically reliable as only matrix manipulation is required. Numerical examples show the effectiveness of the proposed algorithms.