分布式采样理论综述

采样是一类基本的计算问题.从一个解空间中依特定概率分布进行随机采样,这一问题在近似计数、概率推断、统计学习等方面都有着诸多重要的应用.在大数据时代,采样问题的分布式算法与分布式计算复杂性受到越来越多的关注.近年来,有一系列的工作对分布式采样理论展开系统性的研究.综述了分布式采样的重要结论,主要包括有严格理论保障的分布式采样算法、采样问题在分布式模型上的计算复杂性以及采样与推断等问题在分布式计算模型中的相互联系.     

分布式梅特罗波利斯算法:收敛条件与最优并行加速

梅特罗波利斯算法(Metropolis algorithm)是一种基本的马尔可夫链蒙特卡罗(Markov chain Monte Carlo,MCMC)采样技术,可用于从概率图模型所表示的高维概率分布(即吉布斯(Gibbs)分布)中进行随机采样.传统的梅特罗波利斯算法是一个串行算法.关于其快速收敛性的一个经典结论是:当...