基于变分贝叶斯推断的字典学习算法

传统的字典学习算法在对训练图像进行学习时收敛速率慢,当图像受到噪声干扰时学习效果变差.对此,提出一种基于变分推断的字典学习算法.首先设定模型中各参数的共轭稀疏先验分布;然后基于贝叶斯网络求出所有参数的联合概率密度函数;最后利用变分贝叶斯推断原理计算出各参数的最优边缘分布,训练出自适应学习字典.利用该字典进行图像去噪实验以及压缩感知重构实验,仿真结果表明,所提出的算法可显著提高字典学习效率,对测试图像的去噪效果和重构精度有很大改善.     

基于局部变分贝叶斯推断的分布式交互式多模型估计

针对目前部分多模型算法预先设定运动模型转移概率矩阵对状态估计精度的不利影响,本文提出了一种基于局部变分贝叶斯推断的分布式交互式多模型估计算法.不同于传统交互式多模型估计中运动模型转移概率矩阵为先验已知的假设条件,在分布融合估计框架下,首先基于最小化Kullback-Leibler散度准则的递归优化策略实现对运动模型转移概率矩阵的预测与更新;在此基础上,结合变分贝叶斯推断实现对当前时刻目标状态与模型概率的联合估计;最后依据协方差交叉融合策略完成对局部状态估计融合.仿真结果表明:新算法通过对运动模型转移概率矩阵以及模型概率自适应在线估计,有效提升了机动目标的状态估计精度.     

基于扩散方法的分布式随机变分推断算法

分布式网络上的聚类、估计或推断具有广泛的应用,因此引起了许多关注.针对己有的分布式变分贝叶斯(Vari-ational Bayesian,VB)算法效率低,可扩展性差的问题,本文借用扩散方法提出了一种新的分布式随机变分推断(Stochastic variational inference,SVI)算法,其中我们选择自然...     

子空间聚类的非参数模型及变分贝叶斯学习

子空间聚类的目标是在不同的特征子集上对给定的一组数据归类.此非监督学习方法试图发现数据"在不同表达下的相似"模式,并且引起了相关领域大量的关注和研究.首先扩展Hoff提出的"均值与方差平移"模型为一个新的基于特征子集的非参数聚类模型,其优点是能应用变分贝叶斯方法学习模型参数.此模型结合Dirichlet过程混合模型和选择特征子集的非参数模型,能自动选择聚类个数和进行子空间聚类.然后给出基于马尔可夫链蒙特卡罗的参数后验推断算法.出于计算速度上的考虑,提出应用变分贝叶斯方法学习模型参数.在仿真数据上的实验结果及在人脸聚类问题上的应用均表明了此模型能同时选择相关特征和在这些特征上具有相似模式的数据点.在UCI"多特征数据库"上应用无需抽样的变分贝叶斯方法,其实验结果说明此方法能快速推断模型参数.     

折棍变分贝叶斯图像分割算法

为提高图像分割的抗噪鲁棒性并解决分割数目的自适应确定问题,通过在聚类标签先验概率的折棍构造过程中建立Markov随机场,将空间相关性约束引入Dirichlet过程混合模型的概率建模,使聚类的空间平滑性得以增强,并采用变分推断方法获得聚类标签的收敛解析解,提出一种基于折棍变分贝叶斯推断的图像分割算法,实现了对像素聚类标签和分割数目的同步自适应学习,避免了传统方法中因引入空间相关性约束而出现的计算复杂问题.基于Berkeley BSD500图像测试数据集的数值实验结果表明,该算法具有比现有的混合模型聚类图像分割算法更高的PRI值,且在低于0.1的噪声方差条件下表现出了更优的抗噪鲁棒性.     

基于变分贝叶斯算法的青霉素发酵过程建模

青霉素发酵过程具有明显的阶段特征,同时由于操作条件多变、生产环境复杂等原因导致其存在极大的不确定性,故本文在变分贝叶斯框架下建立了青霉素浓度预测的FIR融合模型。首先选取调度变量对发酵阶段进行划分,然后基于变分贝叶斯算法辨识得到各FIR子模型的参数,最后根据阶段特征计算样本隶属于各子模型的概率并融合子模型的输出得到青霉素浓度的预测值。文中利用工业规模青霉素发酵罐的实际数据进行仿真实验,模型预测青霉素浓度的相关误差为0.24%,表明提出模型具有较高的拟合度,能够更为精准的预测青霉素浓度并适应实际的复杂工业环境。     

基于自适应LASSO先验的稀疏贝叶斯学习算法

为了提高稀疏信号恢复的准确性, 开展了基于自适应套索算子(Least absolute shrinkage and selection operator, LASSO)先验的稀疏贝叶斯学习(Sparse Bayesian learning, SBL)算法研究. 1) 在稀疏贝叶斯模型构建阶段, 构造了一种新的多层贝叶斯框架, 赋予信号中元素独立的LASSO先验. 该先验比现有稀疏先验更有效地鼓励稀疏并且该模型中所有参数更新存在闭合解. 然后在该多层贝叶斯框架的基础上提出了一种基于自适应LASSO先验的SBL算法. 2) 为降低提出的算法的计算复杂度, 在贝叶斯推断阶段利用空间轮换变元方法对提出的算法进行改进, 避免了矩阵求逆运算, 使参数更新快速高效, 从而提出了一种基于自适应LASSO先验的快速SBL算法. 本文提出的算法的稀疏恢复性能通过实验进行了验证, 分别针对不同大小测量矩阵的稀疏信号恢复以及单快拍波达方向(Direction of arrival, DOA)估计开展了实验. 实验结果表明: 提出基于自适应LASSO先验的SBL算法比现有算法具有更高的稀疏恢复准确度; 提出的快速算法的准确度略低于提出的基于自适应LASSO先验的SBL算法, 但计算复杂度明显降低.     

基于不确定模型误差系统的变分贝叶斯STCKF

强跟踪容积卡尔曼滤波器在对含有模型误差和时变噪声的非线性系统进行滤波时, 容易出现性能降低甚至发散. 鉴于此, 提出一种基于变分贝叶斯的强跟踪容积卡尔曼滤波算法. 该算法运用虚拟噪声法补偿模型误差, 假设虚拟噪声均值非零, 且满足高斯分布, 虚拟噪声方差服从逆gamma分布, 在强跟踪容积卡尔曼滤波器估计状态的同时, 采用变分贝叶斯推理估计虚拟噪声参数. 仿真结果表明, 所提出算法对含模型误差与时变噪声的非线性系统具有较好的估计精度, 相比于自适应算法具有更强的鲁棒性.     

基于不确定性的多元时间序列分类算法研究

多元时间序列(Multivariate time series, MTS)分类是许多领域中的重要问题,准确的分类结果可以有效地帮助决策.当前的MTS分类算法在个体的表征学习阶段难以自动建模多元变量之间复杂的交互关系,并且无法评估分类结果的可信度,这会导致模型性能受限,以及缺乏具备统计意义的可靠性解释.本文提出了一种基于不确定性的多元时间序列分类算法,变分贝叶斯共享图神经网络,即VBSGNN (Variational Bayes shared graph neural network).首先通过图神经网络(Graph neural network, GNN)提取多元变量之间的交互特征,然后利用贝叶斯神经网络(Bayesian neural network, BNN)为预测过程引入了不确定性.最后在10个公开MTS数据集上进行了算法实验,并与当前提出的7类算法进行了比较,结果表明VBSGNN可有效学习多元变量之间的交互关系,提升了分类效果,并使得模型具备一定的可靠性评估能力.     

翻译规则剪枝与基于半强制解码和变分贝叶斯推理的模型训练

统计机器翻译一般采用启发式方法训练翻译模型。但启发式方法的理论基础不够完善,因此,会导致翻译模型规模庞大以及模型参数精确率不高。针对以上两个问题,该文提出一种基于变分贝叶斯推理的模型训练方法,形成更精确的精简翻译模型。该方法首先通过强制解码对齐语料,然后利用变分贝叶斯EM算法获得模型参数。该文的实验语料为NIST汉英翻译任务数据,实验结果显示,基于句法(基于短语)的统计机器翻译中,超过95%(76%)的规则被剪枝,且BLEU值显著提高。     

离散动态贝叶斯网络推理的编程计算算法

离散动态贝叶斯网络是对时间序列进行建模和推理的重要工具,具有广泛的建模应用价值,但是其推理算法还有待进一步完善。针对构离散动态贝叶斯网络的推理算法难以理解、编程计算难、推理速度慢的问题,给出了实现离散动态贝叶斯推理算法的数据结构,推导了进行计算机编程计算的推理算法和编程步骤,并通过实例进行了算理验证。     

Variational Inference Based Kernel Dynamic Bayesian Networks for Construction of Prediction Intervals for Industrial Time Series With Incomplete Input

Prediction intervals (PIs) for industrial time series can provide useful guidance for workers. Given that the failure of industrial sensors may cause the missing point in inputs, the existing kernel dynamic Bayesian networks (KDBN), serving as an effective method for PIs construction, suffer from high computational load using the stochastic algorithm for inference. This study proposes a variational inference method for the KDBN for the purpose of fast inference, which avoids the time-consuming stochastic sampling. The proposed algorithm contains two stages. The first stage involves the inference of the missing inputs by using a local linearization based variational inference, and based on the computed posterior distributions over the missing inputs the second stage sees a Gaussian approximation for probability over the nodes in future time slices. To verify the effectiveness of the proposed method, a synthetic dataset and a practical dataset of generation flow of blast furnace gas (BFG) are employed with different ratios of missing inputs. The experimental results indicate that the proposed method can provide reliable PIs for the generation flow of BFG and it exhibits shorter computing time than the stochastic based one.      

Variational Bayesian data analysis on manifold

In this paper, variational inference is studied on manifolds with certain metrics. To solve the problem, the analysis is first proposed for the variational Bayesian on Lie group, and then extended to the manifold that is approximated by Lie groups. Then the convergence of the proposed algorithm with respect to the manifold metric is proved in two iterative processes: variational Bayesian expectation (VB-E) step and variational Bayesian maximum (VB-M) step. Moreover, the effective of different metrics for Bayesian analysis is discussed.     

基于改进贝叶斯概率模型的推荐算法

针对现有基于矩阵分解的协同过滤推荐系统预测精度与推荐精度较低的问题,提出一种改进的矩阵分解方法与协同过滤推荐系统。首先,将评分矩阵分解为两个非负矩阵,并对评分做归一化处理,使其具有概率语义;然后,采用变分推理法计算贝叶斯概率模型实部后验的分布;最后,搜索相同偏好的用户分组并预测用户的偏好。此外,基于用户向量的稀疏性设计一种低计算复杂度、低存储成本的推荐结果决策算法。基于3组公开数据集的实验结果表明,本算法的预测性能以及推荐系统的效果均优于其他预测算法与推荐算法。     

Mean-field variational approximate Bayesian inference for latent variable models

The ill-posed nature of missing variable models offers a challenging testing ground for new computational techniques. This is the case for the mean-field variational Bayesian inference. The behavior of this approach in the setting of the Bayesian probit model is illustrated. It is shown that the mean-field variational method always underestimates the posterior variance and, that, for small sample sizes, the mean-field variational approximation to the posterior location could be poor.     

网页自动分类不确定性问题的贝叶斯网络解法

针对网页自动分类中存在的类边界模糊、语料不均匀等引起的分类不确定性问题,提出了贝叶斯网络自动分类融合模型和融合算法,该模型和算法基于网页上多种信息进行融合,并采用不同的与处理方法分别对多种信息进行处理,将处理后的信息输入到贝叶斯网络融合中心进行融合推理,得到最终的分类结果。同时,为了降低贝叶斯网络推理时间复杂度,提出了改进的贝叶斯网络图推理算法。实验结果表明,改进后的融合模型和融合算法能有效解决网页自动分类中的不确定性问题,并能提高网页自动分类的准确率和查全率。     

Variational Bayesian inference based robust multiple measurement sparse signal recovery

This work concentrates on not only probing into a novel Bayesian probabilistic model to formulate a general type of robust multiple measurement vectors sparse signal recovery problem with impulsive noise, but also developing an improved variational Bayesian method to recover the original joint row sparse signals. In the design of the model, two three-level hierarchical Bayesian estimation procedures are designed to characterize impulsive noise and joint row sparse source signals by means of Gaussian scale mixtures and multivariate generalized t distribution. Those hidden variables, included in signal and measurement models are estimated based on a variational Bayesian framework, in which multiple kinds of probability distributions are adopted to express their features. In the design of the algorithm, the proposed algorithm is a full Bayesian inference approach related to variational Bayesian estimation. It is robust to impulsive noise, since the posterior distribution estimation can be effectively approached through estimating unknown parameters. Extensive simulation results show that the proposed algorithm significantly outperforms the compared robust sparse signal recovery approaches under different kinds of impulsive noises.     

基于改进贝叶斯方法的轨迹预测算法研究

针对传统轨迹预测方法在历史轨迹数目有限时,预测准确度较低的问题,提出一种改进的贝叶斯推理(MBI)方法,MBI构建了马尔可夫模型来量化相邻位置的相关性,并通过对历史轨迹进行分解来获得更准确的马尔可夫模型,最后得到改进的贝叶斯推理公式。实验结果表明,MBI方法比现有方法的预测速度快2到3倍,并且有较高的准确度和稳定性。MBI方法充分利用现有轨迹信息,不仅提高了查询效率,还保证了较高的预测精度。     

Robust adaptive algorithm for nonlinear systems with unknown measurement noise and uncertain parameters by variational Bayesian inference

This paper studies an adaptive algorithm for the estimation problem of nonlinear systems with unknown or missing measurement noise and uncertain parameters using variational Bayesian (VB) inference. We combine VB inference with the Monte Carlo sampling technique to settle this problem. There are many cases of missing information, and because of the difficulty in obtaining the analytical results, the existing control methods for uncertain systems lack generality. We present a set of nonlinear recursive adaptive filtering algorithms that address the unknown parameters and probability density function. The proposed algorithms yield a separable variational approximation of the joint posterior distribution of noise parameters with uncertain parameters and states on each step separately. Estimation convergence and robustness against disturbances are guaranteed. A convergence result for VB inference is presented. Extensive simulation examples are provided to demonstrate the efficacy of the proposed algorithms.     

一种基于贝叶斯网络的作战重心评估模型

作战重心（Center of Gravity）是指战役体系中敌我双方的关键环节。作战重心评估是一个经验性、模糊性的过程。贝叶斯网络作为一种不确定知识表示模型,具有概率论及图论基础,对于解决复杂系统决策问题具有较强的优势,适合用于作战重心评估。文中提出并实现了一种基于贝叶斯网络推理的作战重心评估模型。通过该模型,可以定量地评估各个环节对于证据的重要程度,从而确定该作战过程中的作战重心。文中使用联合树（Clique Tree）算法进行贝叶斯网络精确推理,并详细阐述了推理过程中联合树建立,消息传递的过程。最后通过实例验证,基于贝叶斯网络推理的模型能够有效地对作战重心进行定量的评估。