有限贝塔刘维尔混合模型的变分学习及其应用

由于贝塔刘维尔分布的共轭先验分布中存在积分表达式,贝叶斯估计有限贝塔刘维尔混合模型参数异常困难.本文提出利用变分贝叶斯学习模型参数,采用gamma分布作为近似的先验分布并使用合理的非线性近似技术,得到了后验分布的近似解.与常用的EM算法相比,该方法能够同时估计模型参数和确定分量数,且避免了过拟合的问题.在合成数据集及场景分类问题上进行了大量的实验,实验结果验证了本文所提方法的有效性.     

混合逆狄利克雷分布的变分学习及应用

混合逆狄利克雷分布是正的非高斯数据分析中一个重要的统计模型.但是利用常用的统计方法比如极大近似然估计、矩估计等往往很难得到模型参数估计的显性解析式.本文提出一个变分贝叶斯学习算法,它能够在估计参数的同时自动确定混合分量数.在合成数据集及实测数据集上的实验结果表明利用变分贝叶斯推理来估计混合逆狄利克雷分布是一种非常有效的方法.     

精度分类量测数据的变分贝叶斯自适应Kalman滤波算法

针对带有精度分类信息的方差未知量测数据的滤波问题,本文提出了一种扩展的变分贝叶斯自适应Kalman滤波(EVB-AKF)算法。该算法在量测数据精度等级不变或降低时将后验分布参数修正为原VB-AKF算法外推近似值与精度分类信息对应的方差上界的加权和的形式,并在精度等级提高时利用精度分类信息重置后验分布参数,解决了VB-AKF算法后验分布参数一阶常系数模型不能完全适应量测噪声方差动态变化的问题。仿真结果表明,该算法能够快速有效的估计出动态变化的量测噪声方差,并且能够有效的实现数据滤波。      

最大期望模拟退火的贝叶斯变分推理算法

针对贝叶斯变分推理收敛精度低和搜索过程中易陷入局部最优的问题,该文基于模拟退火理论(SA)和最大期望理论(EM),考虑变分推理过程中初始先验对最终结果的影响和变分自由能的优化效率问题,构建了双重EM模型学习变分参数的初始先验,以降低初始先验的敏感性,同时构建逆温度参数改进变分自由能函数,使变分自由能在优化过程得到有效控...     

最大期望模拟退火的贝叶斯变分推理算法

针对贝叶斯变分推理收敛精度低和搜索过程中易陷入局部最优的问题,该文基于模拟退火理论(SA)和最大期望理论(EM),考虑变分推理过程中初始先验对最终结果的影响和变分自由能的优化效率问题,构建了双重EM模型学习变分参数的初始先验,以降低初始先验的敏感性,同时构建逆温度参数改进变分自由能函数,使变分自由能在优化过程得到有效控制,并提出一种基于最大期望模拟退火的贝叶斯变分推理算法.该文使用收敛性准则理论分析算法的收敛性,利用所提算法对一个混合高斯分布实例进行实验仿真,实验结果表明该算法具有较优的收敛结果.     

浅海非高斯噪声下基于变分贝叶斯推断的波达角估计

传统基于高斯统计特性的波达角(DOA)估计方法在高斯背景噪声中可以获得较好的估计性能,然而受脉冲噪声影响的浅海环境噪声不再服从高斯分布,若直接利用传统波达角估计方法会引入较大误差。为提升非高斯噪声环境下的波达角估计性能,该文提出一种浅海非高斯噪声下的基于变分贝叶斯推断的波达角估计方法。首先利用信号与脉冲噪声的稀疏性构建多测量向量稀疏信号恢复(SSR)模型;其次,考虑信号的共稀疏特性与脉冲噪声的独立稀疏性,构建层次化贝叶斯估计框架;然后利用变分贝叶斯推断估计信号与噪声的后验概率估计。稀疏信号模型中考虑离网格误差,利用根稀疏贝叶斯估计实现离网格误差修正,解决离网格误差引起的基失配问题;最后通过迭代更新获得较为精确的波达角估计,同时消除脉冲噪声的影响。仿真结果表明：所提方法在非高斯噪声环境下具有较好的波达角估计性能,同时对于脉冲噪声具有较强的抗干扰特性。     

角闪烁下基于变分贝叶斯-交互式多模型的目标跟踪

开展角闪烁噪声下的目标跟踪研究对提升传感器的探测性能具有重要意义,其中角闪烁噪声具有的分布未知和非平稳特性是长期困扰研究者的难点。针对该问题,该文首先给出角闪烁下基于变分贝叶斯参数学习的跟踪滤波理论框架。其次,提出一种联合估计运动状态和闪烁噪声分布的变分贝叶斯-交互式多模型(VB-IMM)算法,该算法通过设计多个并行的跟踪模型处理角闪烁的跟踪问题,同时利用变分贝叶斯方法实现闪烁噪声分布参数的在线学习,并反馈给跟踪模型,实时调整跟踪模型参数。最后,设计了仿真实验对算法在闪烁噪声分布未知和非平稳条件下的跟踪性能进行了验证,同时对算法的计算复杂度进行了仿真分析。仿真结果表明,在量测噪声分布未知和非平稳条件下,VB-IMM具有较高的跟踪精度,且算法复杂度较小,易于实现。     

基于参数解耦的变分贝叶斯自适应卡尔曼滤波

针对噪声协方差矩阵失配情况下的状态估计问题,本文基于变分贝叶斯框架,提出了一种适用于过程噪声协方差矩阵和测量噪声协方差矩阵均未知条件下的参数解耦的变分贝叶斯自适应卡尔曼滤波算法。所提算法选取预测误差协方差矩阵作为变分优化变量,并引入了其马尔可夫演化模型,构造了参数解耦的变分推断模型。同时,采用固定点迭代优化实现状态、预测误差协方差矩阵和测量噪声协方差矩阵的联合后验概率分布求解,并设计了算法的收敛性判断准则。仿真结果验证了算法的有效性。     

基于变分贝叶斯ICA的遥感图像混合像元分析

混合像元已成为遥感图像处理、分类的难点和重点。独立分量分析( ICA)能够实现图像的去相关性以及得到相互独立的分量,但是,由于ICA模型的各成分独立性和数据统计分布规律的不变假设,影响了遥感图像分类精度。针对这一问题,提出了基于变分贝叶斯ICA( VBICA)的遥感图像分析方法,并利用遥感图像进行验证,结果表明：VBICA方法提取的独立分量具有均方根误差小、迭代次数少和稳定性较好的特点;基于VBICA方法的遥感分类精度达到了91.55%,且目视效果较好;VBICA方法突破了ICA的局限性,提高了遥感图像自动分类精度,具有很好的应用前景。     

Variational learning for finite Beta-Liouville mixture models

In the article, an improved variational inference （VI） framework for learning finite Beta-Liouville mixture models （BLM） is proposed for proportional data classification and clustering. Within the VI framework, some non-linear approximation techniques are adopted to obtain the approximated variational object functions. Analytical solutions are obtained for the variational posterior distributions. Compared to the expectation maximization （EM） algorithm which is commonly used for learning mixture models, underfitting and overfitting events can be prevented. Furthermore, parameters and complexity of the mixture model （model order） can be estimated simultaneously. Experiment shows that both synthetic and real-world data sets are to demonstrate the feasibility and advantages of the proposed method.     

DOA Estimation Using Block Variational Sparse Bayesian Learning

In Direction-of-arrival (DOA) estimation, the real-valued sparse Bayesian algorithm degrades the es-timation performance by decomposing the complex value into real and imaginary components and combining them independently. We directly use complex probability density functions to model the noise and complex-valued sparse direction weights. Based on the Multiple measurement vectors (MMV), block sparse structure for the direction weights is integrated into the variational Bayesian learning to provide accurate source direction estimates. The pro-posed algorithm can be used for arbitrary array geome-tries and does not need the prior information of the in-cident signal number. Simulation results demonstrate the better performance of the proposed method compared with the real-valued sparse Bayesian algorithm, the Orthogo-nal matching pursuit (OMP) and l1 norm based complex-valued methods.     

时变有色观测噪声下基于变分贝叶斯学习的自适应卡尔曼滤波

针对卡尔曼滤波中观测噪声是有色的且随时间变化这一情形,该文提出基于变分贝叶斯学习的自适应卡尔曼滤波算法。该算法先利用差分法,将时变噪声模型当中的有色观测噪声进行白化处理,从而使模型转换成了过程噪声与观测噪声相关的白噪声模型。考虑噪声相关条件下的卡尔曼滤波,并使之与变分贝叶斯学习结合,将白噪声方差与系统状态变量一起作为参数进行联合的递推估计。仿真结果表明,该自适应算法对时变的噪声具有较好的跟踪效果,相对经典卡尔曼滤波有着较高的滤波精度,最终得到时变有色观测噪声下的状态估计。     

Text‐Independent Speaker Verification Using Variational Gaussian Mixture Model

This paper concerns robust and reliable speaker model training for text‐independent speaker verification. The baseline speaker modeling approach is the Gaussian mixture model (GMM). In text‐independent speaker verification, the amount of speech data may be different for speakers. However, we still wish the modeling approach to perform equally well for all speakers. Besides, the modeling technique must be least vulnerable against unseen data. A traditional approach for GMM training is expectation maximization (EM) method, which is known for its overfitting problem and its weakness in handling insufficient training data. To tackle these problems, variational approximation is proposed. Variational approaches are known to be robust against overtraining and data insufficiency. We evaluated the proposed approach on two different databases, namely KING and TFarsdat. The experiments show that the proposed approach improves the performance on TFarsdat and KING databases by 0.56% and 4.81%, respectively. Also, the experiments show that the variationally optimized GMM is more robust against noise and the verification error rate in noisy environments for TFarsdat dataset decreases by 1.52%.     

基于切片分析的CMOS组合电路贝叶斯动态功耗模型

为改善周期精确级功耗分析的准确度和速度问题,使用多维特征参数建立贝叶斯推理的动态功耗模型.基于功耗分布与电路内部节点状态的分析,发现仅使用端口信息作为参数的不足.定义了门单元级数的计算和对应切片的概念,提出使用切片分析的技术提取电路内部关键层的翻转密度作为参数,与端口信息共同参与贝叶斯推理.基于ISCAS85基准电路的实验结果表明,该方法使原始模型的误差降低21.9%,均方差降低25.0%,同时保持了相对现有门级功耗分析700倍的加速比.