基于Kullback-Leibler与PCA的概率密度比值估计

为了更好地解决在机器学习和数据挖掘等领域中经常遇到的两个概率密度函数的比值估计问题,文中提出了一种新的概率密度比值估计算法.该算法基于Kullback-Leibler距离,综合混合高斯模型和主成分分析的概率密度比值估计方法,使用混合概率主成分分析为两个概率密度比值函数建模.在概率密度比值估计的过程中,不是分别估计比值函数的分子和分母,而是对整个比值函数进行混合组成建模.算法避免了分别对分子分母的概率密度估计,降低了估计的误差.实验表明该算法能够获得较好的估计结果.     

非平坦函数概率密度估计

针对非平坦函数的概率密度估计问题,通过改进支持向量机(support vector machine,SVM)概率密度估计模型约束条件的形式,并引入多尺度核方法,构建了一种单松弛因子多尺度核支持向量机概率密度估计模型。该模型采用合并的单个松弛因子来控制支持向量机的学习误差,减小了模型的计算复杂度;同时引入了多尺度核方法,使得模型既能适应函数剧烈变化的区域,也能适应平缓变化的区域。基于几种典型非平坦函数进行概率密度估计实验,结果证明,单松弛因子概率密度估计模型比常规支持向量机概率密度估计模型具有更快的学习速度;且相比于单核方法,多尺度核支持向量机概率密度估计模型具有更优的估计精度。     

后向散射系数的贝叶斯估计

后向散射系数是合成孔径雷达图像中重要的物理参数.由于合成孔径雷达测量系统的噪声干扰和其他不确定因素影响使得测量数据往往不够精确,这就需要对测量数据进行合理估计.为了对后向散射系数做出准确合理的估计,文章将后向散射系数的先验知识考虑进去,给出了后向散射系数的三种贝叶斯估计算法.贝叶斯估计的关键是概率密度模型的选取.例中选用贝塔(Beta)分布作为先验概率密度模型,伽玛(Gamma)分布作为条件概率密度模型得到了合理的估计结果,并与最大似然估计(ML)算法进行了比较,比较结果表明在对后向散射系数的估计中,贝叶斯估计算法要明显优于最大似然估计算法.     

利用Copula函数估计概率模型并采样的分布估计算法

将Copula理论引入分布估计算法的研究中,并在估计概率模型时分两个步骤进行：1）估计各变量的边缘分布函数;2）构造经验copula函数或正态Copula函数．根据Copula函数和各边缘分布进行采样,在简化估计模型运算复杂度的同时,充分反映了变量之间的关系．仿真实验验证了该算法的可行性和有效性．     

基于核估计的超定混合共轭盲信号分离方法

当混合信号的个数多于源信号时,盲源分离模型中的混合矩阵被描述为一个超定矩阵,因此不能直接通过估计逆矩阵的方法来得到分离矩阵。针对该线性超定混合情况提出了一种基于共轭梯度的盲源分离方法。该方法基于最小互信息准则,通过对行满秩分离矩阵的奇异值分解而引入了超定盲源分离的代价函数。利用共轭梯度优化算法推导出了迭代计算分离矩阵的更新公式。在每次迭代计算中,利用随机变量概率密度估计的核函数法在线估计分离信号的评价函数。避免了诸多传统盲分离算法中只能凭经验选取特定的非线性函数来代替评价函数的问题。仿真结果验证了所提算法的有效性。     

基于自适应反向学习的多目标分布估计算法

针对基于规则模型的多目标分布估计算法全局收敛性较弱的缺陷,提出了一种基于自适应反向学习(OBL)的多目标分布估计算法.该算法根据函数变化率的大小来决定是否进行OBL:当函数变化率较小时,算法可能陷入局部最优,所以进行OBL以提高当前种群中个体的多样性;当函数变化率较大时,运行基于规则模型的多目标分布估计算法.所提算法通...     

盲源分离的SVM概率密度函数估计算法

基于神经网络理论中的支持向量机回归方法,利用径向基函数构造核函数,给出类高斯函数的混合信号概率密度稀疏表达,进而得到输出信号的概率密度的显式表达;提出一种估计激活函数的新方法,与盲信号抽取定点算法相结合,形成一种新的盲分离算法。通过仿真实验,验证了该方法能成功地分离超、亚高斯混合信号。     

基于一般二阶混合矩的高斯分布估计算法

针对传统高斯分布估计算法（Gaussian estimation of distribution algorithms,GEDAs）中变量方差减小速度快、概率密度椭球体（Probability density ellipsoid,PDE）的长轴与目标函数的改进方向相垂直,从而导致算法搜索效率低、容易早熟收敛这一问题,提出一种基于一般二阶混合矩的高斯分布估计算法.该算法利用加权的优秀样本预估高斯均值,并根据沿目标函数的改进方向偏移后的均值来估计协方差矩阵.理论和数值分析表明,这一简单操作可以在不增大算法计算量的前提下自适应地调整概率密度椭球体的位置、大小和长轴方向,提高算法的搜索效率.在14个标准函数上对所提算法进行了测试,由统计出的Cohen's d效应量指标可知该算法的全局寻优能力强于传统高斯分布估计算法;与当前先进的粒子群算法、差分进化算法相比,所提算法可以在相同的函数评价次数内获得9个函数的显著优解.     

一种新的粒子滤波算法在INS/GPS组合导航系统中的应用

为改善传统粒子滤波中的样本退化和样本枯竭问题, 提出一种新的粒子滤波算法. 在重要性采样中, 利用最新测量值, 结合差分滤波算法产生重要性函数; 在再采样中, 利用高斯混合模型近似状态的后验概率密度, 引入最大期望算法计算该高斯混合模型的参数, 并从该新分布中采样后验粒子集, 取代传统的再采样. 从而通过提高重要性函数对状态后验概率密度的逼近程度来缓解样本退化问题, 通过改进再采样实现过程来缓解样本枯竭问题. 把新算法应用到INS/GPS组合导航系统中, 仿真结果表明新算法的估计性能明显优于粒子滤波.     

基于多项式拟合的稀疏编码图像去噪算法研究

为解决传统稀疏编码在图像去噪的过程中无法根据图像数据特点来决定稀疏编码的收缩函数的问题,提出了一种基于多项式拟合的稀疏编码图像去噪算法,该方法采用多项式来拟合稀疏系数的概率密度函数,进而估计稀疏系数的收缩函数,有效地解决了传统的去噪变量的概率密度模型无法反映图像数据特点的问题。仿真计算结果验证了该算法的有效性,并且在效果上要明显优于最大似然估计算法。     

基于Parzen核估计的最大后验概率分类方法

从概率密度函数的角度出发,利用Parzen窗法估计总体样本的概率密度分布,将核方法和Parzen窗法引入最大后验概率方法中,提出一种基于Parzen核估计的最大后验概率的高性能多分类方法。该方法不需要考虑样本数据的具体分布情况,能够得到分类的可信度,给出推理的不确定性依据。在3个国际标准UCI数据集和3个人脸数据集上的实验结果表明,该方法具有较好的分类效果。     

非高斯噪声下输出残差或状态估计误差的熵研究

基于非Gaussian噪声线性定常控制系统,通过控制滤波器输出残差或状态估计误差的条件概率密度函数形状来建立有效的滤波设计算法,创建滤波器输出残差或状态估计误差的条件概率密度函数的统一表现形式。利用复合概率密度函数的关系对残差或状态估计误差的条件概率密度函数的近似来实现非高斯残差的高斯化或相应的熵最小化。     

基于图像先验知识的量化噪声盲估计算法

经过离散余弦变换的图像在DCT域系数的分布近似符合一个用参数λ描述的拉普拉斯分布。利用该参数以及图像在JPEG压缩中使用的DCT域量化系数,可以实现对图像量化噪声的估计。提出一种基于图像先验知识的分布参数估计方法,可以在没有未压缩的原始图像作为参考时实现对λ值的估计,进而计算压缩图像的峰值信噪比。     

基于多元混合高斯分布的多分类人脸识别方法

针对实际人脸图像含有的噪声模型常常表现出的非高斯特性, 该非高斯特性具有较厚重的拖尾现象, 提出一种基于多元混合高斯分布的多分类人脸识别方法。该方法将多元混合高斯分布、核函数、概率密度函数估计中的参数估计以及贝叶斯理论结合起来, 能对含有重尾噪声的人脸图像有较高的识别率。用ORL标准人脸库进行验证, 实验结果表明了可行性。     

基于目标出生强度在线估计的多目标跟踪算法

针对多目标跟踪中未知的目标出生强度, 提出了基于Dirichlet分布的目标出生强度在线估计算法, 来改进概率假设密度滤波器在多目标跟踪中的性能. 算法采用有限混合模型来描述未知目标出生强度, 使用仅依赖于混合权重的负指数Dirichlet分布作为混合模型参数的先验分布. 利用拉格朗日乘子法推导了混合权重在极大后验意义下的在线估计公式; 混合权重在线估计过程利用了负指数Dirichlet分布的不稳定性, 驱使与目标出生数据不相关分量的消亡. 以随机近似过程为分量均值和方差的在线估计策略, 推导了基于缺失数据的分量均值与方差的在线估计公式. 在无法获得初始步出生目标先验分布的约束下, 提出了在混合模型上增加均匀分量的初始化方法. 以当前时刻的多目标状态估计值为出发点, 提出了利用概率假设密度滤波器消弱杂波影响的出生目标数据获取方法. 仿真结果表明, 提出的目标出生强度在线估计算法改进了概率假设密度滤波器在多目标跟踪中的性能.     

基于最大熵原理的Web服务QoS概率分布获取

为了进行服务风险管理,需要了解服务质量（QoS）的随机特性,而描述QoS随机特性的一种有效手段是获得其准确的概率分布。为此,提出了一种基于最大熵原理在小样本情况下获取Web服务QoS概率分布的方法。方法采用最大熵原理将小样本情况下QoS概率分布获取的问题规约为一个由已知QoS数据确定约束条件的最优化问题进行求解,获得QoS概率密度函数的解析式,然后设计了对该概率密度函数解析式参数进行估计的算法。最后,以实际的Web服务QoS数据为基础,通过实验验证了该方法对不同QoS分布获取时的有效性和合理性,并验证了分布获取算法的效率和终止性。     

基于分布估计算法的连续函数全局优化问题研究

分布估计算法从宏观的角度建立一个概率模型,用来描述解空间的分布,从而通过进化计算获得优势个体。目前,离散型分布估计算法研究已经比较成熟,而连续型分布估计算法研究进展缓慢。采用均匀分布缩小采样领域的思想,设计新的分布估计算法求解连续型优化问题。实验数据表明,该分布估计算法对于求解连续型问题是有效的。     

一种自适应在线核密度估计方法

给定一组观察数据,估计其潜在的概率密度函数是统计学中的一项基本任务,被称为密度估计问题.随着数据收集技术的发展,出现了大量的实时流式数据,其特点是数据量大,数据产生速度快,并且数据的潜在分布也可能随着时间而发生变化,对这类数据分布的估计也成为亟待解决的问题.然而,在传统的密度估计算法中,参数式算法因为有较强的模型假设导致其表达能力有限,非参数式算法虽然具有更好的表达能力,但其计算复杂度通常很高.因此,它们都无法很好地应用于这种流式数据的场景.通过分析基于竞争学习的学习过程,提出了一种在线密度估计算法来完成流式数据上的密度估计任务,并且分析了其与高斯混合模型之间的密切联系.最后,将所提算法与现有的密度估计算法进行对比实验.实验结果表明,与现有的在线密度估计算法相比,所提算法能够取得更好的估计结果,并且能够基本上达到当前最好的离线密度估计算法的估计性能.     

经验分布函数概率模型的分布估计算法

连续域分布估计算法普遍采用高斯概率模型,假设变量服从高斯分布。该假设并不具有普遍意义。提出一个任意分布的连续多变量耦合分布估计算法,利用经验分布函数从样本估计分布,采样产生新的个体。描述经验分布函数和逆变换法采样,讨论用样本构造经验分布函数并采样的基本思想,给出一次采样算法及完整的分布估计算法,通过典型函数的仿真实验,说明方法的正确性和有效性。