概率图模型推理方法的研究进展

近年来概率图模型已成为不确定性推理的研究热点,在人工智能、机器学习与计算机视觉等领域有广阔的应用前景.根据网络结构与查询问题类型的不同,系统地综述了概率图模型的推理算法.首先讨论了贝叶斯网络与马尔可夫网络中解决概率查询问题的精确推理算法与近似推理算法,其中主要介绍精确推理中的VE算法、递归约束算法和团树算法,以及近似推理中的变分近似推理和抽样近似推理算法,并给出了解决MAP查询问题的常用推理算法;然后分别针对混合网络的连续与混合情况阐述其推理算法,并分析了暂态网络的精确推理、近似推理以及混合情况下的推理;最后指出了概率图模型推理方法未来的研究方向.     

正则化稀疏模型

正则化稀疏模型在机器学习和图像处理等领域发挥着越来越重要的作用,它具有变量选择功能,可以解决建模中的过拟合等问题．Tibshirani 提出的 Lasso 使得正则化稀疏模型真正开始流行．文中总结了各种正则化稀疏模型,指出了各个稀疏模型被提出的原因、所具有的优点、适宜解决的问题及其模型的具体形式．最后,文中还指出了正则化稀疏模型未来的研究方向．     

结构稀疏模型及其算法研究进展

结构稀疏模型在统计学、信号处理和机器学习等领域中具有重要的应用。结构稀疏模型主要通过在目标函数中引入会导致组稀疏效果的罚函数来实现特征组结构选择。有趣的是一些组稀疏模型不仅能实现特征组选择,而且同时能够实现组内的特征选择。根据使用的罚函数的类型,结构稀疏模型主要分为组套索模型和非凸罚组稀疏模型两大类。系统地总结了重要的组结构稀疏模型,分析了各种组结构稀疏模型之间的区别与联系,归纳比较了各种组结构稀疏模型的统计特性(例如模型选择一致性、参数估计一致性和oracle性质)和组结构稀疏模型的求解算法。当前,结构套索模型主要包括普通组套索模型、L∞,1组套索模型、重叠组套索模型、树组套索模型、多输出树组套索模型、混合组套索模型、自适应组套索模型、逻辑斯蒂组套索模型和贝叶斯组套索模型。非凸罚组稀疏模型包括组SCAD罚模型、组桥模型和组MC罚模型等。求解组稀疏模型的算法有组最小角回归算法、块坐标下降(上升)算法、活动集算法、内点算法、投影梯度算法、谱投影梯度算法、轮换方向乘子算法和块坐标梯度下降算法等,结合组稀疏模型对这些算法进行了详细的分析。在使用上述优化方法前,通常需要对目标函数进行预处理,将不平滑的、非凸的、块坐标不可分离的组稀疏模型的目标函数向平滑、凸、块坐标可分离的方向进行转化,这一步常利用的技巧有变分不等式、Neste-rov的平滑近似技巧、局部一阶泰勒展开近似、局部二次近似、对偶范数和对偶函数等。接着给出了最新提出的一些组稀疏模型,如关于广义加模型的组套索模型、复合组桥模型、平方根组套索模型和关于Tobit模型的组套索模型等。最后,对组稀疏模型未来的研究方向进行了探讨。     

组稀疏模型及其算法综述

稀疏性与组稀疏性在统计学、信号处理和机器学习等领域中具有重要的应用.本文总结和分析了不同组稀疏模型之间的区别与联系,比较了不同组稀疏模型的变量选择能力、变量组选择能力、变量选择一致性和变量组选择一致性,总结了组稀疏模型的各类求解算法并指出了各算法的优点和不足.最后,本文对组稀疏模型未来的研究方向进行了探讨.