小数据集情况下基于变权重融合的BN参数学习算法

针对小数据集情况下贝叶斯网络（BN）参数学习结果精度较低的问题，分析了小数据集情况下BN参数变权重设计的必要性，提出一种基于变权重融合的BN参数学习算法VWPL。首先根据专家经验确定不等式约束条件，计算参数学习最小样本数据集阈值，设计了随样本量变化的变权重因子函数；然后根据样本计算出初始参数集，通过Bootstrap方法进行参数扩展得到满足约束条件的候选参数集，将其代入BN变权重参数计算模型即可获取最终的BN参数。实验结果表明，当学习数据量较小时，VWPL算法的学习精度高于MLE算法和QMAP算法的，也优于定权重学习算法的。另外，将VWPL算法成功应用到了轴承故障诊断实验中，为在小数据集上进行BN参数估计提供了一种方法。     

后验概率估计及其应用:基于核Logistic回归的方法

提出一种基于特征矢量集的核Logistic回归方法,解决核Logistic回归的解的稀疏性问题,降低后验概率估计的计算复杂度.该方法与Markov随机场方法相结合,应用到图像分割中.在Bayes公式中,对样本条件概率的估计转换为对核Logistic回归方法的后验概率的估计,从而提出一种新的Markov随机场模型的实现方法,在对纹理图像的分割实验中得到良好效果.     

基于变权重迁移学习的BN参数学习算法

针对小数据集条件下的贝叶斯网络(Bayesian network,BN)参数估计困难问题,提出了一种基于变权重迁移学习(DWTL)的BN参数学习算法。首先,利用MAP和MLE方法学习得到目标域初始参数和各源域参数;然后根据不同源域数据样本贡献的不同计算源权重因子;接着基于目标域样本统计量与小数据集样本阈值的关系设计了目标域初始参数和源域参数的平衡系数;最后,基于上述参数、源权重因子和平衡系数计算得到新的目标参数。在实验研究中,通过对经典BN模型的参数学习问题验证了DWTL算法的有效性;针对小数据集下的轴承故障诊断问题,相较于传统迁移学习(LP)算法,DWTL算法学习精度提高了10%。实验结果表明:所提出的算法能够较好地解决样本数据集在相对稀缺条件下的目标参数建模问题。     

基于主动学习的人脸标注研究

在大数据时代,图片数量非常巨大,但是具有标签的图片非常少。在学习和研究中,常常需要分类标注图片,而大部分图片都是与人脸相关的,因此人脸标注成为 了一种进行图片分类标注的有效方法,但人工标注的成本较大。针对有标签图片数量较少以及人工标注成本较大的问题,提出了在主动学习算法的基础上建立计算人脸类标签后验分布的判别模型的方法。该方法基于马尔可夫随机场和高斯过程,考虑到了样本位置、特征的客观联系,在样本之间加入了匹配约束和非匹配约束,匹配约束表示样本之间具有相同的类标签,非匹配约束表示样本之间具有不同的类标签。实验结果表明,根据判别模型得到的类标签后验分布选择样本进行人工标注,大大提高了分类器的精确度。     

基于异质多视图主动学习的高光谱地物分类

高光谱遥感影像具有多源异质的属性特征,也面临着训练样本少、标记代价大的困难。拟提取空间形状、纹理等多种属性特征来构建多视图,开展基于异质多视图主动学习的高光谱地物分类研究。主要解决两个问题:1)提出一种新的基于多视图后验概率差异最小(MPPD)的样本查询策略。每个视图根据多元逻辑回归分类器预测样本的类别条件概率;根据全概率公式计算多视图下每个样本的后验概率;挑选后验概率差异最小的样本作为信息含量最大的样本。2)提出一种基于空间多尺度形状结构、以及纹理特征的异质多视图的构建方式。实验结果表明,提出的算法能够加快学习函数的收敛速度,以少量的信息含量大的标记样本来提高学习器的预测性能。     

基于高斯混合模型的语音性别识别

利用高斯混合模型(GMM)方法进行语音的性别识别.首先概述了特征提取、识别方法及性别识别的过程;然后通过减少提取特征的语音帧数和降低高斯混合模型的混合阶数来提高性别识别速度;最后,将由Mel频率倒谱参数(MFCC)特征和基音频率特征两种方法得到的测试样本后验概率结合,提出新的计算测试样本后验概率的方法.实验表明依据此后验概率能有效提高识别的正确率.     

基于低分辨率图像的自适应超分辨率重构算法

提出一种适用于内部独立运动、静态等多种模型的、基于多幅低分辨率图像的超分辨率重构算法。该算法赋予各低分辨率图像不同的权重和正则化参数,在每次迭代时对权重系数和正则化参数进行更新,采用松弛迭代法得到最优解,从而获得重构图像。实验结果表明,该算法获得的重构图像效果优于双三次B样条插值法和传统的最大后验概率估计方法。     

约束条件下BN参数最大熵模型扩展学习算法

在很多智能系统的参数建模时,用户往往面对建模样本稀少的困境。针对在小数据集条件下贝叶斯网络（BN）参数建模的问题,提出了一种约束数据最大熵BN参数学习算法（CDME）。首先利用小数据集估算BN参数,随后把定性的专家经验转换为不等式约束,并利用Bootstrap算法生成满足约束的一组参数候选集,再根据信息最大熵进行加权计算出BN参数。实验结果表明,当数据量充分时,CDME参数学习算法与经典的MLE算法的学习精度近似,表明了算法的正确性;在小数据集条件下,利用CDME算法,可以对BN进行参数建模,学习精度优于MLE算法和QMAP算法。CDME算法在实际故障诊断样本数据相对稀缺的条件下,获取了诊断BN模型参数,在此基础上完成的诊断推理结果也印证了算法的有效性,为小数据集条件下的参数建模提供了一条新途径。     

Bayes网络学习的MCMC方法

基于Bayes统计理论, 提出了一种从数据样本中学习Bayes网络的Markov链Monte Carlo(MCMC)方法. 首先通过先验概率和数据样本的结合得到未归一化的后验概率, 然后使用此后验概率指导随机搜索算法寻找“好”的网络结构模型. 通过对Alarm网络的学习表明了本算法具有较好的性能.     

贝叶斯概率LSA模型权重更新算法

针对潜在语义分析（LSA）模型的权重更新问题,提出了一种基于贝叶斯理论的自适应权重更新算法ALSAB。ALSAB采用最大后验概率估计与期望值最大（EM）算法对概率LSA模型参数进行有效的估计,在充分考虑多次更新中不常用字词概率参数降低问题的前提下,采用增量学习方法降低多次更新产生的累积效应。实验结果表明,与现有的权重更新算法相比,提出的ALSAB算法显著地提高了检索的准确率与召回率。     

A constructive approach for finding arbitrary roots of polynomials by neural networks

This paper proposes a constructive approach for finding arbitrary (real or complex) roots of arbitrary (real or complex) polynomials by multilayer perceptron network (MLPN) using constrained learning algorithm (CLA), which encodes the a priori information of constraint relations between root moments and coefficients of a polynomial into the usual BP algorithm (BPA). Moreover, the root moment method (RMM) is also simplified into a recursive version so that the computational complexity can be further decreased, which leads the roots of those higher order polynomials to be readily found. In addition, an adaptive learning parameter with the CLA is also proposed in this paper; an initial weight selection method is also given. Finally, several experimental results show that our proposed neural connectionism approaches, with respect to the nonneural ones, are more efficient and feasible in finding the arbitrary roots of arbitrary polynomials.     

基于多注释器标注下的标签排序学习方法

现有的排序学习概念假设每个训练样本都与实例和可靠的标签相关联,但这种假设对保持标签的真实性并不适用。因此,当每个训练实例都被多个可能不可靠的注释器标注时,可以通过列表排序学习从多个注释器中获得的众包标签来进行排序学习功能。结合Mallows模型和Plackett-Luce(P-L)模型,提出一种新的概率排序模型。将注释器的辅助信息作为约束函数融合到参数估计中,并使用最大似然估计方法学习得到参数集。通过最大期望算法(EM)迭代更新参数集,得到最优注释器的专业知识程度的参数集和排名函数参数。实验结果显示,最大似然估计方法明显优于直接排序方法,辅助信息的加入有助于提高注释器的排名功能和专业知识程度。     

Efficient parameter learning of Bayesian network classifiers

Recent advances have demonstrated substantial benefits from learning with both generative and discriminative parameters. On the one hand, generative approaches address the estimation of the parameters of the joint distribution—\(\mathrm{P}(y,\mathbf{x})\), which for most network types is very computationally efficient (a notable exception to this are Markov networks) and on the other hand, discriminative approaches address the estimation of the parameters of the posterior distribution—and, are more effective for classification, since they fit \(\mathrm{P}(y|\mathbf{x})\) directly. However, discriminative approaches are less computationally efficient as the normalization factor in the conditional log-likelihood precludes the derivation of closed-form estimation of parameters. This paper introduces a new discriminative parameter learning method for Bayesian network classifiers that combines in an elegant fashion parameters learned using both generative and discriminative methods. The proposed method is discriminative in nature, but uses estimates of generative probabilities to speed-up the optimization process. A second contribution is to propose a simple framework to characterize the parameter learning task for Bayesian network classifiers. We conduct an extensive set of experiments on 72 standard datasets and demonstrate that our proposed discriminative parameterization provides an efficient alternative to other state-of-the-art parameterizations.     

模型参数失配有界下的扩展集员估计方法

在非线性模型参数失配下,直接采用滤波算法很难获到理想的估计状态.本文基于扩展集员估计方法,在状态估计中引入参数的不确定信息,提出一种参数失配有界下的状态估计方法.该方法应用区间或集合运算的法则,计算由参数失配引起的偏差范围,并将其用椭球集外包.在状态估计的预测步,通过该偏差椭球集与先验椭球区间的并运算,得到预测椭球区间;在状态估计的更新步,利用观测椭球集对预测椭球区间进行更新,从而得到后验椭球集合以及状态估计值.最后,在数值仿真和发酵模型中的仿真应用验证了算法的有效性.     

An adaptive approach to constraint aggregation using adjoint sensitivity analysis

Constraint aggregation is the key for efficient structural optimization when using a gradient-based optimizer and an adjoint method for sensitivity analysis. We explore different methods of constraint aggregation for numerical optimization. We analyze existing approaches, such as considering all constraints individually, taking the maximum of the constraints and using the Kreisselmeier–Steinhauser (KS) function. A new adaptive approach based on the KS function is proposed that updates the aggregation parameter by taking into account the constraint sensitivity. This adaptive approach is shown to significantly increase the accuracy of the results without additional computational cost especially when a large number of constraints are active at the optimum. The characteristics of each aggregation method and the performance of the proposed adaptive approach are shown by solving a wing structure weight minimization problem.     

时变过程在线辨识的即时递推核学习方法研究

为了及时跟踪非线性化工过程的时变特性, 提出即时递推核学习 (Kernel learning, KL)的在线辨识方法. 针对待预测的新样本点, 采用即时学习 (Just-in-time kernel learning, JITL)策略, 通过构造累积相似度因子, 选择与其相似的样本集建立核学习辨识模型. 为避免传统即时学习对每个待预测点都重新建模的繁琐, 利用两个临近时刻相似样本集的异同点, 采用递推方法有效添加新样本, 并删减旧模型的样本, 以快速建立新即时模型. 通过一时变连续搅拌釜式反应过程的在线辨识, 表明了所提出方法在保证计算效率的同时, 较传统递推核学习方法提高了辨识的准确程度, 能更好地辨识时变过程.     

Global and local scatter based semi-supervised dimensionality reduction with active constraints selection in ensemble subspaces

Semi-supervised dimensionality reduction has attracted an increasing amount of attention in this big-data era. Many algorithms have been developed with a small number of pairwise constraints to achieve performances comparable to those of fully supervised methods. However, one challenging problem with semi-supervised approaches is the appropriate choice of the constraint set, including the cardinality and the composition of the constraint set which, to a large extent, affects the performance of the resulting algorithm. In this work, we address the problem by incorporating ensemble subspaces and active learning into dimensionality reduction and propose a new global and local scatter based semi-supervised dimensionality reduction method with active constraints selection. Unlike traditional methods that select the supervised information in one subspace, we pick up pairwise constraints in ensemble subspaces, where a novel active learning algorithm is designed with both exploration and filtering to generate informative pairwise constraints. The automatic constraint selection approach proposed in this paper can be generalized to be used with all constraint-based semi-supervised learning algorithms. Comparative experiments are conducted on four face database and the results validate the effectiveness of the proposed method.