基于贝叶斯网络理论的TAN分类器无向依赖扩展

基于贝叶斯网络理论，对TAN分类器进行无向网络依赖扩展，把属性变量之问的树结构扩展成可分解马尔科夫网络．使经过依赖扩展得到的分类器能够充分利用属性变量之间的依赖信息，提高分类能力，并能够通过调节阚值大小避免过度拟舍．     

多维贝叶斯网络分类器加速学习算法

作为概率图模型,无限制多维贝叶斯网络分类器(GMBNC)是贝叶斯网络(BN)应用在多维分类应用时的精简模型,只包含对预测有效的局部结构.为了获得GMBNC,传统方法是先学习全局BN;为了避免全局搜索,提出了仅执行局部搜索的结构学习算法DOS-GMBNC.该算法继承了之前提出的IPC-GMBNC算法的主体框架,基于进一步挖掘的结构拓扑信息来动态调整搜索次序,以避免执行无效用的计算.实验研究验证了DOS-GMBNC算法的效果和效率:(1)该算法输出的网络质量与IPC-GMBNC一致,优于经典的PC算法;(2)在一个包含100个节点的问题中,该算法相对于PC和IPC-GMBNC算法分别节省了近89％和45％的计算量.     

基于预测能力的贝叶斯网络分类器学习

分析了贝叶斯分类器家族中有代表性的分类器;给出变量之间预测能力的概念及估计方法,在此基础上建立了基于变量间预测能力的贝叶斯网络分类器结构学习方法,并使用UCI数据进行分类实验.实验结果显示,该方法能够有效地进行贝叶斯网络分类器学习,使得贝叶斯网络分类器倾向于简单化,具有较强的分类能力.     

一般贝叶斯网络分类器及其学习算法

贝叶斯网络（BN）应用于分类应用时对目标变量预测有直接贡献的局部模型称作一般贝叶斯网络分类器（GBNC）。推导GBNC的传统途径是先学习完整的BN,而现有推导BN结构的算法限制了应用规模。为了避免学习全局BN,提出仅执行局部搜索的结构学习算法IPC-GBNC,它以目标变量节点为中心执行广度优先搜索,且将搜索深度控制在不超过2层。理论上可证明算法IPC-GBNC是正确的,而基于仿真和真实数据的实验进一步验证了其学习效果和效率的优势：（1）可输出和执行全局搜索的PC算法相同甚至更高质量的结构;（2）较全局搜索消耗少得多的计算量;（3）同时实现了降维（类似决策树学习算法）。相比于绝大多数经典分类器,GBNC的分类性能相当,但兼具直观、紧凑表达和强大推理的能力（且支持不完整观测值）。     

马尔科夫网络中的隐藏变量学习

吗尔科夫网络中的隐藏变量学习是一个重要而困难的研究课题．关于隐藏变量需要解决三个问题，它们是隐藏变量的位置，维数和取值，局部结构．根据马尔科夫网络中的Clique确定隐藏变量的位置；然后基于依赖结构和Gibbs sampling确定隐藏变量的取值和维数；最后利用MDL标准进行局部打分确定局部结构．试验结果表明，该方法能够有效地进行马尔科夫网络的隐藏变量学习．     

基于关联规则的贝叶斯网络分类器

关联规则分类器(CBA)利用关联规则来构造分类算法,但其没有考虑分类问题中的不确定性.提出一种基于关联规则的贝叶斯网络分类算法.该算法利用关联规则挖掘算法提取初始的候选网络边集,通过贪心算法学习网络结构,得到比经典的贝叶斯网络分类器TAN更好的拓扑结构.通过在15个UCI数据集上的实验结果表明,该算法取得了比TAN,CBA更好的分类性能.     

基于贝叶斯网络的马尔科夫毯预测学习

研究变量之间的预测能力在许多领域都有重要意义,通过这种研究,能够揭示变量之间的制约机制,贝叶斯网络是研究变量之间预测能力的有力工具.本文使用依赖分析方法建立基于贝叶斯网络的马尔科夫毯预测,其核心问题是贝叶斯网络结构学习.目前,基于依赖分析的贝叶斯网络结构学习方法主要存在三个问题:(1)需要进行大量的高维条件概率计算,(2)容易丢失弱联合依赖边,(3)对边的方向的确定具有局限性.针对这些问题,本文提出了首先进行递推条件独立性检验,然后进行因果语义定向,最后进行冗余边检验的贝叶斯网络结构学习方法.该方法能够有效地避免这些问题,更准确地建立马尔科夫毯预测.     

基于类约束的贝叶斯网络分类器学习

分类能力是人类经过学习得到的重要而基本的能力，也是机器学习、模式识别和数据采掘研究的核心问题．在01损失率下，证明了基于类约束的贝叶斯网络分类器是最优分类器．建立该分类器的核心问题是基于类约束属性贝叶斯网络结构学习，给出了学习属性贝叶斯网络结构的方法，在学习过程中使用了根据弧方向因果语义确定边方向的方法，并和碰撞识别定向相结合，在边定向之后进行冗余弧检验，解决了目前冗余边检验在定向之前所导致的问题，显著提高了结构学习效率和准确性．并使用模拟数据进行了分类实验和分析。     

基于马尔科夫毯网络的客户流失分析

贝叶斯网络是研究变量之间预测能力的有力工具,在解决不确定性和不完整性问题以及处理复杂问题上有很大的优势。作为朴素贝叶斯网络的扩展,马尔科夫毯贝叶斯网络只依据对输出结果有显著影响的输入变量进行分类预测,是一种更为理想的解决方案。利用马尔科夫毯贝叶斯网络进行流失客户分析,挖掘导致流失的客户特征,从而辅助决策者制订相应的客户挽留策略。     

特征选择和分类器优化耦合的网络入侵检测

针对网络入侵中特征选择与分类器参数不匹配问题,提出一种特征选择和分类器优化耦合的网络入侵检测模型（F-SVM）。通过径向基核函数将网络特征的评估标准映射至高维空间进行计算,建立网络特征评估和后续网络入侵分类器之间的联系,在特征选择阶段解决了分类器的参数设计问题,建立网络入侵检测模型,并采用KDD 99数据集对F-SVM的性能进行测试。结果表明,F-SVM不仅可以消除无用、冗余特征,网络特征的维数显著降低,而且获得了网络入侵分类器的最优参数,从而提高了网络入侵检测的正确率和检测效率。     

基于边界的Markov网的发现

一、引言 Bayesian网是一种进行不确定性推理的有力工具,被广泛应用于人工智能、专家系统以及数据挖掘等领域。近年来,越来越多的研究者开始研究如何从大量的样本数据中发现Bayesian网络,提出了许多Bayesian网的学习算法。这些算法大致可以分为两类:基于搜索和打分的算法与基于依赖分析的算法。基于搜索和打分的算法的基本思想是根据评分函数搜索得到对样本数据拟合得最好的Bayesian网络。评分函数主要对待选的网络结构进行打分,选择与数据拟合得最好的网络结构。由于不可能对所有的网络结构进行测试,所以需要运用局部搜索算法进行网络结构的搜索,通常是从初始网络结构(可以是空结构,随机指定的结构或先验网络结构等)开始,通过增加、删除或转向操作使得局部最优化(根据评分函数),再逐渐扩展到整个网络最优化。常用的局部搜索算法是爬山法和模拟退火法。     

对一种贝叶斯网络学习算法的改进及试验分析

贝叶斯网络是上世纪80年代发展起来的一种概率图形模型,它提供了不确定性环境下的知识表示、推理、学习手段,可以完成决策、诊断、预测、分类等任务,已广泛应用于数据挖掘、语音识别、工业控制、经济预测、医疗诊断等诸多领域。然而由于贝叶斯网络的推理和贝叶斯网络的学习问题都是NP难的,其实际应用受到很大限制。贝叶斯网络推理是利用它进行决策、诊断、分类、预测等应用的基础,其本质任务是计算边缘概率分布。当网络比较复杂时,推理将变得不可行。多模块的贝叶斯网络(MSBN)从简化模型本身出发,对贝叶斯网络进行了扩展。我们则提出了一种用于MSBN中的近似推理算法,这些都大大拓宽了贝叶斯网络的应用领域。     

Statistical Analysis of Minimum Classification Error Learning for Gaussian and Hidden Markov Model Classifiers

Minimum classification error learning realized via generalized probabilistic descent, usually referred to as (MCE/GPD), is a very popular and powerful framework for building classifiers. This paper first presents a theoretical analysis of MCE/GPD. The focus is on a simple classification problem for estimating the means of two Gaussian classes. For this simple algorithm, we derive difference equations for the class means and decision threshold during learning, and develop closed form expressions for the evolution of both the smoothed and true error. In addition, we show that the decision threshold converges to its optimal value, and provide an estimate of the number of iterations needed to approach convergence. After convergence the class means drift towards increasing their distance to infinity without contributing to the decrease of the classification error. This behavior, referred to as mean drift, is then related to the increase of the variance of the classifier. The theoretical results perfectly agree with simulations carried out for a two-class Gaussian classification problem. In addition to the obtained theoretical results we experimentally verify, in speech recognition experiments, that MCE/GPD learning of Gaussian mixture hidden Markov models qualitatively follows the pattern suggested by the theoretical analysis. We also discuss links between MCE/GPD learning and both batch gradient descent and extended Baum-Welch re-estimation. The latter two approaches are known to be popular in large scale implementations of discriminative training. Hence, the proposed analysis can be used, at least as a rough guideline, for better understanding of the properties of discriminative training algorithms for speech recognition.     

基于图神经网络的汉语依存分析和语义组合计算联合模型

组合原则表明句子的语义由其构成成分的语义按照一定规则组合而成,由此基于句法结构的语义组合计算一直是一个重要的探索方向,其中采用树结构的组合计算方法最具有代表性。但是该方法难以应用于大规模数据处理,主要问题是其语义组合的顺序依赖于具体树的结构,无法实现并行处理。该文提出一种基于图的依存句法分析和语义组合计算的联合框架,并借助复述识别任务训练语义组合模型和句法分析模型。一方面,图模型可以在训练和预测阶段采用并行处理,极大地缩短计算时间;另一方面,联合句法分析的语义组合框架不必依赖外部句法分析器,同时两个任务的联合学习可使语义表示同时学习句法结构和语义的上下文信息。我们在公开汉语复述识别数据集LCQMC上进行评测,实验结果显示准确率接近树结构组合方法,达到79.54%,预测速度最高可提升30倍以上。     

基于远距离依存关系的中文依存关系解析

依据中文语法的特点，提出了Nivre算法和一种远距离依存关系的确定性中文依存关系解析方法。在中文句子中，有些相互依存的词距离较远，使用传统的确定性解析方法进行解析比较困难。在不忽略远距离依存关系的情况下进行确定性依存关系解析，采用支持向量机识别中文依存关系。实验结果表明，依存关系解析精度达到78.30%，提高了5.32%。     

一种基于依赖分析的贝叶斯网络结构学习算法

贝叶斯网络是不确定性环境下知识表示和推理的有效工具之一.现有的贝叶斯网络结构学习算法不同程度地存在学习效率偏低的问题,为此,本文提出一种高效而且可靠的贝叶斯网络结构学习算法ISOR.首先使用最大生成树算法和启发式切割集搜索算法以确定网络中所有可能的边,然后结合碰撞识别方法和启发式打分-搜索方法识别出所有边的方向,最后进行冗余边检验.与当前基于依赖分析的其它算法相比,该算法有效降低条件独立性检验的次数和阶数.算法分析和应用于Alarm网络的实验结果均表明,算法ISOR具有良好的性能.     

基于监督学习的分类器自适应融合方法

近年来,集成学习方法因其在多分类系统中具备良好的泛化性能而成为关注热点,然而,传统采样方法生成的基分类器存在相似度高、集成后泛化能力不足等问题,为此,提出一种基于监督学习的分类器自适应融合方法AEC_SL,该方法先采用高斯混合模型聚类算法将训练集划分为有监督的样本簇,然后在每个类簇上使用随机森林算法得到差异化的分类器,...     

面向用户观点分析的多分类器集成和优化技术

网络上用户生成的数据(User-Generated Data)富含用户的观点(情感),自动识别这些用户观点对很多的Web应用具有重要的作用,例如推荐系统和电子商务/政务智能系统等.但用户的观点表达通常与领域是相关的,因此对于不同的分析领域,用户难以选择到效果最好的分类器.文中针对用户观点分析问题设计了一个三阶段的多分类器集成框架,在此框架下用户只需指定可用的分类器,系统将自动选择一组最优的分类器组合,将它们的预测结果整合为最终分类结果,同时能够保证分类效果优越于最好的单分类器.针对分类器组的选择过程中面临的组合爆炸问题,文中在考虑分类器的准确度和多样性的基础上,设计了一个贪心算法选择成员分类器,并证明该算法是2-近似的.最后,在不同领域的真实数据集上进行了充分的实验,实验结果验证了文中提出的框架和算法的有效性.     

Learning Contextual Dependency Network Models for Link-Based Classification

Links among objects contain rich semantics that can be very helpful in classifying the objects. However, many irrelevant links can be found in real-world link data such as Web pages. Often, these noisy and irrelevant links do not provide useful and predictive information for categorization. It is thus important to automatically identify which links are most relevant for categorization. In this paper, we present a contextual dependency network (CDN) model for classifying linked objects in the presence of noisy and irrelevant links. The CDN model makes use of a dependency function that characterizes the contextual dependencies among linked objects. In this way, CDNs can differentiate the impacts of the related objects on the classification and consequently reduce the effect of irrelevant links on the classification. We show how to learn the CDN model effectively and how to use the Gibbs inference framework over the learned model for collective classification of multiple linked objects. The experiments show that the CDN model demonstrates relatively high robustness on data sets containing irrelevant links