贝叶斯网络分类器近似学习算法

贝叶斯网络在很多领域应用广泛,作为分类器更是一种有效的常用分类方法,它有着很高复杂度,这使得贝叶斯网络分类器在应用中受到诸多限制。通过对贝叶斯网络分类器算法的近似处理,可以有效减少计算量,并且得到令人满意的分类准确率。通过分析一种将判别式算法变为产生式算法的近似方法,介绍了这种算法的近似过程,并将其应用在了贝叶斯网分类算法中。接着对该算法进行分析,利用该算法的稳定性特点,提出Bagging-aCLL 集成分类算法,它进一步提高了该近似算法的分类精度。最后通过实验确定了该算法在分类准确率上确有不错的表现。     

连续属性一阶贝叶斯衍生分类器学习与集成

依据copula和贝叶斯网络理论,将高斯copula函数、引入平滑参数的高斯核函数和以分类器的分类准确性为标准的属性父结点贪婪选择等相结合,综合考虑效率和可靠性,进行连续属性一阶贝叶斯衍生分类器学习、优化和集成。使用UCI数据库中连续属性分类数据进行实验,结果显示,经过优化和集成的一阶连续属性贝叶斯衍生分类器具有良好的分类准确性。     

基于贝叶斯分类器的简历筛选模型

现代社会网络招聘兴起,为社会、企业节省了不少物力、人力、财力,但如何快速、简捷地从众多的电子简历中找出符合要求的简历又是一个让人头疼的问题.文中在贝叶斯网络的基础上,分别从朴素贝叶斯分类器和 TAN 分类器角度,构建一个基于贝叶斯分类器的电子简历筛选模型,并通过实验验证该模型对电子简历进行分类时的准确率和查全率,且引入一个新的评价指标 f 同时考虑准确率和查全率,得出没有属性变量相互独立限制的 TAN 分类器具有较好的分类效果的结论.     

基于关联规则的贝叶斯网络分类器

关联规则分类器(CBA)利用关联规则来构造分类算法,但其没有考虑分类问题中的不确定性.提出一种基于关联规则的贝叶斯网络分类算法.该算法利用关联规则挖掘算法提取初始的候选网络边集,通过贪心算法学习网络结构,得到比经典的贝叶斯网络分类器TAN更好的拓扑结构.通过在15个UCI数据集上的实验结果表明,该算法取得了比TAN,CBA更好的分类性能.     

多维贝叶斯网络分类器加速学习算法

作为概率图模型,无限制多维贝叶斯网络分类器(GMBNC)是贝叶斯网络(BN)应用在多维分类应用时的精简模型,只包含对预测有效的局部结构.为了获得GMBNC,传统方法是先学习全局BN;为了避免全局搜索,提出了仅执行局部搜索的结构学习算法DOS-GMBNC.该算法继承了之前提出的IPC-GMBNC算法的主体框架,基于进一步挖掘的结构拓扑信息来动态调整搜索次序,以避免执行无效用的计算.实验研究验证了DOS-GMBNC算法的效果和效率:(1)该算法输出的网络质量与IPC-GMBNC一致,优于经典的PC算法;(2)在一个包含100个节点的问题中,该算法相对于PC和IPC-GMBNC算法分别节省了近89％和45％的计算量.     

一般贝叶斯网络分类器及其学习算法

贝叶斯网络（BN）应用于分类应用时对目标变量预测有直接贡献的局部模型称作一般贝叶斯网络分类器（GBNC）。推导GBNC的传统途径是先学习完整的BN,而现有推导BN结构的算法限制了应用规模。为了避免学习全局BN,提出仅执行局部搜索的结构学习算法IPC-GBNC,它以目标变量节点为中心执行广度优先搜索,且将搜索深度控制在不超过2层。理论上可证明算法IPC-GBNC是正确的,而基于仿真和真实数据的实验进一步验证了其学习效果和效率的优势：（1）可输出和执行全局搜索的PC算法相同甚至更高质量的结构;（2）较全局搜索消耗少得多的计算量;（3）同时实现了降维（类似决策树学习算法）。相比于绝大多数经典分类器,GBNC的分类性能相当,但兼具直观、紧凑表达和强大推理的能力（且支持不完整观测值）。     

基于预测能力的贝叶斯网络分类器学习*

分析了贝叶斯分类器家族中有代表性的分类器;给出变量之间预测能力的概念及估计方法,在此基础上建立了基于变量间预测能力的贝叶斯网络分类器结构学习方法,并使用UCI数据进行分类实验.实验结果显示,该方法能够有效地进行贝叶斯网络分类器学习,使得贝叶斯网络分类器倾向于简单化,具有较强的分类能力.     

多种策略改进朴素贝叶斯分类器

朴素贝叶斯分类器是一种简单而高效的分类器,但是它的属性独立性假设使其无法表示现实世界属性之间的依赖关系,影响了它的分类性能。通过广泛深入的研究,对改进朴素贝叶斯分类器的多种策略进行了系统的分析和归类整理,为进一步的研究打下坚实的基础。     

连续属性完全贝叶斯分类器的学习与优化

针对连续属性朴素贝叶斯分类器不能有效利用属性之间的条件依赖信息,而依赖扩展又很难实现属性条件联合密度估计和结构学习协同优化的问题,文中在使用多元高斯核函数估计属性条件联合密度的基础上,建立了具有多平滑参数的连续属性完全贝叶斯分类器,并给出将分类准确性标准与区间异步长划分完全搜索相结合的平滑参数优化方法,再通过时序扩展构建了动态完全贝叶斯分类器.我们使用UCI机器学习数据仓库中连续属性分类数据和宏观经济数据进行实验,结果显示,经过优化的两种分类器均具有良好的分类准确性.     

主动贝叶斯网络分类器

在机器学习中,主动学习具有很长的研究历史。给出了主动贝叶斯分类模型,并讨论了主动学习中几种常用的抽样策略。提出了基于最大最小熵的主动学习方法和基于不确定抽样与最小分类损失相结合的主动学习策略,给出了增量地分类测试实例和修正分类参数的方法。人工和实际的数据实验结果表明,提出的主动学习方法在少量带有类别标注训练样本的情况下获得了较好的分类精度和召回率。     

基于条件对数似然函数导数的贝叶斯网络分类器优化算法

通常基于鉴别式学习策略训练的贝叶斯网络分类器有较高的精度,但在具有冗余边的网络结构之上鉴别式参数学习算法的性能受到一定的限制.为了在实际应用中进一步提高贝叶斯网络分类器的分类精度,该文定量描述了网络结构与真实数据变量分布之间的关系,提出了一种不存在冗余边的森林型贝叶斯网络分类器及其相应的FAN学习算法(Forest-Augmented Naive Bayes Algorithm),FAN算法能够利用对数条件似然函数的偏导数来优化网络结构学习.实验结果表明常用的限制性贝叶斯网络分类器通常存在一些冗余边,其往往会降低鉴别式参数学习算法的性能;森林型贝叶斯网络分类器减少了结构中的冗余边,更加适合于采用鉴别式学习策略训练参数;应用条件对数似然函数偏导数的FAN算法在大多数实验数据集合上提高了分类精度.     

基于Nave Bayes分类的网络安全审计数据分析研究

研究了非监督学习Nave Bayes分类的原理和方法,并将其应用到文本数据——网络安全审计数据的分析中。为了提高分类准确率,根据分类的效果对数据的属性集进行选择,使用能提高分类准确性的属性作为分类的依据。对KDDCUP99数据集进行了基于不同属性集的实验,发现了与分类结果相关的属性,分类效果良好。     

基于Na(i)ve Bayes分类的网络安全审计数据分析研究

研究了非监督学习Na(i)ve Bayes分类的原理和方法,并将其应用到文本数据--网络安全审计数据的分析中.为了提高分类准确率,根据分类的效果对数据的属性集进行选择,使用能提高分类准确性的属性作为分类的依据.对KDD CUP99数据集进行了基于不同属性集的实验,发现了与分类结果相关的属性,分类效果良好.     

基于Na?觙ve Bayes分类的网络安全审计数据分析研究

研究了非监督学习Na?觙ve Bayes分类的原理和方法,并将其应用到文本数据——网络安全审计数据的分析中。为了提高分类准确率,根据分类的效果对数据的属性集进行选择,使用能提高分类准确性的属性作为分类的依据。对KDD CUP99数据集进行了基于不同属性集的实验,发现了与分类结果相关的属性,分类效果良好。     

基于判别性解析字典与分类器学习的模式分类

稀疏表示(Sparse Representation,SR)和字典学习(Dictionary Learning,DL)已被广泛用于编码特征数据并有助于模式分类.现有方法通常使用l1/l2范数或每类使用特定字典来强制SR的类判别能力,但由此产生的类判别能力有限.在这项工作中,提出使用训练集作为训练样本的SR的综合字典,因...     

聚类的动态分类器集成选择

动态分类器集成选择(DCES)是当前集成学习领域中一个非常重要的研究方向。然而,当前大部分 DCES算法的计算复杂度较高。为了解决该问题和进一步提高算法的性能,本文提出了基于聚类的动态分类器集成选择(CDCES),该方法通过对测试样本聚类,极大地减少了动态选择分类器的次数,因而降低了算法的计算复杂度。同时, CDCES是一种更加通用的算法,传统的静态选择性集成和动态分类器集成为本算法的特殊情况,因而本算法是一种鲁棒性更强的算法。通过对UCI数据集进行测试,以及与其他算法作比较,说明本算法是一种有效的、计算复杂度较低的方法。     

基于实例的强分类器快速集成方法

针对集成分类器由于基分类器过弱,需要牺牲大量训练时间才能取得高精度的问题,提出一种基于实例的强分类器快速集成方法——FSE。首先通过基分类器评价方法剔除不合格分类器,再对分类器进行精确度和差异性排序,从而得到一组精度最高、差异性最大的分类器;然后通过FSE集成算法打破已有的样本分布,重新采样使分类器更多地关注难学习的样本,并以此决定各分类器的权重并集成。实验通过与集成分类器Boosting在UCI数据库和真实数据集上进行比对,Boosting构造的集成分类器的识别精度最高分别能达到90.2%和90.4%,而使用FSE方法的集成分类器精度分别能达到95.6%和93.9%;而且两者在达到相同精度时,使用FSE方法的集成分类器分别缩短了75%和80%的训练时间。实验结果表明,FSE集成模型能有效提高识别精度、缩短训练时间。     

On Discriminative Bayesian Network Classifiers and Logistic Regression

Discriminative learning of the parameters in the naive Bayes model is known to be equivalent to a logistic regression problem. Here we show that the same fact holds for much more general Bayesian network models, as long as the corresponding network structure satisfies a certain graph-theoretic property. The property holds for naive Bayes but also for more complex structures such as tree-augmented naive Bayes (TAN) as well as for mixed diagnostic-discriminative structures. Our results imply that for networks satisfying our property, the conditional likelihood cannot have local maxima so that the global maximum can be found by simple local optimization methods. We also show that if this property does not hold, then in general the conditional likelihood can have local, non-global maxima. We illustrate our theoretical results by empirical experiments with local optimization in a conditional naive Bayes model. Furthermore, we provide a heuristic strategy for pruning the number of parameters and relevant features in such models. For many data sets, we obtain good results with heavily pruned submodels containing many fewer parameters than the original naive Bayes model.Editors: Pedro Larrañaga, Jose A. Lozano, Jose M. Peña and Iñaki Inza     

A new classifier ensemble methodology based on subspace learning

Different classifiers with different characteristics and methodologies can complement each other and cover their internal weaknesses; so classifier ensemble is an important approach to handle the weakness of single classifier based systems. In this article we explore an automatic and fast function to approximate the accuracy of a given classifier on a typical dataset. Then employing the function, we can convert the ensemble learning to an optimisation problem. So, in this article, the target is to achieve a model to approximate the performance of a predetermined classifier over each arbitrary dataset. According to this model, an optimisation problem is designed and a genetic algorithm is employed as an optimiser to explore the best classifier set in each subspace. The proposed ensemble methodology is called classifier ensemble based on subspace learning (CEBSL). CEBSL is examined on some datasets and it shows considerable improvements.