基于动态约简的增量贝叶斯分类算法的研究

朴素贝叶斯由于条件独立性假设使其分类效果不明显,同时在处理海量数据时缺乏灵活性。针对以上情况,提出一种基于动态约简的增量贝叶斯分类算法。算法首先利用(F-λ)广义动态约简计算出数据集的核属性,然后根据训练集的先验信息构造分类器对测试实例进行分类,最后利用类置信度进行选择性增量学习,增强处理增量数据的能力。实验结果表明,该算法在处理属性少的小量数据时,分类效果有一定的改善,在处理多属性大量数据时,分类效果明显提高。     

基于朴素贝叶斯的区域高校图书馆数字资源一站决策算法

随着智慧图书馆的兴起,可以对图书馆数字资源大数据进行深入挖掘利用,区域高校图书馆数字资源一站式检索必然是进一步增强馆际合作、数据挖掘、资源互享的有效平台。基于朴素贝叶斯的区域高校图书馆数字资源一站式决策算法设计了一种决策树与朴素贝叶斯模型相结合的两层模型方法,通过提取整合区域内各高校图书馆数字资源大数据的特征属性,并利用朴素贝叶斯模型进一步筛选特征属性,从而构建决策树架构,支撑区域高校图书馆数字资源一站式检索。利用基于朴素贝叶斯的区域高校图书馆数字资源一站式决策算法可以实现检索资源过程更加便捷高效,检索结果的准确率呈现翻倍式增长。     

Spark框架下利用分布式NBC的大数据文本分类方法

针对现有面向大数据的计算框架在可扩展性机器学习研究中面临的挑战,提出了基于MapReduce和Apache Spark框架的分布式朴素贝叶斯文本分类方法。通过研究MapReduce和Apache Spark框架的适应性来探索朴素贝叶斯分类器（NBC）,并研究了现有面向大数据的计算框架。首先,基于朴素贝叶斯文本分类模型将训练样本数据集分为◢m◣类;进一步在训练阶段中,将前一个MapReduce的输出作为后一个MapReduce的输入,采用四个MapReduce作业得出模型。该设计过程充分利用了MapReduce的并行优势,最后在分类器测试时取出最大值所属的类标签值。在Newgroups数据集进行实验,在所有五类新闻数据组上的分类都取得了99%以上的结果,并且均高于对比算法,证明了提出方法的准确性。     

农业网站中垃圾网页过滤方法的研究

在农业网站中存在着大量的含有无效信息的网页,为了将这些垃圾网页从海量的网页中过滤出去,本文提出了一种新的方法,即通过朴素贝叶斯法与决策树法相结合的方法来判别垃圾网页。     

一种基于情感词典和朴素贝叶斯的中文文本情感分类方法*

基于朴素贝叶斯理论提出了一种新的中文文本情感分类方法。这种方法利用情感词典对文本进行处理和表示,基于朴素贝叶斯理论构建文本情感分类器,并以互联网上宾馆中文评论作为分类研究的对象。实验表明,使用提出的方法构成的分类器具有分类速度快、分类准确度高、鲁棒性强等特点,并且适合于大量中文文本情感分类应用系统。     

Deep Web查询接口的自动判定

传统搜索引擎仅可以索引浅层Web页面．然而在网络深处隐含着大量、高质量的信息，传统搜索引擎由于技术原因不能索引这些被称之为Deep Web的页面。由于查询接口是Deep Web的唯一入口，因此要获取Deep Web信息就需判定哪些网页表单是Deep Web查询接口。文中介绍了一种利用朴素贝叶斯分类算法自动判定网页表单是否为Deep Web查询接口的方法，并实验验证了该方法的有效性。     

基于Bootstrap Averaging的贝叶斯分类算法

针对单词簇上训练朴素贝叶斯文本分类器概率估计偏差较大所导致的分类精度较低问题.在使用概率分布聚类算法得到的单词簇的基础上,根据单词与簇间互信息建立有序单词子序列,采用有放回随机抽样对单词序列构造规模相当的样本集并将估计出的参数的平均值作为训练得到的最终参数对未知文本进行分类.公共文本实验数据集上的实验结果表明,提出的训练方法相对于传统的朴素贝叶斯分类器训练方法能够获得更高的分类精度且过程相对简单.     

半监督文本分类综述

文本分类是人们日常工作中经常遇到的问题,也是机器学习的重要研究内容.半监督学习算法同时考虑有标记和无标记数据,能显著提升学习效果.给出了文本分类的定义和特点,介绍了传统的监督学习分类算法和评价指标,对半监督文本分类的特点和基础理论进行了分析,并具体介绍了一些半监督文本分类算法,如贝叶斯方法和正则化方法.     

利用置信度重取样的SemiBoost-CR分类模型

结合半监督学习和集成学习方法,提出了一种基于置信度重取样的SemiBoost-CR分类模型.给出了基于标注近邻与未标注近邻的置信度计算公式,按照置信度重采样,不仅选取一定比例置信度较高的未标注样本,而且选取一定比例置信度较低的未标注样本,分别以不同的策略加入到已标注的训练样本集,引入置信度高的未标注样本,用以提高基分类...