基于Hadoop 的分布式朴素贝叶斯文本分类

云计算的诞生,有效地解决了海量数据集的存储和分析处理。在云计算实现的开源Hadoop分布式系统集群上,使用MapReduce并行编程模型,设计并实现了一种对TFIDF改进的分布式朴素贝叶斯文本分类算法。实验结果表明,基于Hadoop框架的分布式朴素贝叶斯文本自动分类器不仅能处理节点失效,同时具有高效性和易扩展性的优势。     

基于Map Reduce的Bagging贝叶斯文本分类

集中式系统框架难以进行海量文本数据分类。为此,提出一种基于Map Reduce的Bagging贝叶斯文本分类算法。介绍朴素贝叶斯文本分类算法,将其与Bagging算法结合,运用Map Reduce并行编程模型,在Hadoop平台上实现算法。实验结果表明,该算法分类准确率较高,运行时间较短,适用于大规模文本数据集的分类学习。     

词间相关性在贝叶斯文本分类中的应用研究

针对朴素贝叶斯分类的属性独立性假设的不足,讨论了相关性及多变量相关的概念,给出词间相关度的定义。在TAN分类器的词间相关性分析基础上,提出一种文档特征词相关度估计公式及其在改进朴素贝叶斯分类模型中应用的算法,在Reuters-21578文本数据集上的实验表明,改进算法简单易行,能有效改进贝叶斯分类性能。     

基于朴素贝叶斯分类器的朝鲜语文本分类的研究

该文基于朴素贝叶斯分类器对朝鲜语文本分类进行了研究。首先,利用基于类别选择的特征选择方法对朝鲜语文本进行特征选择,并使用类TF-IDF估算方法计算权重;其次,构造朴素贝叶斯分类器;最后,利用分类器实现对朝鲜语文本的分类。实验表明,该方法在朝鲜语文本分类中具有较好的效果,为朝汉结合文本分类提供了一定的依据。     

基于朴素贝叶斯的文本分类

朴素贝叶斯是一种用于不确定性推理的方法,其原理简单,但是适用性却很强。将朴素贝叶斯用在文本分类中。在传统的文本分类方法的基础上,对文本特征的选择做了改进,通过实验,达到了比较满意的效果。     

基于自助平均的朴素贝叶斯文本分类器

针对单词簇上训练朴素贝叶斯文本分类器概率估计偏差较大所导致的分类精度较低问题,在概率分布聚类算法得到的单词簇的基础上,根据单词与簇间互信息建立有序单词子序列,采用有放回随机抽样对序列构造规模相当的样本集,并将估计出的参数的平均值作为训练得到的参数对未知文本进行分类。公共文本实验数据集上的实验结果表明,该文提出的训练方法相对于传统的朴素贝叶斯分类器训练方法能够获得更高的分类精度且过程相对简单。     

基于MapReduce的朴素贝叶斯文本分类研究

随着互联网的到来,其技术的发展导致了各种数据呈现出爆发式的增长,比如文本数据,分类算法在海量数据前面临着新的挑战。为了解决传统朴素贝叶斯分类算法在面临挑战中的不足,对其中关键词进行加权来提高分类准确率,然后通过Map Reduce编程模型,设计出朴素贝叶斯算法在Hadoop平台下的实现。实验表明:在Hadoop集群上通过并行化的设计朴素贝叶斯分类算法展现出了良好的性能,同时表现出了可靠的扩展性。     

基于朴素贝叶斯的中文海事文本多分类器研究

设计一个有效地基于朴素贝叶斯的中文海事文本多分类器。在文本分类的预处理步骤中,在中文分词上选取领域词典和停用词典有效地降低特征维数、选取IG特征提取方法、改进的TF-IDF公式中特征词权重的计算方法,以建立词频矩阵等,最后用选取的海事样本数据进行训练建立分类库。实验数据表明,本文的基于朴素贝叶斯的中文海事文本多分类器具有很好的高效性和准确性。     

基于朴素贝叶斯算法对论坛文本分类的技术实现

该文主要探讨如何通过朴素贝叶斯算法对中文论坛中的文本信息进行自动分类,文中首先介绍了朴素贝叶斯算法的基本原理,并分析了该算法在文本分类中存在的不足之处,然后针对中文论坛的文本信息进行研究,结合中文论坛文本的特点对朴素贝叶斯算法提出了两点修正,给出了修正后的分类算法公式,最后介绍了如何借助Lucene开源框架、Berkeley DB数据库及IKAnalyzer分词器等工具对修正朴素贝叶斯算法进行技术实现。     

基于互信息的加权朴素贝叶斯文本分类算法

文本分类是信息检索和文本挖掘的重要基础,朴素贝叶斯是一种简单而高效的分类算法,可以应用于文本分类.但是其属性独立性和属性重要性相等的假设并不符合客观实际,这也影响了它的分类效果.如何克服这种假设,进一步提高其分类效果是朴素贝叶斯文本分类算法的一个难题.根据文本分类的特点,基于文本互信息的相关理论,提出了基于互信息的特征项加权朴素贝叶斯文本分类方法,该方法使用互信息对不同类别中的特征项进行分别赋权,部分消除了假设对分类效果的影响.通过在UCIKDD数据集上的仿真实验,验证了该方法的有效性.     

云计算环境下朴素贝叶斯文本分类算法的实现

采用分布式编程MapReduce模型研究了文本统一格式预处理、训练、测试以及分类等基于朴素贝叶斯文本分类算法主要计算过程的MapReduce并行化方法,并在Hadoop云计算平台进行了实验。实验结果表明：朴素贝叶斯文本分类算法MapReduce并行化后在Hadoop云计算平台上部署运行,具有较好的加速比,对中文网页文本分类识别率达到了86%。     

面向不均衡类别朴素贝叶斯犯罪案件文本分类

针对案件文本的特点,提出了具有针对性的特殊文本预处理方法,并比较了两种有效的特征选择方法。针对案件类别分布不均衡的特点,提出了改进的多变量贝努里模型。实验结果表明,改进的多变量贝努里模型有效地提高了案件文本分类的准确率。     

基于贝叶斯的文本分类方法

文本分类中的两个关键问题，算法和特征提取。贝叶斯算法是最有效的文本分类算法之一，但是属性间强独立性的假设在现实中并不成立，借鉴概率论中的多项式模型提出了一种改进型的贝叶斯方法；传统的特征抽取方法有词频法、互信息法、CHI统计、信息增益法等，然而上述方法对于词条的权重未作考虑，引进了权重的表征方式，给出了改进方法，由实验证明了通过以上方面的改进，文本分类的正确率得到了提高。     

一种用于贝叶斯分类器的文本特征选择方法

特征选择是文本分类中一种重要的文本预处理技术,它能够有效地提高分类器的精度和效率。文本分类中特征选择的关键是寻求有效的特征评价指标。一般来说,同一个特征评价指标对不同的分类器,其效果不同,由此,一个好的特征评价指标应当考虑分类器的特点。由于朴素贝叶斯分类器简单、高效而且对特征选择很敏感,因此,对用于该种分类器的特征选择方法的研究具有重要的意义。有鉴于此,提出了一种有效的用于贝叶斯分类器的多类别文本特征评价指标：CDM。利用贝叶斯分类器在两个多类别的文本数据集上进行了实验。实验结果表明提出的CDM指标具有比其它特征评价指标更好的特征选择效果。     

一种基于粒运算的文本情感分类方法研究

随着Internet的迅猛发展,人们对事件的立场、观点和看法的文本信息每天都会在网上出现,对于这些评论,仅靠人工进行跟踪和分析显然是行不通的,人们开始关注并研究评论文本的主观性情感倾向分析。文本情感分类中,分类器的设计是其中最重要的一个环节。文本评论往往是针对某一个特定领域的产品,评论语句一般都是短短几句,并且词汇量小特征词的交叉比较多,在这种情况下,与那些基于统计方法的分类器比较,基于规则的分类器更具优越性。提出了一种基于粒运算的方法,通过建立粒网络生成分类规则,从而得到评论文本的情感倾向分类。     

基于特征加权朴素贝叶斯算法的网络用户识别

基于网络用户的访问记录,提出了采用特征加权的朴素贝叶斯分类算法对用户进行识别。首先利用基于WinPcap框架的数据采集系统对用户访问记录进行采集,通过分析记录从5个方面对用户特征进行统计,并经过筛选后对特征进行选取,最后采用特征加权的朴素贝叶斯分类算法对3300个测试样本进行识别,识别率达到了85.73%。实验结果表明该算法能够有效实现对网络用户身份的识别。     

基于朴素贝叶斯分类的网络谣言识别研究

谣言的传播会破坏社会秩序、危害国家稳定、造成大众恐慌,而社交平台的广泛应用使得信息传播速度更快、波及范围更广,加大了谣言造成的负面影响,如何快速准确地识别网络谣言成为信息传播领域的热点问题.谣言识别本质上是一个二分类问题,因而基于贝叶斯分类的思想设计了网络谣言识别的朴素贝叶斯分类算法,利用Matlab软件构建朴素贝叶斯...     

一种基于特征扩展的中文短文本分类方法

针对短文本所描述信号弱的特点,提出一种基于特征扩展的中文短文本分类方法。该方法首先利用FP Growth算法挖掘训练集特征项与测试集特征项之间的共现关系,然后用得到的关联规则对短文本测试文档中的概念词语进行特征扩展。同时,引入语义信息并且改进了知网中DEF词条的描述能力公式,在此基础上对中文短文本进行分类。实验证明,这种方法具有高的分类性能,其微平均和宏平均值都高于常规的文本分类方法。     

基于高光谱吸收特征参数的分类研究

在Weka平台上,采用决策树C4.5、朴素贝叶斯、朴素贝叶斯树三种算法进行了带缺失属性值的高光谱分类研究。针对高光谱波段数众多、信息冗余量大的特点,首先对光谱曲线进行光谱特征参数提取,然后再选择合适的吸收峰波段作为输入向量来进行分类。实验表明,由NBTree建立的铀黑-沥青铀矿分类模型的分类误差最小,分类精度最高,其次是Na?觙veBayes和J4.8,但从训练时间来看,NBTree则高于NB和J4.8。最后,对三种分类算法的分类结果进行了分析。