中文文本体裁的自动分类机制

文本按体裁自动分类属于按文本的形式分类的范畴,所以它与按内容自动分类问题有许多的不同之处,本文提出了一种关于中文文本体裁自动分类的新机制。在体裁分类过程中首要的问题是分类特征的选取,体裁分类特征项分为两种方式加以描述,一是集合形式,如基于分类词典和语料统计的政论性词汇和情感词汇等,二是规则形式,如公文标识信息和条文句等。基于根据特征之间的关联性和差异性,采用样本分布决策的方法抽取相应的特征项。最后利用支撑向量机算法进行自动分类。该机制已经在五类体裁的语料上得到实现,并获得了较好的效果。     

中文文本分类中特征抽取方法的比较研究

本文比较研究了在中文文本分类中特征选取方法对分类效果的影响。考察了文档频率DF、信息增益IG、互信息MI、χ2分布CHI四种不同的特征选取方法。采用支持向量机(SVM)和KNN两种不同的分类器以考察不同抽取方法的有效性。实验结果表明,在英文文本分类中表现良好的特征抽取方法(IG、MI和CHI)在不加修正的情况下并不适合中文文本分类。文中从理论上分析了产生差异的原因,并分析了可能的矫正方法包括采用超大规模训练语料和采用组合的特征抽取方法。最后通过实验验证组合特征抽取方法的有效性。     

中文文本分类中的特征选择研究

本文介绍和比较了八种用于文本分类的特征选择方法,其中把应用于二元分类器中的优势率改造成适用于多类问题的形式,并提出了一种新的类别区分词的特征选择方法,结合两种不同的分类方法:文本相似度方法和Na?ve Bayes方法,在两个不同的数据集上分别作了训练和测试,结果表明,在这八种文本特征选择方法中,多类优势率和类别区分词方法取得了最好的选择效果。其中,当用Na?ve Bayes分类方法对各类分布严重不均的13890样本集作训练和测试时,当特征维数大于8000以后,用类别区分词作特征选择得到的宏F1值比用IG作特征选择得到的宏F1值高出3%～5%左右。     

中文文本分类中特征选择方法的比较

在自动文本分类系统中,特征选择是有效的降维数方法.通过实验对中文文本分类中的特征选择方法逐一进行测试研究,力图确定较优的中文文本分类特征选择方法.根据实验得出:在所测试的所有特征选择方法中,统计方法的分类性能最好,其次为信息增益(IG),交叉熵(CE)和文本证据权(WE)也取得了较好的效果,互信息(MI)较差.     

文本分类中一种特征选择方法的改进

特征选择在文本分类中是非常必要的,这是由于它可以使分类更加有效与准确。本文根据特征选择方法χ2统计方法的不足,对χ2统计进行改进,并在支持向量机分类算法上进行实验。实验结果表明改进的方法可以提高分类的准确度。     

基于中文多标签分类的特征选择研究

在中文多标签文本分类中,面临的一个主要问题就是如何降低文本巨大的特征维数,并且保持分类精度甚至提高分类精度。文本提出的特征选择方法相比于现有最常用的特征选择算法,更注重删除稀疏特征、保留更有区分度、有利于分类的特征。     

基于支持向量机的中文文本自动分类研究

根据文本数据学习的特点，采用线性支持向量机（LSVM）学习算法，实现了一个中文文本自动分类系统，并对该系统进行了针对大规模真实文本的试验测试，结果发现，系统的招回率较低，而准确率较高，该文对此结果进行了分析，并提出一种采用训练中拒识样本信息对分类器输出进行改进的方法，试验表明，该方法有效地提高了系统的性能，取得了令人满意的结果。     

支持向量机的中文文本分类研究

支持向量机是一种基于统计学习理论的新型机器学习方法,在文本分类领域取得了很好的效果。使用支持向量机进行了文本分类的研究,实现了一个中文文本自动分类系统,并给出了实验结果。     

基于多特征选择的中文文本分类

自动文本分类就是在给定的分类体系下,让计算机根据文本的内容确定与它相关联的类别。特征选择作为文本分类中的关键,困难之一是特征空间的高维性,因此寻求一种有效的特征选择方法,降低特征空间的维数,成为文本分类中的重要问题。在分析已有的文本分类特征选择方法的基础上,实现了一种组合不同特征选择方法的多特征选择方法,应用于KNN文本分类算法,实验表明,多特征选择方法分类效果比单一的特征选择方法分类效果有明显的提高。     

基于多特征选择的中文文本分类

自动文本分类就是在给定的分类体系下，让计算机根据文本的内容确定与它相关联的类别。特征选择作为文本分类中的关键，困难之一是特征空间的高维性，因此寻求一种有效的特征选择方法，降低特征空间的维数，成为文本分类中的重要问题。在分析已有的文本分类特征选择方法的基础上，实现了一种组合不同特征选择方法的多特征选择方法，应用于KNN文本分类算法，实验表明，多特征选择方法分类效果比单一的特征选择方法分类效果有明显的提高。     

改进的支持向量机特征选择算法

针对采用支持向量机进行分类的特征子集选择问题,提出一种改进的基于梯度向量的特征评测算法。该算法在核特征空间中,利用数据点到分类超平面的距离函数的梯度向量对各个特征的重要性进行排序,省去了已有算法中计算梯度向量与各个坐标轴夹角的过程,实验结果表明,该算法简化了已有的基于角度的特征选择方法,并且结果保持一致。     

基于自适应遗传算法和SVM的特征选择

针对传统风险辨识方法无法实现盾构隧道施工过程中的风险状态实时识别的问题,提出一种自适应遗传算法和支持向量机结合的特征选择方法(AGASVM),筛选出与施工质量风险关系最为密切的关键特征集。实验结果表明,用AGASVM所获得的关键特征集用于施工风险状态实时识别的分类准确率较高。其特征集规模比原始特征集有明显缩减,而且绝大部分关键特征与领域专家的意见是吻合的。     

新闻报道文本的情感倾向性研究

将机器学习中的经典分类方法与规则方法相结合,用以分析新闻语音文本的情感倾向,并判断其强弱。通过支持向量机分类器来研究特征选择方法及特征权重计算方法的组合对实验结果的影响。在实验过程中发现适当的结合规则后,实验结果在不同程度上都有了提高,在KNN和Bayes分类器上做了对比实验,结果证实该方法的普适性。     

基于文档频率的特征选择方法

传统的文档频率(DF)方法在进行特征选择时仅考虑特征词在类别中出现的DF,没有考虑特征词在每篇文档中出现的词频率(TF)问题。针对该问题,基于特征词在每篇文档中出现的TF,结合特征词在类别中出现的DF提出特征选择的新算法,并使用支持向量机方法训练分类器。实验结果表明,在进行特征选择时,考虑高词频特征词对类别的贡献,可提高传统DF方法的分类性能。     

基于特征分选策略的中文共指消解方法

针对基于机器学习的中文共指消解中不同类别名词短语特征向量的使用差异,提出一种基于特征分选策略的方法。该方法在选择特征向量时对人称代词和普通名词短语分别处理,充分利用不同名词短语的已有特征进行共指消解,并减少部分无效特征在共指消解过程中产生的“噪声”。实验结果表明,该中文共指消解方法能提高共指消解的性能, 值达到80.72%。     

基于模糊集和支持向量机的文本流派分类方法

针对目前流派分类技术分类性能不够好的问题,将支持向量机和模糊集理论的优点结合起来,提出了一种基于模糊集和支持向量机的文本流派分类方法。并以电影评论作为数据集,比较和分析了该方法在不同文本特征生成方法、不同特征数目下的分类效果,并与SVM方法进行了比较,实验结果表明其微平均查准率要优于SVM方法。理论和实验都证明了提出的方法可以取得较好的分类性能。     

基于梯度和颜色特征的图像垃圾邮件过滤

提出以图像的梯度直方图和颜色直方图作为分类特征,分析最小二乘支持向量机(LS-SVM)算法以及该算法与传统SVM算法的区别,比较传统分类算法与LS-SVM算法的分类准确度,将LS-SVM算法用于图像垃圾邮件过滤。实验结果表明,该方法能提高图像垃圾邮件的检测率。     

面向文本分类的基于最小冗佘原则的特征选取

在文本分类中，为了降低计算复杂度，常用的特征选取方法（如IG）都假设特征之间条件独立。该假设将引入严重的特征冗余现象。为了降低特征子集的冗余度，本文提出了一种基于最小冗余原则（minimal Redundancy Principle，MRP）的特征选取方法。通过考虑不同特征之间的相关性，选择较小冗余度的特征子集。实验结果显示基于最小冗余原则方法能够改善特征选取的效果，提高文本分类的性能。     

面向文本分类的基于最小冗余原则的特征选取

在文本分类中,为了降低计算复杂度,常用的特征选取方法(如IG)都假设特征之间条件独立。该假设将引入严重的特征冗余现象。为了降低特征子集的冗余度,本文提出了一种基于最小冗余原则(minimal RedundancyPrinciple,MRP)的特征选取方法。通过考虑不同特征之间的相关性,选择较小冗余度的特征子集。实验结果显示基于最小冗余原则方法能够改善特征选取的效果,提高文本分类的性能。