文本分类中基于基尼指数的特征选择算法研究

随着网络的发展，大量的文档数据涌现在网上，用于处理海量数据的自动文本分类技术变得越来越重要，自动文本分类已成为处理和组织大量文档数据的关键技术．对于采用矢量空间模型（VSM）的大多数分类器来说，文本预处理成为分类的瓶颈，高维的特征空间对于大多数分类器来说是难以忍受的，因此采用适当的文本特征选择算法降低原始文本特征空间的维数成为文本分类的首要任务．目前也有很多的文本特征选择算法，介绍了另一种新的基于基尼指数的文本特征选择算法，使用基尼指数原理进行了文本特征选择的研究，构造了基于基尼指数的适合于文本特征选择的特征选择评估函数．实验表明，基于基尼指数的文本特征选择能进一步提高分类性能，而且计算复杂度小．     

一种改进的基尼指数特征权重算法

文本分类中普遍应用的TF-IDF特征权重算法没有引入特征项的纯度和类别属性.在结合基尼指数原理和TF-IDF特征权重算法基础上,提出一种基于基尼指数的特征权重改进算法,在计算特征权重时引入特征项的纯度和分类的已知类别属性.进一步,设计了两种特征权重算法的对比实验,并在SVM分类器和kNN分类器下选取不同的特征项数目进行多次实验.实验结果表明,该改进的基尼指数特征权重算法有更好的效果.     

模糊kNN在文本分类中的应用研究

自动文本分类是根据已经分配好类标签的训练文档集,来对新文档分配类标签.针对模糊kNN算法用于文本分类的性能进行了一系列的实验研究与分析.在中英文两个不同的语料集上,采用四种著名的文本特征选择方法进行特征选择,对改进的模糊kNN方法与经典kNN及目前广泛使用的基于相似度加权的kNN方法进行实验比较.结果表明,在不同的特征选择方法下,该算法均能削弱训练样本分布的不均匀性对分类性能的影响,提高分类精度,并且在一定程度上降低对k值的敏感性.     

基于多特征选择的电力档案自动分类方法

针对电力档案自动分类中应用效果不佳的问题，提出基于多特征选择的电力档案自动分类方法。首先，对电力档案文本内容进行提取、分词、去停词处理，并利用向量空间模型表示电力档案本文；其次，利用多特征选择技术提取文档频率、卡方检验、归一化差异、基尼指数及信息增益多项特征；最后，根据特征确定电力档案文档与类别的相似度，通过与分类阈值对比确定电力档案类别。实验结果表明，设计方法的档案错误分类数量较少，优于传统方法，在电力档案自动分类方面拥有广阔的应用前景。     

基于神经网络的中文文本分类中的特征选择技术*

基于神经网络的中文文本分类需要解决的核心问题是特征的选择问题,特征选择涉及选择哪些特征和选择的特征维度两个问题。针对上述问题,提出了信息增益(IG)与主成分分析(PCA)相结合的特征选择方法。通过实验比较分析了不同特征选择方法与特征维度对分类性能的影响,证明了该特征选择方法在基于神经网络的中文文本分类中的优越性,并得出神经网络的特征输入维度在200左右的时候分类性能最佳。     

基于多特征选择的中文文本分类

自动文本分类就是在给定的分类体系下，让计算机根据文本的内容确定与它相关联的类别。特征选择作为文本分类中的关键，困难之一是特征空间的高维性，因此寻求一种有效的特征选择方法，降低特征空间的维数，成为文本分类中的重要问题。在分析已有的文本分类特征选择方法的基础上，实现了一种组合不同特征选择方法的多特征选择方法，应用于KNN文本分类算法，实验表明，多特征选择方法分类效果比单一的特征选择方法分类效果有明显的提高。     

基于独立性理论的文本分类特征选择方法

特征与各个文档类在文本集中的独立程度体现了特征的代表性,文本分类的特征选择过程是选择能够提高分类性能的高代表性特征的过程。基于该原理提出DHChi2和EIBA 2种新的文本分类特征选择方法,对这2种方法进行合理的组合。实验结果表明,独立性理论应用于文本分类特征选择有利于提高分类性能。     

一种高效的用于文本聚类的无监督特征选择算法

特征选择虽然非常成功地应用于文本分类,但却很少用于文本聚类,这是因为那些高效的特征选择方法通常都是有监督的特征选择算法,它们因为需要类信息而无法直接应用于文本聚类．为了能将这些方法应用到文本聚类上,提出了一种新的无监督特征选择算法：基于K—Means的特征选择算法(KFS)．这个算法通过在不同K—Means聚类结果上使用有监督特征选择的方法,成功地选择出了最为重要的一小部分特征,使文本聚类的性能提高了近15％．     

基于类信息的文本特征选择与加权算法研究

文本自动分类中特征选择和加权的目的是为了降低文本特征空间维数、去除噪音和提高分类精度。传统的特征选择方案筛选出的特征往往偏爱类分布不均匀文档集中的大类,而常用的TF·IDF特征加权方案仅考虑了特征与文档的关系,缺乏对特征与类别关系的考虑。针对上述问题,提出了基于类别信息的特征选择与加权方法,在两个不同的语料集上进行比较和分析实验,结果显示基于类别信息的特征选择与加权方法比传统方法在处理类分布不均匀的文档集时能有效提高分类精度,并且降维程度有所提高。     

遗传算法与文本特征选择方法相结合的研究

对文本特征选择的传统方法进行了深入分析并对各自的优缺点进行了详细的对比；其次，通过利用遗传算法自身的寻优特点，把它与传统特征选择方法相结合，并得出了算法。最后，在对各自算法进行了分析，表明了在性能上有了明显的提高。     

一种用于贝叶斯分类器的文本特征选择方法

特征选择是文本分类中一种重要的文本预处理技术,它能够有效地提高分类器的精度和效率。文本分类中特征选择的关键是寻求有效的特征评价指标。一般来说,同一个特征评价指标对不同的分类器,其效果不同,由此,一个好的特征评价指标应当考虑分类器的特点。由于朴素贝叶斯分类器简单、高效而且对特征选择很敏感,因此,对用于该种分类器的特征选择方法的研究具有重要的意义。有鉴于此,提出了一种有效的用于贝叶斯分类器的多类别文本特征评价指标：CDM。利用贝叶斯分类器在两个多类别的文本数据集上进行了实验。实验结果表明提出的CDM指标具有比其它特征评价指标更好的特征选择效果。     

基于多特征选择的中文文本分类

自动文本分类就是在给定的分类体系下,让计算机根据文本的内容确定与它相关联的类别。特征选择作为文本分类中的关键,困难之一是特征空间的高维性,因此寻求一种有效的特征选择方法,降低特征空间的维数,成为文本分类中的重要问题。在分析已有的文本分类特征选择方法的基础上,实现了一种组合不同特征选择方法的多特征选择方法,应用于KNN文本分类算法,实验表明,多特征选择方法分类效果比单一的特征选择方法分类效果有明显的提高。     

基于关联特征扩展的特征选择算法

特征选择是文档分类中常见的预处理工作，通过对文档特征空间降维，可以提高文档的分类性能。针对多数特征选择算法不考虑特征词共现关系的问题，该文提出了一种利用关联特征来增强文档分类性能的方法，针对特征扩展后产生的高维向量空间设计了一种快速冗余特征去除和选择算法，以满足实际应用中对增强特征分类性能和执行效率的需要。实验采用朴素贝叶斯网作为分类器，从特征降维效果、分类性能以及算法执行效率等方面与其他算法进行了比较。     

大数据时代中文文本褒贬倾向性分类研究

在当前的大数据时代,互联网上的博客、论坛产生了海量的主观性评论信息,这些评论信息表达了人们的各种情感色彩和情感倾向性。如果仅仅用人工的方法来对网络上海量的评论信息进行分类和处理实在是太难了,那么,如何高效地挖掘出网络上大量的具有褒贬倾向性观点的信息就成为目前亟待解决的问题,中文文本褒贬倾向性分类技术研究正是解决这一问题的一个方法。文章介绍了常用的文本特征选择算法,分析了文档频率和互信息算法的不足,通过对两个算法的对比和研究,结合文本特征与文本类型的相关度和文本褒贬特征的出现概率,提出了改进的文本特征选择算法（MIDF）。实验结果表明,MIDF算法对文本褒贬倾向性分类是有效的。     

一种基于最大边缘相关的特征选择方法

文本分类的特点是高维的特征空间和高度的特征冗余.针对这两个特点,采用χ2统计量处理高维的特征空间,利用信息新颖度的思想处理高度的特征冗余,根据最大边缘相关的定义,将二者有机结合,提出一种基于最大边缘相关的特征选择方法.该方法可以在特征选择过程中减少大量的冗余特征.最后,在Reuters-21578Top10和OHSCAL两个文本数据集上进行实验.实验结果表明,基于最大边缘相关的特征选择方法比χ2统计量和信息增益两种特征选择方法更高效,并且能够提高nave Bayes,Rocchio和kNN 3种不同分类器的性能.     

基于野草算法的文本特征选择

为了更全面地对文本进行特征选择,提高文本特征选择的准确率,提出一种基于野草算法的文本特征选择方法,利用野草算法中子代个体按正态分布的方式分布于父代个体周围,在进化过程中通过动态调整子代个体正态分布的标准差,使算法在早期与中期充分保持种群多样性的优势,对文本进行比较全面的特征选择;在算法后期加强对优秀个体的特征选择,保证算法稳健地收敛到全局最优解,提高文本特征选择的准确率。实验结果表明,这种方法可以给予权重值低的词条进行特征选择的机会,并且保证权重值高的词条特征选择优势,从而提高文本特征选择的全面性和准确性。     

基于集成合并的文本特征提取方法

文本分类是在给定的分类体系下,根据文本的内容自动确定文本类别的过程.在文本分类中,特征的提取对于分类的结果相当重要.从特征提取这一阶段出发,提出了一个集成合并的特征提取方法,该方法主要集成多种特征提取方法并合并关系密切的特征,并利用支持向量机SVM(Support Vector Machine)分类的高准确率,能够求出全局最优方法等优点来对得到的特征向量进行分类评估.实验证明,此种特征提取能够降低分类时间和提高分类的准确率.