面向文本分类的基于最小冗余原则的特征选取

在文本分类中,为了降低计算复杂度,常用的特征选取方法(如IG)都假设特征之间条件独立。该假设将引入严重的特征冗余现象。为了降低特征子集的冗余度,本文提出了一种基于最小冗余原则(minimal RedundancyPrinciple,MRP)的特征选取方法。通过考虑不同特征之间的相关性,选择较小冗余度的特征子集。实验结果显示基于最小冗余原则方法能够改善特征选取的效果,提高文本分类的性能。     

面向文本分类的混淆类判别技术

分析了文本分类过程中存在的混淆类现象,主要研究混淆类的判别技术,进而改善文本分类的性能.首先,提出了一种基于分类错误分布的混淆类识别技术,识别预定义类别中的混淆类集合.为了有效判别混淆类,提出了一种基于判别能力的特征选取技术,通过评价某一特征对类别之间的判别能力实现特征选取.最后,通过基于两阶段的分类器设计框架,将初始分类器和混淆类分类器进行集成,组合了两个阶段的分类结果作为最后输出.混淆类分类器的激活条件是:当测试文本被初始分类器标注为混淆类类别时,即采用混淆类分类器进行重新判别.在比较实验中采用了Newsgroup和863中文评测语料,针对单标签、多类分类器.实验结果显示,该技术有效地改善了分类性能.     

面向文本分类的基于最小冗佘原则的特征选取

在文本分类中，为了降低计算复杂度，常用的特征选取方法（如IG）都假设特征之间条件独立。该假设将引入严重的特征冗余现象。为了降低特征子集的冗余度，本文提出了一种基于最小冗余原则（minimal Redundancy Principle，MRP）的特征选取方法。通过考虑不同特征之间的相关性，选择较小冗余度的特征子集。实验结果显示基于最小冗余原则方法能够改善特征选取的效果，提高文本分类的性能。