文本分类中特征选择方法研究

对四种特征选择方法:互信息、信息增益、x2统计和期望交叉熵作了简要的介绍,并且结合KNN分类算法,使用查全率、查准率、宏平均和微平均对四种特征选择方法分别进行评估,提出并讨论了互信息修正的两种方法.     

一种基于改进互信息和信息熵的文本特征选择方法

互信息是一种常用的特征选择评价函数,但研究表明它会导致分类精度相对较低.文中针对互信息倾向选择低频词的不足,提出了一种新的特征评价函数TFMIIE,将信息熵和改进互信息相结合,其中改进互信息能够避免偏向低频的生僻词,而特征熵有利于去除类别不确定的特征词.实验结果表明,采用TFMIIE进行特征选择,用得到的特征子集表示文本和构建分类器,文本分类的准确率与召回率比采用互信息的方法提高了约40％,验证了所提出的基于改进互信息和信息熵的文本特征选择方法是有效的.     

中文文本分类中的特征选择算法研究

比较了文档频率、信息增益、互信息、X^2统计量、期望交叉熵、文本证据权以及几率比等7种常用于文本分类的特征选择算法。实验采用国家“八六三计划”中文文文本语料库和Rocchio分类器对以上的特征选择算法分别进行评估，测评结果表明，几率比法的性能优于其它特征选择算法。     

一种新的用于文本分类的特征选择算法

目前在文本分类领域较常用到的特征选择算法中,仅仅考虑了特征与类别之间的关联性,而对特征与特征之间的关联性没有予以足够的重视.在特征相关性分析的基础上,提出了一种新的算法,改进了特征选择算法中所出现的上述问题.实验验证了算法的可行性和有效性.     

基于相关性的文本分类特征选择算法

通过在不同文本数据集上的试验表明,文中提出的算法具有不错的表现。与文本分类中常用的特征选择算法IG、CHI相比,文中算法是有效的且能够提高分类的精确率。     

基于类别分布差异和VPRS特征选择的文本分类方法

权值计算和特征降维是影响文本分类的精度和效率的两个重要步骤。该文首先根据特征词的类别分布差异进行特征过滤;然后,分析传统的权值公式TF-IDF的缺点,采用改进的权值计算公式简记为TF-CDF,依据TF-CDF公式计算每个特征词的权值,生成文档集的向量空间模型VSM;接着,提出了一种基于可变精度粗糙理论(VPRS)的特征选择进一步选择对分类贡献度大的特征,并用SQL实现。最后利用支持向量机LibSVM分类器进行实验,实验结果表明特征过滤和选择方法及TF-CDF权值公式有助于提高分类精度和分类效率。     

适用于不确定文本分类的特征选择算法

基于Hilbert-Schmidt依赖性准则提出了一种新颖的特征选择算法FSUNT,重点考虑特征选择过程中可能出现的模糊性和不确定性.针对类标号不确定而其他特征值确定的文本数据,通过考察特征与不确定的类标号间的Hilbert-Schmidt相关性,对特征进行排序,并选取最终的结果子集.最后大量真实与仿真实验结果表明,基于该算法可得到良好的分类效果和稳定性.     

遗传与互信息混合算法用于水声目标特征选择

特征选择是目标分类的一项重要步骤，直接影响到分类器的设计和性能。本文利用实际水声目标辐射噪声数据，对遗传算法和互信息算法两种特征选择方法分别作了分析。在特征维数较大的情况下，两种方法都需要很长的计算时间，为此，提出一种遗传与互信息混合算法，旨在降低计算时间。最后，分类器用三种选择后的特征子集作为输入进行分类，并与任意选择的特征子集作为输入的分类结果作了比较。     

一种基于规范互信息和动态冗余信号识别技术的特征选择方法

为了实现对模式识别、信号处理等领域中数据的有效表达,提出了一种基于规范互信息和动态冗余信号识别技术的特征选择方法。该方法采用规范互信息对特征相关性和冗余性进行测量,并通过一种动态冗余信号识别技术在特征全集中进行冗余特征的筛选。分类实验结果表明所提特征选择方法性能优于典型的特征选择方法。     

基于朴素贝叶斯的文本分类算法研究

互联网时代存在大量的文本数据,为了更加有效的利用文本信息,文本分类已成为当务之急.本文介绍了朴素贝叶斯算法的原理以及解决文本分类问题的流程,分析了朴素贝叶斯用于文本分类问题的优缺点,并且提出了改进方案.     

Conditional Mutual Information‐Based Feature Selection Analyzing for Synergy and Redundancy

Battiti's mutual information feature selector (MIFS) and its variant algorithms are used for many classification applications. Since they ignore feature synergy, MIFS and its variants may cause a big bias when features are combined to cooperate together. Besides, MIFS and its variants estimate feature redundancy regardless of the corresponding classification task. In this paper, we propose an automated greedy feature selection algorithm called conditional mutual information‐based feature selection (CMIFS). Based on the link between interaction information and conditional mutual information, CMIFS takes account of both redundancy and synergy interactions of features and identifies discriminative features. In addition, CMIFS combines feature redundancy evaluation with classification tasks. It can decrease the probability of mistaking important features as redundant features in searching process. The experimental results show that CMIFS can achieve higher best‐classification‐accuracy than MIFS and its variants, with the same or less (nearly 50%) number of features.     

基于特征向量的文本信息过滤算法研究

随着信息技术的迅速发展,网络已经逐步成为人们生活当中不可或缺的信息传播工具。由于网络资源的大量使用和信息的大量传输,导致信息过载及安全等问题日益突出。为了解决信息过滤的过滤精度和效率瓶颈等问题,这里详细地对文本信息过滤的主要过程、文本表示方法、特征向量获取、相似度计算等技术进行研究,提出一个基于特征向量的文本信息过滤算法。该过滤算法有效地平衡了计算负载,具有较高的信息过滤性能。     

一种改进的文本分类特征选择算法

现有的一种特征选择算法DPM（Discriminating Power Measure）[1],是通过计算每个特征在某一类别和剩余其他类别中的文档频,比较了特征对一个类别和对其他类别的贡献,提取出具有强类别区分能力的特征词.在研究此特征选择算法的基础上,提出了一种改进的特征选择算法,该算法同时考虑了每个特征的类别频次在计算特征类别区分能力方面的重要性.经实验验证,改进后的特征选择算法能够获得较好的分类效果.     

面向不良文本信息的中文网页分类方法

结合Internet不良文本信息的特点,运用贝叶斯理论设计了一种面向该类信息的网页分类方法,该方法兼顾分类效率与分类精度,对特征项选取以及权重计算的方法进行了优化,降低了分类特征维数,简化了分类过程的处理.实验数据表明,该方法保持了良好的性能,提高了效率.     

动态加权条件互信息的特征选择算法

特征选择是机器学习、自然语言处理和数据挖掘等领域中数据预处理阶段必不可少的步骤。在一些基于信息论的特征选择算法中,存在着选择不同参数就是选择不同特征选择算法的问题。如何确定动态的非先验权重并规避预设先验参数就成为一个急需解决的问题。该文提出动态加权的最大相关性和最大独立性(WMRI)的特征选择算法。首先该算法分别计算新分类信息和保留类别信息的平均值。其次,利用标准差动态调整这两种分类信息的参数权重。最后,WMRI与其他5个特征选择算法在3个分类器上,使用10个不同数据集,进行分类准确率指标(fmi)验证。实验结果表明,WMRI方法能够改善特征子集的质量并提高分类精度。     

基于零亏损冗余删减策略的最优光谱特征选择算法

为了以最小的代价筛选出最优的光谱特征,从信息亏损角度提出了一种Filter型光谱特征选择算法。该算法依据联合互信息的大小对特征进行排序,并采用一种零信息亏损原则对排序后特征全集中的冗余特征进行判断和删减。这样既能获得一个规模较小并可表现整个原始光谱特征的最优光谱特征子集,又减小了由冗余特征删减带来的信息亏损。     

基于云平台的互信息最大化特征提取方法研究

随着大规模基因芯片的应用,针对高维度的基因表达数据存在大量无关和冗余特征可能降低分类器性能的问题,提出了一种基于云平台的互信息最大化特征提取（CMI-Selection）方法。Hadoop云计算平台对基因表达数据划分后进行并行计算,同时结合互信息最大化方法对特征进行提取,实现了云计算平台上的特征过滤模型。实验结果表明,基于云平台的互信息最大化特征提取方法能够在保证较高分类精度的情况下,快速提取特征,节省大量时间资源,是一种高效的基因特征提取系统。     

面向分类的流特征在线特征选择算法

在线流特征选择通过实时过滤无关特征和冗余特征,实现流特征空间降维.针对已有算法,如Alpha-investing分类精度低、SAOLA选择特征数多和OSFS在低冗余高相关数据集下运行时间长的问题,提出了一种面向分类的流特征在线特征选择算法——OSFIC.算法运用四层过滤框架,通过无条件独立过滤不相关新特征、单条件下互信息过滤冗余新特征和候选特征集合中的部分冗余特征,最后通过多条件独立过滤候选特征集中的剩余冗余特征,最终得到分类标签的近似马尔可夫毯.为了分析OSFIC的性能,选择了NIPS 2003和Causality Workbench中的数据集,从预测精度、特征数量、运行时间和AUC方面与已有基准算法进行比较.实验表明,OSFIC平均分类精度比Alpha-investing提升4.41%.在保证精度的前提下,平均特征数量比SAOLA减少41.9%,运行时间比OSFS减少91.59%.最后,在真实的应用场景下验证了OSFIC的有效性.     

一种改进的文本特征选择算法

在文本挖掘中,文档通常以特征向量的形式表示。为了提高文本挖掘算法的运行速度,降低占用的内存空间,过滤掉不相关或相关程度低的特征,提出一种改进的特征选择算法,该算法对特征进行综合考虑,从而更加准确地选取有效的特征。实验验证了改进算法的可行性和有效性。