基于改进粒子群算法的最优特征子集研究

特征选择是模式识别系统的难点.针对高维数据对象,先运用改进粒子群优化(PSO)算法快速、有效地从特征样本中提取一组最优特征子集,然后采用最小二乘支持向量机(LSSVM)分类器对最优特征子集进行分类,验证特征选择的好坏.经大量实验验证,在保证分类正确率的前提下,该方法有效提高了特征选择效率.     

混合Filter与改进自适应GA的特征选择方法

针对高维度小样本数据在特征选择时出现的维数灾难和过拟合的问题,提出一种混合Filter模式与Wrapper模式的特征选择方法（ReFS-AGA）。该方法结合ReliefF算法和归一化互信息,评估特征的相关性并快速筛选重要特征;采用改进的自适应遗传算法,引入最优策略平衡特征多样性,同时以最小化特征数和最大化分类精度为目标,选择特征数作为调节项设计新的评价函数,在迭代进化过程中高效获得最优特征子集。在基因表达数据上利用不同分类算法对简化后的特征子集分类识别,实验结果表明,该方法有效消除了不相关特征,提高了特征选择的效率,与ReliefF算法和二阶段特征选择算法mRMR-GA相比,在取得最小特征子集维度的同时平均分类准确率分别提高了11.18个百分点和4.04个百分点。     

一种新的快速模糊规则提取方法

提出一种高效的规则提取算法,采用熵测量改进Chi-merge特征区间离散化方法,模糊划分输入空间闻.先为每个数据生成单条规则,再聚集相同前项的单条规则产生带概率属性的分类规则.提取的规则无需任何调整,应用模糊推理便可获得较理想的分类效果,同时支持增量规则更新.最后给出了新方法的性能测试结果.     

基于神经网络和粗糙集规则的提取方法

在利用粗糙集对连续性数据进行分类规则挖掘时，需要对数据进行离散化处理，但是离散结果往往会破坏原有数据的隐含信息，提取的分类规则质量难以保证。该文设计了一种基于自组织人工神经网络与粗糙集理论的分类规则提取方法，利用神经网络自动分类的功能，对离散前后的数据进行分类，比较两次分类结果是否一致，当达到一致性结果后，再利用粗糙集理论对数据约简，进行规则提取，有效地解决了原始数据信息丢失的问题，通过实例证明了该方法的合理性。     

分类数据集的一致化特征选择约简

样本数据集的不一致性和冗余特征会降低分类的质量和效率。提出了一种一致化特征选择约简方法,该方法基于贝叶斯公式,采用阈值,将非一致数据归为最可能的一类,使数据集一致化。并在一致数据集上,运用类别区分矩阵选择可准确区分各类数据的最小特征变量集。给出的启发式搜索策略和应用实例表明:一致化特征选择约简方法能有效消除分类数据集的不一致性,选择最优的特征变量、降低数据的维数、减少数据集中的冗余信息。     

一种基于功能性观点的神经网络规则提取方法

研究一种基于功能性观点的神经网络规则提取方法.阐述特征排序与选择、连续属性离散化、训练样本产生、神经网络训练、示例样本产生及规则提取等关键算法.并用UCI数据和人群分类数据对方法进行分析和验证.结果表明本文方法的正确有效性.     

粗糙集规则匹配算法及其在文本分类中的应用

为提高中文文本分类的效果,提出了一种基于粗糙集理论的规则匹配方法.在对文本特征的提取过程中,对CHI统计方法进行了适当的改进,并对特征项的权值进行了缩放和离散化.结合区分矩阵实现关于粗糙集理论的属性约简和规则提取,并采用规则预检验的方法对规则匹配的决策参数进行优化,以提高中文文本分类的效果.实验结果表明改进后的规则匹配方法分类准确率更高,同时在训练数据较少的情况下也可以取得不错的效果.     

融合序列后向选择与支持向量机的混合式特征选择算法

维度灾难是机器学习任务中的常见问题,特征选择算法能够从原始数据集中选取出最优特征子集,降低特征维度.提出一种混合式特征选择算法,首先用卡方检验和过滤式方法选择重要特征子集并进行标准化缩放,再用序列后向选择算法（SBS）与支持向量机（SVM）包裹的SBS-SVM算法选择最优特征子集,实现分类性能最大化并有效降低特征数量.实验中,将包裹阶段的SBS-SVM与其他两种算法在3个经典数据集上进行测试,结果表明,SBS-SVM算法在分类性能和泛化能力方面均具有较好的表现.     

非一致分类数据集的一致化与特征选择

采用不一致性或含有冗余特征的样本数据集往往会降低分类的质量和效率.提出了一种将分类数据集一致化,并在此基础上选择最小特征变量集的方法.该方法首先根据贝叶斯公式,将非一致数据归为最可能的一类,使数据集一致化,然后在一致数据集上,定义类别区分矩阵,选择最小特征变量集,并给出了在类别区分矩阵上搜索最小特征变量集的启发式搜索策略.采用UCI标准数据集的实验结果表明,提出的方法可有效地删除数据集的不一致性,选择的最小特征变量集可准确区分各类数据并降低数据的维数.     

一种新的快速模糊规则提取方法

提出一种高效的规则提取算法,采用熵测量改进Chi-merge特征区间离散化方法,模糊划分输入空间.先为每个数据生成单条规则,再聚集相同前项的单条规则产生带概率属性的分类规则.提取的规则无需任何调整,应用模糊推理便可获得较理想的分类效果,同时支持增量式规则更新.最后给出了新方法的性能测试结果.

     

一种基于CHI值特征选取的粗糙集文本分类规则抽取方法

结合文本分类规则抽取的特点，给出了近似规则的定义。该方法首先利用CHI值进行特征选取并为下一步特征选取提供特征重要性信息，然后使用粗糙集对离散决策表继续进行特征选取，最后用粗糙集抽取出精确规则或近似规则。该方法将CHI值特征选取和粗糙集理论充分结合，避免了用粗糙集对大规模决策表进行特征约简，同时避免了决策表的离散化。该方法提高了文本规则抽取的效率，并使其更趋实用化。实验结果表明了这种方法的有效性和实用性。     

Data Mining via Discretization, Generalization and Rough Set Feature Selection

We present a data mining method which integrates discretization, generalization and rough set feature selection. Our method reduces the data horizontally and vertically. In the first phase, discretization and generalization are integrated. Numeric attributes are discretized into a few intervals. The primitive values of symbolic attributes are replaced by high level concepts and some obvious superfluous or irrelevant symbolic attributes are also eliminated. The horizontal reduction is done by merging identical tuples after substituting an attribute value by its higher level value in a pre- defined concept hierarchy for symbolic attributes, or the discretization of continuous (or numeric) attributes. This phase greatly decreases the number of tuples we consider further in the database(s). In the second phase, a novel context- sensitive feature merit measure is used to rank features, a subset of relevant attributes is chosen, based on rough set theory and the merit values of the features. A reduced table is obtained by removing those attributes which are not in the relevant attributes subset and the data set is further reduced vertically without changing the interdependence relationships between the classes and the attributes. Finally, the tuples in the reduced relation are transformed into different knowledge rules based on different knowledge discovery algorithms. Based on these principles, a prototype knowledge discovery system DBROUGH-II has been constructed by integrating discretization, generalization, rough set feature selection and a variety of data mining algorithms. Tests on a telecommunication customer data warehouse demonstrates that different kinds of knowledge rules, such as characteristic rules, discriminant rules, maximal generalized classification rules, and data evolution regularities, can be discovered efficiently and effectively.     

一种基于信息论的决策表连续属性离散化算法

连续属性离散化方法对后续阶段的机器学习和数据挖掘过程有着重要的意义。提出一种新的针对决策表的离散化算法,在该算法中,首先将信息熵用作判断标准,从候选断点集中选择合适的断点,然后删除一些冗余的断点来优化离散结果,在删除过程中为了尽可能保证决策表分类能力不变,使用不一致率对该过程进行控制。最后选取多组实验数据,使用当前流行的分类算法——支持向量机(SVM)对离散化后的数据进行分类预测,并与其它离散算法进行对比,结果表明本算法是有效的。     

Discovering Maximal Generalized Decision Rules Through Horizontal and Vertical Data Reduction

We present a method to learn maximal generalized decision rules from databases by integrating discretization, generalization and rough set feature selection. Our method reduces the data horizontally and vertically. In the first phase, discretization and generalization are integrated and the numeric attributes are discretized into a few intervals. The primitive values of symbolic attributes are replaced by high level concepts and some obvious superfluous or irrelevant symbolic attributes are also eliminated. Horizontal reduction is accomplished by merging identical tuples after the substitution of an attribute value by its higher level value in a pre-defined concept hierarchy for symbolic attributes, or the discretization of continuous (or numeric) attributes. This phase greatly decreases the number of tuples in the database. In the second phase, a novel context-sensitive feature merit measure is used to rank the features, a subset of relevant attributes is chosen based on rough set theory and the merit values of the features. A reduced table is obtained by removing those attributes which are not in the relevant attributes subset and the data set is further reduced vertically without destroying the interdependence relationships between classes and the attributes. Then rough set-based value reduction is further performed on the reduced table and all redundant condition values are dropped. Finally, tuples in the reduced table are transformed into a set of maximal generalized decision rules. The experimental results on UCI data sets and a real market database demonstrate that our method can dramatically reduce the feature space and improve learning accuracy.     

A feature selection bayesian approach for extracting classification rules with a clustering genetic algorithm

This work describes a method that combines a Bayesian feature selection approach with a clustering genetic algorithm to get classification rules in data-mining applications. A Bayesian network is generated from a data set and the Markov blanket of the class variable is applied to the feature subset selection task. The general rule extraction method is simple and consists of employing the clustering process in the examples of each class separately. In this way, clusters of similar examples are found for each class. These clusters can be viewed as subclasses and can, consequently, be modeled into logical rules. In this context, the problem of finding the optimal number of classification rules can be viewed as the problem of finding the best number of clusters. The Clustering Genetic Algorithm can find the best clustering in a data set, according to the Average Silhouette Width criterion, and it was applied to extract classification rules. The proposed methodology is illustrated by means of simulations in three data sets that are benchmarks for data-mining methods--Wisconsin Breast Cancer, Mushroom, and Congressional Voting Records. The rules extracted with all the attributes are compared to those extracted with the features belonging to the Markov blanket and the obtained results show that the proposed method is very promising.     

一种基于粗糙集文本自动分类的改进算法

自动文本分类的效果在很大程度上依赖于属性特征的选择。针对传统基于频率阈值过滤的特征选择方法会导致有效信息丢失,影响分类精度的不足,提出了一种基于粗糙集的文本自动分类算法。该方法对加权后的特征属性进行离散化,建立一个决策表;根据基于依赖度的属性重要度对决策表中条件属性进行适当的筛选;采用基于条件信息熵的启发式算法实现文本属性特征的约简。实验结果表明,该方法能约简大量冗余的特征属性,在不降低分类精度的同时,提高文本分类的运行效率。     

离散型增强烟花算法和[kNN]在特征选择中的研究

特征选择是从原始特征集中选取特征子集,并且降低特征维度和减少冗余信息,从而达到提高分类准确度的效果。为了达到此效果,提出了新的特征选择算法。该算法使用经过离散化处理之后的增强烟花算法来搜索特征子集,同时将特征子集和经过惩罚因子处理之后约束条件融入到目标函数中,然后将搜索到的特征子集的数据放到[kNN]分类器进行训练和预测,最后使用十折交叉验证来检验分类的准确性。使用UCI数据进行仿真实验,仿真结果表明：与引导型烟花算法、烟花算法、蝙蝠算法、乌鸦算法、自适应粒子群算法相比,所提算法的总体性能优于其他五种算法。     

基于弱相关化特征子空间选择的离散化随机森林并行分类算法

随着大数据时代的到来,数据信息呈几何倍数增长。传统的分类算法将面临着极大的挑战。为了提高分类算法的效率,提出了一种基于弱相关化特征子空间选择的离散化随机森林并行分类算法。该算法在数据预处理阶段对数据集中的连续属性进行离散化。在随机森林抽取特征子空间阶段,利用属性向量空间模型计算属性间的相关性,构造弱相关化特征子空间,使所构建的决策树之间相关性降低,从而提高随机森林的分类效果;并通过研究随机森林的并行化策略,结合MapReduce框架,改进并实现了随机森林模型构建过程的双重并行化,进一步改善了算法的计算效率。     

连续属性离散化的Bayesian-Chi2算法

连续属性离散化在机器学习和数据挖掘领域中有着重要的作用。连续属性离散化方法是否合理决定着对信息的表达和提取的准确性。Chi2算法在对连续属性进行离散化处理时,无冲突的数据能够得到较好的结果,但是,对不协调和不完全的数据实验结果不是很理想。利用了Bayseian模型允许一定程度错误分类存在的性质,对Chi2算法进行了改进。改进后的Chi2算法不仅更适合不协调和不完全的数据,还使得区间的合并更加合理。实验结果证明了算法的有效性。     

基于相关性分析及遗传算法的高维数据特征选择

特征选择是模式识别及数据挖掘等领域的重要问题之一。针对高维数据对象，特征选择一方面可以提高分类精度和效率，另一方面可以找出富含信息的特征子集。针对此问题，提出了一种综合了filter模型及wrapper模型的特征选择方法，首先基于特征与类别标签的相关性分析进行特征筛选，只保留与类别标签具有较强相关性的特征，然后针对经过筛选而精简的特征子集采用遗传算法进行随机搜索，并采用感知器模型的分类错误率作为评价指标。实验结果表明,该算法可有效地找出具有较好的线性可分离性的特征子集，从而实现降维并提高分类精度。