决策粗糙集与代价敏感分类

将决策粗糙集与代价敏感学习相结合,提出了一种基于决策粗糙集的代价敏感分类方法。依据决策粗糙集理论和属性约简方法,对待预测样本分别计算最优测试属性集,使得样本在最优测试属性集上计算的分类结果具有最小误分类代价和测试代价,依此给出样本的最小总代价分类结果。针对全局最优测试属性集求解过程中计算复杂度高的问题,提出了局部最优测试属性集的启发式搜索算法。该算法以单个属性对降低总分类代价的贡献率为启发函数,搜索各样本的局部最优测试属性集,并输出在局部最优测试属性集上样本的代价敏感分类结果。在UCI数据上的实验分析显示,所提算法有效地降低了分类结果的总代价和测试属性个数,使得样本分类结果同时具有较小的误分类代价和较小的测试代价。     

测试代价敏感的决策粗糙集正域约简

对测试代价敏感的决策粗糙集(decision theoretic rough sets,DTRS)正域约简问题进行了研究。在传统正域约简的基础上将测试代价考虑进来,希望找到测试代价总和最小的正域约简。采用模拟退火算法结合传统决策粗糙集正域约简算法来搜索测试代价总和最小的正域约简结果。提出了一种测试代价敏感的决策粗糙集正域约简算法TCSPR(test-cost sensitive positive region-based reduction algorithm for DTRS),并分析了该算法的时间复杂度。实验结果验证了TCSPR算法的有效性,该算法能在多项式时间内找到一个属性更少、测试代价更小的正域约简,找到的解一般为优化目标的最优解或次优解,即测试代价总和最小的正域约简,并且该算法在部分数据集上的分类能力几乎不减。     

基于代价敏感和近似分类质量的决策粗糙集属性约简研究

针对决策粗糙集属性约简在引入代价后分类精度不高的问题,对其中代价敏感与分类精度的平衡进行了研究。将分类总代价和近似分类质量作为属性约简过程中的约束条件,结合模拟退火方法,提出了一个基于代价敏感和近似分类质量的决策粗糙集属性约简（ARACOQ）算法。利用UCI数据集对算法进行了模拟实验,实验结果验证了ARACOQ算法的有效性,该算法能够在可承受代价范围内找到一个分类精度最高的属性约简集。     

基于测试代价的三支邻域属性约简算法

针对粗糙集属性约简时很少考虑属性自身的测试代价等问题,提出了一种基于测试代价的三支邻域属性约简算法。算法根据各属性在邻域分辨矩阵中出现的频次和比例来计算属性重要性,并结合属性自身的测试代价来构造性价比指标,以此指导属性的甄选。三支决策方法被用于划分属性集,为属性的约简处理提供数据支撑。在7个UCI公共数据集上进行对比实验,结果表明,该算法可得到比对比算法更小的属性约简集合,在分类精度不降低的情况下,该算法具有更少的运行时间和更小的测试代价。基于财政收入的预测应用实例进一步证明了所提算法的有效性和实用性。     

广义模糊粗糙集在模糊信息约简中的应用

针对数据集为模糊值时冗余信息难于消除的问题,提出了基于模糊相似关系的广义模糊粗糙集与QuickReduct算法相结合的方法。利用广义模糊粗糙集数据相似程度对属性值为实数值的数据集合进行约简,不需要预先对原始数据集合进行离散化,约简结果能更完整地反映原信息系统的分类能力。同时算法中利用了启发式信息,使模糊依赖性增加较快的属性作为最小约简。计算实例验证了该方法的有效性。     

基于混沌离散粒子群的粗糙集属性约简算法

针对粒子群属性约简算法容易早熟、易陷入局部最优解的问题,提出一种融合混沌离散粒子群与粗糙集的属性约简算法(CBPSORS).在该算法中,首先利用混沌序列初始化粒子的位置和速度,得到一个无序的粒子种群.其次改进最优粒子进行混沌变异过程,改进惯性因子和加速因子来提高算法性能.再次用粗糙集理论对生成的属性子集相关性进行评估.最后用K-近邻(KNN)算法生成分类模型在UCI数据集上对该算法进行验证.理论分析与实验结果表明,与基于粗糙集的属性约简算法(RS)、基于粒子群的粗糙集属性约简算法(PSORS)以及基于遗传算法的粗糙集属性约简算法(GARS)相比,文中算法可以在保持决策表知识信息的前提下,约减掉更多的条件属性,提高分类精度.     

动态误分类代价下代价敏感属性选择分治算法

代价敏感属性选择问题的目的是通过权衡测试代价和误分类代价,得到一个具有最小总代价的属性子集。目前,多数代价敏感属性选择方法只考虑误分类代价固定不变的情况,不能较好地解决类分布不均衡等问题。而在大规模数据集上,算法效率不理想也是代价敏感属性选择的主要问题之一。针对这些问题,以总代价最小为目标,设计了一种新的动态误分类代价机制。结合分治思想,根据数据集规模按列自适应拆分各数据集。基于动态误分类代价重新定义最小代价属性选择问题,提出了动态误分类代价下的代价敏感属性选择分治算法。通过实验表明,该算法能在提高效率的同时获得最优误分类代价,从而保证所得属性子集的总代价最小。     

基于子集类蚁群模型的属性相对约简算法

粗糙集属性约简是一个典型的NP-hard问题。提出了一种基于子集类蚁群模型的属性相对约简算法,该算法采用转移概率对每个属性随机搜索,直到获得一个分类能力与决策属性分类能力一致的属性子集。提出的基于信息素变异的蚁群算法,不仅提高了解的质量,而且有效避免了早熟收敛。106组病例数据的实验结果表明,该算法能够发现较好的决策表相对约简与决策规则。     

测试代价受限下数据的属性和粒度选择方法

代价敏感学习中经常考虑测试代价和误分类代价。在实际应用中,一个属性的测试代价常跟属性值的粒度有关,而一个具有多个属性的对象的误分类代价又常受它的属性的总测试代价大小的影响。基于这一点,研究在总测试代价受限的情形下,数据的属性和粒度选择的问题。以最小化数据处理的平均总代价为目标提出了一种方法,该方法能同时选择最优的属性子集和数据粒度。首先建立了该方法的理论模型,再设计了一个高效的算法。实验结果表明,所提算法能有效地进行不同大小的测试代价约束下的属性和粒度选择。     

信息增益混合邻域粗糙集的肺部肿瘤高维特征选择算法

针对冗余属性和不相关属性过多对肺部肿瘤诊断的影响以及Pawlak粗糙集只适合处理离散变量而导致原始信息大量丢失的问题,提出混合信息增益和邻域粗糙集的肺部肿瘤高维特征选择算法(Information gain-neighborhood rough set-support vector machine,IG-NRS-SVM)。该算法首先提取3 000例肺部肿瘤CT图像的104维特征构造决策信息表,借助信息增益结果选出高相关的特征子集,再通过邻域粗糙集剔除高冗余的属性,通过两次属性约简得到最优的特征子集,最后采用网格寻优算法优化的支持向量机构建分类识别模型进行肺部肿瘤良恶性的鉴别。从约简和分类识别两个角度验证方法的可行性与有效性,并与不约简算法、Pawlak粗糙集、信息增益和邻域粗糙集约简算法进行对比。结果表明混合算法精确度优于其他对比算法,精确度达到96.17%,并且有效降低了时间复杂度,对肺部肿瘤计算机辅助诊断具有一定的参考价值。     

基于联合属性重要度的决策风险最小化属性约简

经典粗糙集属性约简基本都是保持正域、负域和边界域不变,而决策粗糙集对属性的增减过程不具备单调性,因此不可能同时保持3个区域均不变。在决策粗糙集模型中,作出决策更应该考虑风险最小化原则,因此提出一种改进的风险最小化属性约简方法,在属性的选取过程中同时考虑所选取的属性子集对决策的划分能力,即联合属性重要度以及风险最小化。实验证明所提方法是有效的。     

Fuzzy rough set based attribute reduction for information systems with fuzzy decisions

Fuzzy rough set is a generalization of crisp rough set to deal with data sets with real value attributes. A primary use of fuzzy rough set theory is to perform attribute reduction for decision systems with numerical conditional attribute values and crisp (symbolic) decision attributes. In this paper we define inconsistent fuzzy decision system and their reductions, and develop discernibility matrix-based algorithms to find reducts. Finally, two heuristic algorithms are developed and comparison study is provided with the existing algorithms of attribute reduction with fuzzy rough sets. The proposed method in this paper can deal with decision systems with numerical conditional attribute values and fuzzy decision attributes rather than crisp ones. Experimental results imply that our algorithm of attribute reduction with general fuzzy rough sets is feasible and valid.     

一种基于量子遗传算法与粗糙集理论的属性约简法

提出一种基于粗糙集与量子遗传算法理论的属性约简模型.首先,基于粗糙集理论,以条件属性集对决策属性近似分类质量为准则,构造出一种衡量最佳属性子集的适应度函数.以此为基础,结合量子计算原理中量子旋转门调整策略以及量子交叉方法对种群进行更新操作,构造了该模型的属性约简方法.仿真实验结果表明了本文方法的有效性.     

基于属性重要度的风险决策粗糙集属性约简

基于Pawlak 粗糙集的属性约简一般保持决策表的正区域不变, 然而由于现实中不同用户对不同约简精度的需求, 获取属性值的实际代价与个人偏好可能不同. 针对决策者主观个人偏好、客观约简精度、获取属性值的实际代价和决策表各区域的误判代价等综合情况, 提出新的约简算法, 并讨论约简代价与约简精度间的关系. 通过遗传算法, 采用启发式方法搜索出局部最优约简子集. 仿真实验表明, 所提出的算法操作性强, 更适合处理实际决策问题.

     

一种新的模糊决策表属性约简方法

粗糙集理论研究的核心内容之一是属性重要性的度量和属性约简。经典的粗糙集模型基于等价关系,适合于处理离散属性值。模糊粗糙集理论将模糊集和粗糙集理论结合起来,将等价关系扩展为模糊关系,可处理模糊属性值。分析了已有广泛运用的模糊决策表的属性约简算法FRAR存在的三个问题,提出了一种新的约简算法,较好地克服了原算法的问题,能处理规模较大的模糊决策表。     

一种直觉模糊粗糙集属性约简新算法

将信息熵理论与直觉模糊粗糙集结合起来,提出一种基于互信息的直觉模糊粗糙集属性约简新算法.给出了在直觉模糊环境下,基于互信息的属性重要度和属性依赖度的度量准则.本文所提出的算法以属性重要度和依赖度为双重度量标准,采取可增可删的双向回归算法,在保持分类精度不变的情况下,最后得到决策表的最小属性约简.实例表明在多属性的决策表约简中,在本文提出的算法得到的属性约简的基础上而得到的决策规则是较简捷、较完备的.     

Hybrid attribute reduction based on a novel fuzzy-rough model and information granulation

Feature subset selection has become an important challenge in areas of pattern recognition, machine learning and data mining. As different semantics are hidden in numerical and categorical features, there are two strategies for selecting hybrid attributes: discretizing numerical variables or numericalize categorical features. In this paper, we introduce a simple and efficient hybrid attribute reduction algorithm based on a generalized fuzzy-rough model. A theoretic framework of fuzzy-rough model based on fuzzy relations is presented, which underlies a foundation for algorithm construction. We derive several attribute significance measures based on the proposed fuzzy-rough model and construct a forward greedy algorithm for hybrid attribute reduction. The experiments show that the technique of variable precision fuzzy inclusion in computing decision positive region can get the optimal classification performance. Number of the selected features is the least but accuracy is the best.     

基于遗传算法和模糊粗糙集的知识约简

虽然粗糙集理论为处理离散属性提供了很好的工具,但它不能直接运用于具有连续变量的数据上面,而现实中的数据又包含着大量的连续变量.为了能够对连续属性集进行有效的知识约简,充分利用遗传算法的全局优化和并行计算的优点,结合模糊粗糙集的理论,对连续属性集进行知识约简,较粗糙集而言避开了连续属性的离散化过程,减少了信息损失,加快了约简速度,提高了决策支持度.首先利用一个仿真实例来验证该算法的有效性和快速性,然后把它运用于某一柴油机的故障数据集的约简,通过约简获得了影响输出故障模式的主要输入变量集,实现了数据的预处理,为进行柴油机的故障模式诊断提供了先决条件.     

基于近似决策熵的属性约简

粗糙集理论已被证明是一种有效的属性约简方法. 目前有许多启发式属性约简算法已被提出, 其中基于信息熵的属性约简算法受到了广泛的关注. 为此, 针对现有的基于信息熵的属性约简算法问题, 定义一种新的信息熵模型—–近似决策熵, 并提出一种基于近似决策熵的属性约简(ADEAR) 算法. 通过在多个UCI 数据集上的实验表明, 与现有算法相比, ADEAR算法能够获得较小的约简和较高的分类精度, 具有相对较低的计算开销.