基于邻域代价敏感三支决策的痛风诊断模型

三支决策基于代价敏感,通过引入延迟决策,在信息不完备的情况下,能够使分类更加合理。考虑具有混合属性特征的决策信息系统优化决策问题,在混合属性信息系统上定义了邻域关系,构建了基于邻域关系的决策粗糙集模型。在此基础上将其应用于痛风临床诊断决策问题,运用多次迭代学习的方法对痛风数据进行分类。与SVM（Support Vector Machine）、RF（Random Forest）、LR（Logistic Regression）分类算法进行对比,证明了该方法的优越性。根据分类结果发现因素之间的内在联系,获取分类规则,探究痛风与肝功、肾功、血脂、血糖的相关性,为痛风成因研究和诊断治疗提供知识支持和决策支持。     

基于代价敏感和近似分类质量的决策粗糙集属性约简研究

针对决策粗糙集属性约简在引入代价后分类精度不高的问题,对其中代价敏感与分类精度的平衡进行了研究。将分类总代价和近似分类质量作为属性约简过程中的约束条件,结合模拟退火方法,提出了一个基于代价敏感和近似分类质量的决策粗糙集属性约简（ARACOQ）算法。利用UCI数据集对算法进行了模拟实验,实验结果验证了ARACOQ算法的有效性,该算法能够在可承受代价范围内找到一个分类精度最高的属性约简集。     

模糊决策粗糙集代价敏感属性约简研究

针对决策中普遍存在的代价问题,在模糊理论和决策粗糙集的基础上,对其代价敏感属性约简方法进行了研究。在模糊决策粗糙集属性约简中引入了包含误分类代价和测试代价的总代价。因此约简的目标不再只是考虑正域的大小,而是寻找使得总代价最小的最优属性子集。提出了一种模糊决策粗糙集代价敏感属性约简(COSAR)算法,该算法采用启发式方法搜索最优属性子集。给出了算法的步骤,并将该算法与已有的模糊粗决策粗糙集属性快速约简(QuickReduct)算法进行了性能对比。实验结果表明,COSAR算法比QuickReduct算法具有更强的属性约简能力、更低的分类总代价、更短的运行时间,且随着测试样本的增加,分类总代价差值也越来越大。     

代价敏感的多粒度邻域粗糙模糊集的近似表示

多粒度邻域粗糙集是邻域粗糙集理论的一种新型数据处理模式,其目标概念分别由乐观和悲观的上、下近似边界描述。但当前的多粒度邻域粗糙集既缺乏利用已有的信息粒近似描述目标概念的方法,又无法处理目标概念为模糊的情形。而张清华教授提出的粗糙集近似理论提供了一种利用已有信息粒近似描述知识的方法,为构建多粒度邻域粗糙模糊集的近似精确集提供了新思路。文中首先针对模糊目标概念,将粗糙集近似理论应用到邻域粗糙集领域,提出了代价敏感的邻域粗糙模糊集的近似表示模型;然后进一步从多粒度视角,构建出一种代价敏感的邻域粗糙模糊集的多粒度近似表示模型,并分析了其相关性质;最后,通过实验仿真,验证了当多粒度代价敏感近似及其上、下近似方法分别去近似刻画模糊目标概念时,多粒度代价敏感近似方法产生的误分类代价最小。     

分段延迟代价敏感三支决策

决策粗糙集理论中,三支决策代价目标函数是典型的单调线性函数.然而,在实践经验中经常发现延迟决策的代价与决策概率之间的函数关系往往呈现非单调特性,决策粗糙集理论的经典代价敏感三支决策模型无法对上述非单调现象进行直接的建模和推理,导致决策粗糙集理论的应用受到了限制.为了求解这种具有非单调延迟代价的代价敏感三支决策问题,提出一种新型分段延迟代价敏感三支决策模型.该模型定义了具有单调递增和单调递减特性的两组延迟决策损失函数,并结合经典正负域决策损失函数构造了分段延迟三支决策代价目标函数体系、度量指标和分段决策策略;然后,基于条件概率、损失函数及基础度量指标之间关系的4种分段延迟代价敏感三支决策分类模式被提了出来,并且对相应的三支分类阈值进行了推理;最后,通过一组典型实例,验证了分段延迟代价敏感三支决策模型及其三支分类是可行的.     

基于三支标签传播的半监督属性约简

属性约简是粗糙集理论的重要应用之一.为了对部分标记的数据进行属性约简,一些基于粗糙集的半监督属性约简方法相继被提出,但这些方法在数据信息利用、运行代价、约简质量等方面仍然存在挑战.本文针对混合型分类数据,提出了一种新的基于三支标签传播的半监督属性约简(3WLPME)方法.该方法包括两个过程:三支标签传播(3WLP)和基于混合熵的启发式属性约简(MEHAR).其中,3WLP在经典标签传播算法的基础上,结合三支决策和主动学习思想,对无标签数据进行标注,并更新有标签集和无标签集.迭代执行上述过程直至收敛,可以提升最终的伪标签准确率.在MEHAR中,属性重要度由混合熵度量.基于依赖度和条件熵定义的混合熵,融合了粗糙集的代数表示和信息表示,能更深刻地反映属性的分类能力.本文对3WLP算法和MEHAR算法的有效性进行了理论分析.在UCI数据集上进行了以下仿真实验:3WLP与随机标签传播在伪标签准确率上的对比;不同属性约简算法在约简质量上的对比;3WLPME与其他基于粗糙集的半监督属性约简方法,在约简质量上的对比.实验结果验证了3WLP能获得较高的伪标签准确率;MEHAR在不降低分类准确率的前提下,能获得较小的约简;3WLPME在半监督约简过程中具有更高的效率和稳定性,说明本文所提方法是有效的.     

基于代价敏感的粗糙集近似集与粒度寻优算法

粗糙集的近似集用已有知识粒对不确定性目标概念进行近似描述,但在构建近似集时并没有考虑数据的代价信息这一实际因素.对此,首先分析在构建粗糙集的近似集时考虑代价信息的必要性;然后,从代价敏感角度构建误分类代价的粗糙集近似集模型,并分析该模型下求得的近似集的相关性质.为了在多粒度空间中寻找一个合适的粒度空间来对不确定性目标概念进行近似描述,使误分类代价与测试代价之和尽可能小,给出属性代价贡献率的定义,并提出一种代价敏感的粒度寻优算法.实验结果表明,所提出算法能适用于现有代价认知场景,并在给定代价场景下求出合理的层次粒度空间结构以及不确定性目标概念的近似集.     

不完备邻域粗糙集的不确定性度量和属性约简

针对现有的属性约简算法不适合处理数值型属性和符号型属性共同存在的不完备数据,提出了一种拓展不完备邻域粗糙集模型。首先,通过考虑属性值的概率分布来定义缺失属性值之间的距离,可以度量具有混合属性的不完备数据;其次,定义了邻域混合熵来评价属性约简的质量,分析证明了相关的性质定理,并构造了一种基于邻域混合熵的不完备邻域粗糙集属性约简算法;最后从UCI数据集中选取了7组数据进行实验,并分别与基于依赖度的属性约简（ARD）、基于邻域条件熵的属性约简（ARCE）、基于邻域组合测度的属性约简（ARNCM）算法进行了比较。理论分析和实验结果表明,所提算法约简属性比ARD、ARCE、ARNCM分别减少了约1,7,0个,所提算法的分类精度比ARD、ARCE、ARNCM分别提高了约2.5,2.1,0.8个百分点。所提算法不仅能够获得较少的约简属性,同时具有较高的分类精度。     

决策粗糙集与代价敏感分类

将决策粗糙集与代价敏感学习相结合,提出了一种基于决策粗糙集的代价敏感分类方法。依据决策粗糙集理论和属性约简方法,对待预测样本分别计算最优测试属性集,使得样本在最优测试属性集上计算的分类结果具有最小误分类代价和测试代价,依此给出样本的最小总代价分类结果。针对全局最优测试属性集求解过程中计算复杂度高的问题,提出了局部最优测试属性集的启发式搜索算法。该算法以单个属性对降低总分类代价的贡献率为启发函数,搜索各样本的局部最优测试属性集,并输出在局部最优测试属性集上样本的代价敏感分类结果。在UCI数据上的实验分析显示,所提算法有效地降低了分类结果的总代价和测试属性个数,使得样本分类结果同时具有较小的误分类代价和较小的测试代价。     

面向混合数据的代价敏感三支决策边界域分类方法

针对现有三支决策模型的研究对象多为单一性数据的决策系统,对于混合数据边界域样本处理的研究相对较少,本文面向混合数据提出了基于核属性的代价敏感三支决策边界域分类方法。该方法基于正域约简计算混合邻域决策系统的核属性集,在此基础上计算混合邻域类,并利用三支决策规则分别将对象划分到各决策类的正域、边界域和负域;提出了一种基于代价敏感学习的三支决策边界域分类方法,并构造了误分类代价的计算方法,以此划分边界域中的对象。通过对UCI上的10个数据集进行实验对比与分析,进一步验证了本文方法,为处理边界域样本提供了一种可行有效的方法。     

多粒度邻域粗糙直觉模糊集模型*

针对名义型属性和数值型属性并存的混合型数据,结合多粒度邻域粗糙集和直觉模糊集,分别定义模糊覆盖粗糙隶属度和非隶属度.基于不同的属性集序列和不同的邻域半径,构建多粒度邻域粗糙直觉模糊集模型,证明模型相关性质.然后提出乐观和悲观多粒度邻域粗糙直觉模糊集的近似集,并讨论模型性质.最后使用文中模型计算实例,说明其能较好地解决名义型属性和数值型属性的混合型数据的处理问题.     

Three-way decision reduction in neighborhood systems

Rough set reduction has been used as an important preprocessing tool for pattern recognition, machine learning and data mining. As the classical Pawlak rough sets can just be used to evaluate categorical features, a neighborhood rough set model is introduced to deal with numerical data sets. Three-way decision theory proposed by Yao comes from Pawlak rough sets and probability rough sets for trading off different types of classification error in order to obtain a minimum cost ternary classifier. In this paper, we discuss reduction questions based on three-way decisions and neighborhood rough sets. First, the three-way decision reducts of positive region preservation, boundary region preservation and negative region preservation are introduced into the neighborhood rough set model. Second, three condition entropy measures are constructed based on three-way decision regions by considering variants of neighborhood classes. The monotonic principles of entropy measures are proved, from which we can obtain the heuristic reduction algorithms in neighborhood systems. Finally, the experimental results show that the three-way decision reduction approaches are effective feature selection techniques for addressing numerical data sets.     

相似度三支决策模糊粗糙集模型的决策代价研究

在三支决策模糊粗糙集模型中,一些学者基于相似度三支决策模糊粗糙集模型建立了目标函数来得到最优阈值对 $\left( {\alpha ,\;\beta } \right)$ 的计算方法,但在该过程的研究中,学者并没有在相似度三支决策模糊粗糙集模型中讨论关于决策代价的描述问题。基于模糊信息系统用新的函数来描述决策代价成为计算阈值对 $\left( {\alpha ,\;\beta } \right)$ 的一种方法,首先,在模糊信息系统中,通过建立一个描述决策代价的函数,将模糊信息系统中的模糊数与三支决策的决策代价联系在一起;然后对隶属频率进行拟合,得到了三支决策中决策代价的数值描述;最后,通过两个实例说明了该方法的可行性和适用性。     

优势-等价关系下序贯三支决策的属性约简

序贯三支决策方法是一种能够表示问题中的多重层次粒度,并将多粒度结合起来解决不确定决策问题的有效途径。优势-等价关系粗糙集则是针对条件属性具有偏好关系的分类问题,提取有序信息,对目标概念进行近似,从而形成决策知识。利用传统的优势关系粗糙集方法进行知识约简和提取的效率低下,而目前大部分序贯三支决策方法则局限在符号值属性的信息系统中,对连续值和有序值不能进行有效处理,造成一定程度的信息丢失。因此,将序贯三支决策的思想应用于优势关系粗糙集模型中,定义了一种新的基于序贯三支决策的属性约简及相应的属性重要度,对具有偏好值属性的信息系统进行更加高效的处理,通过多粒度的表示和关系的研究,加速了知识约简过程。选取了多组UCI数据进行实验,结果表明所提出的基于优势关系的序贯三支决策方法能够在保证约简质量的基础上明显降低时间耗费。     

Neighborhood rough set based heterogeneous feature subset selection

Feature subset selection is viewed as an important preprocessing step for pattern recognition, machine learning and data mining. Most of researches are focused on dealing with homogeneous feature selection, namely, numerical or categorical features. In this paper, we introduce a neighborhood rough set model to deal with the problem of heterogeneous feature subset selection. As the classical rough set model can just be used to evaluate categorical features, we generalize this model with neighborhood relations and introduce a neighborhood rough set model. The proposed model will degrade to the classical one if we specify the size of neighborhood zero. The neighborhood model is used to reduce numerical and categorical features by assigning different thresholds for different kinds of attributes. In this model the sizes of the neighborhood lower and upper approximations of decisions reflect the discriminating capability of feature subsets. The size of lower approximation is computed as the dependency between decision and condition attributes. We use the neighborhood dependency to evaluate the significance of a subset of heterogeneous features and construct forward feature subset selection algorithms. The proposed algorithms are compared with some classical techniques. Experimental results show that the neighborhood model based method is more flexible to deal with heterogeneous data.     

三支决策与决策粗糙集融合模型

Paw lak粗糙集模型没有对正域、边界域和负域赋予语义,不能进行再决策,而三支决策对边界域赋予了新的语义,可以对边界域做出进一步刻画,对于边界域的进一步划分,依据属性的重要性,使满足条件的样本划入再决策域,不满足条件的样本继续保留在边界域中,降低了边界域样本处理的失误率.本文在对概率粗糙集模型、三支决策粗糙集的理论、贝叶斯理论的决策过程和决策粗糙集模型进行研究的基础上,提出了一种三支决策与决策粗糙集融合模型,与Paw lak-三支决策模型相比,其划分损失更小,处理结果更优.该模型运用三支决策理论对决策粗糙集的边界域赋予延迟决策的语义,对于延迟决策再运用三支决策理论进行迭代操作,对边界域样本进一步处理.在迭代的过程中,依据属性的重要程度将属性排序,从而客观的得到迭代过程中每次优先依据哪个属性进行划分.实验结果表明,该模型比单一运用决策粗糙集模型进行决策代价小,三支决策通过迭代对边界域处理的正确率有所提高,这为准确决策提供了一种新的方法.     

基于双重粒化准则的邻域多粒度粗糙集模型

为了从多粒度、多层次的角度有效处理名义型属性和数值型属性并存的混合数据, 首先基于不同的属性集序列和不同的邻域半径构建双重粒化准则, 建立基于双重粒化准则的邻域多粒度粗糙集模型; 然后给出该模型的相关性质, 提出该模型下的属性约简算法, 约简结果可以根据实际问题的需要灵活选择合适的属性集和邻域半径. 实例分析验证了所提出模型和算法的有效性.

     

基于双重粒化准则的邻域多粒度粗集快速约简算法

由于可以从多粒度、多层次的角度对名词型和数值型属性并存的混合数据进行有效处理,邻域多粒度粗糙集模型受到了广泛关注.为了有效降低属性约简计算过程中的迭代次数,实现邻域多粒度粗糙集模型的快速属性约简算法,基于双重粒化准则,深入分析不同属性子集序列和邻域半径对正域的影响,结合正域在属性子集和邻域半径共同作用下的单调性,提出一种基于双重粒化准则的邻域多粒度粗集快速约简算法,并通过理论分析与实例对比验证了算法的有效性和优越性.     

Fuzzy rough set based attribute reduction for information systems with fuzzy decisions

Fuzzy rough set is a generalization of crisp rough set to deal with data sets with real value attributes. A primary use of fuzzy rough set theory is to perform attribute reduction for decision systems with numerical conditional attribute values and crisp (symbolic) decision attributes. In this paper we define inconsistent fuzzy decision system and their reductions, and develop discernibility matrix-based algorithms to find reducts. Finally, two heuristic algorithms are developed and comparison study is provided with the existing algorithms of attribute reduction with fuzzy rough sets. The proposed method in this paper can deal with decision systems with numerical conditional attribute values and fuzzy decision attributes rather than crisp ones. Experimental results imply that our algorithm of attribute reduction with general fuzzy rough sets is feasible and valid.