信息熵在粗糙集中衍生的几个概念

随着对粗糙集理论研究的的深入,基于信息论的信息熵陆续被引入到粗糙集研究中,陆续产生了一些如条件熵、联合熵、知识熵、决策熵、知识粗糙熵、粗集粗糙熵等新的概念,尽管丰富了粗糙集理论和应用,但使用中存在语义不统一的地方,甚至缺乏必要的说明和证明。对这些有价值的新概念作了系统的、严格的、规范的定义及阐述,给出了它们的公式表示,同时,通过相关熵的运算揭示彼此间的关系,最后指出这些熵的应用范畴,以便研究人员在清楚概念的基础上作进一步研究。     

信息熵在粗糙集中衍生的几个概念

随着对粗糙集理论研究的的深入,基于信息论的信息熵陆续被引入到粗糙集研究中,陆续产生了一些如条件熵联合熵、知识熵、决策熵、知识粗糙熵、粗集粗糙熵等新的概念,尽管丰富了粗糙集理论和应用,但使用中存在语义不统一的地方,甚至缺乏必要的说明和证明.对这些有价值的新概念作了系统的、严格的、规范的定义及阐述,给出了它们的么式表示,同时,通过相关熵的运算揭示彼此间的关系,最后指出这些熵的应用范畴,以便研究人员在清楚概念的基础上作进一步研究.     

不同知识粒度下粗糙集的不确定性研究

粗糙集的不确定性度量方法,目前主要包括粗糙集的粗糙度、粗糙熵、模糊度和模糊熵.在不同知识粒度下,从属性的角度,给出了分层递阶的知识空间链,发现在分层递阶的知识粒度下部分文献中定义的粗糙集的粗糙熵和模糊度随知识粒度的变化规律不一定符合人们的认识规律.从信息熵的角度提出了一种粗糙集不确定性的模糊度度量方法,证明了这种模糊度随知识粒度的减小而单调递减,弥补了现有粗糙熵和模糊度度量粗糙集不确定性的不足.最后,分析了在不同知识粒度下粗糙度和模糊度的变化关系.     

K粒度模糊粗糙集模型的不确定性研究

粗糙集扩展模型的研究是粗糙集理论研究的一个重要问题,在引入了K粒度粗糙关系基础上定义了K粒度粗糙集模型并给出了K粒度分割概念,文章从信息熵的角度给出K粒度粗糙集模型的粗糙熵的不确定度量方法,讨论了该模型随知识分类粒度变化与粗糙熵之间的关系,证明了知识分类粒度呈细分时粗糙熵具有单调递增性,并且以实例验证了此模型理论的有效性与正确性,该模型使得粗糙集处理数据的范围扩展到了实域.在此基础上定义了K粒度模糊粗糙集模型,并研究了其结构及性质,最后给出了K粒度模糊粗糙集模型依参数0<β≤α≤1的扩展模型,并研究了模型的性质与粗糙度之间的关系.     

信息系统不确定性的粗糙边界熵度量方法

不确定性度量是粗糙集理论研究的重要内容之一。分析了目前粗糙集不确定性度量主要方法的不足,给出了基于边界域的粗糙集粗糙边界熵的定义。证明了这种粗糙边界熵随着知识粒度的减小而单调减小,而且当负域的知识颗粒被细分时,粗糙边界熵不变。给出了粗糙边界熵的两条性质。     

基于邻域粗糙互信息熵的非单调性属性约简

属性约简是粗糙集理论一项重要的应用,目前已广泛运用于机器学习和数据挖掘等领域,邻域粗糙集是粗糙集理论中处理连续型数据的一种重要方法.针对目前邻域粗糙集模型中属性约简存在的缺陷,构造一种基于邻域粗糙集的邻域粗糙熵模型,并基于此给出邻域粗糙联合熵、邻域粗糙条件熵和邻域粗糙互信息熵等概念.邻域粗糙互信息熵是评估属性集相关性的一种重要的方法,具有非单调性变化的特性,对此,提出一种基于邻域粗糙互信息熵的非单调性属性约简算法.实验分析表明,所提出算法不仅比目前已有的单调性属性约简算法具有更优越的属性约简结果,而且具有更高的约简效率.     

基于粒度计算的属性约简算法研究

从粒度计算的角度对粗糙集理论的属性约简进行研究,分别基于代数方法和信息论方法定义了粒度差和粒度熵的概念,并在此基础上提出了两种新的属性约简算法.实验分析表明,这两种可靠有效的粒度计算方法都能得到信息表的最小约简,为进一步研究知识的粒度计算提供了可行的方法.     

互信息的序决策信息系统属性约简研究

优势关系粗糙集理论是粗糙集理论有意义的推广,决策信息系统知识约简是粗糙集理论的核心内容之一.通过在协调序决策信息系统中引入条件熵、互信息概念,给出了基于条件熵、互信息的协调序决策信息系统属性约简算法,并通过学生评价决策信息系统验证了该算法的有效性,使协调序决策信息系统的属性约简得到了扩展.在不协调序决策信息系统中引入限定条件熵、限定互信息概念,并给出基于限定互信息的不协调序决策信息系统属性约简算法,为不协调序决策信息系统的属性约简的应用提供了可行的解决方法.     

基于相对熵的一种属性约简算法

知识约简是粗糙集理论研究的主要内容之一。在信息系统中引入了知识的相对熵的概念,证明了在知识相对约简过程中相对熵的变化趋势是递减的;利用相对熵的概念,定义了属性的相对重要性,提出了一种基于相对熵的新的属性约简启发式算法,该算法的时间复杂度为O(｜C｜3｜U｜2),通过例子分析,表明该算法是有效的。     

基于容差关系的加权知识粗糙熵

粗集理论为从信息论角度研究知识粗糙熵和属性约简问题提供了一种重要的途径和方法。本文提出了基于容差关系下的不完备信息系统加权的知识熵和条件熵概念，将等价关系下的粗糙熵自然地推广到不完备信息系统的容差关系情形。本文的结果为在一般二元关系下的知识获取提供了理论依据。     

基于广义粗集覆盖约简的粗糙熵

在广义粗集覆盖约简理论中,由于集合的上下近似是由其覆盖约简来确定的,因此有必要寻求一种新的度量来刻画知识和粗集的粗糙性.通过引入信息熵以刻画广义粗集覆盖约简的知识粗糙性以及粗集粗糙性,提出了一种新的知识粗糙性和粗集粗糙性度量.得到知识粗糙熵和粗糙集的粗糙熵都随广义覆盖约简的变细而单调减少的结论,从信息论观点出发,对不完备信息系统粗集理论进行了探讨.     

基于变精度粗糙信息熵的特征约简算法

为解决传统粗糙集不确定度量存在的局限,提出将变精度粗糙信患熵作为度量标准.该度量标准不仅具有变精度粗糙集良好的抗噪声干扰性能,而且具有基于信息理论的粗糙信息熵更全面反映系统不确定性的能力.给出了基于变精度粗糙信息熵的特征约简算法,实验结果表明该算法具有良好的运行效果.     

基于粒度决策熵的属性约简

近年来,人们越来越关注粗糙集中的属性约简算法,尤其是启发式的约简算法。为了度量属性重要度,人们把各种不同的信息熵模型应用到粗糙集中,同时在信息熵这一理论的基础上得出了许多约简算法,用来解决粗糙集中属性约简的问题。然而,现有的基于信息熵的方法还存在一系列问题。针对这些问题,本文首先将知识粒度与相对决策熵这2个概念结合在一起,从而引入一种新的信息熵模型--粒度决策熵;然后,利用粒度决策熵来度量属性的重要性,并由此得出新的约简算法--ARGDE约简算法;最后,用不同的UCI数据集来做实验,通过与已有的约简算法比较,该算法能够得到更好的实验结果。     

基于关联熵系数的粗糙Vague集相似性度量方法

粗糙Vague集是将粗糙集和Vague集理论相互融合以处理不确定性信息的一种理论工具。本文在深入研究Vague集及粗糙模糊集的关联熵、关联熵系数及集合相似性度量方法基础上,将关联熵和关联熵系数的概念引入到粗糙Vague集,并详细讨论了它们的主要性质,同时证明了关联熵系数满足粗糙Vague集相似度的定义,可用于粗糙Vague集的相似性度量。最后通过实例验证了粗糙Vague集的关联熵系数用于度量粗糙Vague集之间相似性程度的有效性,该理论为粗糙Vague集相似性度量提供了一种新方法。     

概念格中基于粗糙熵的属性约简方法

属性约简是概念格理论的研究重点内容之一。通过将粗糙熵引入概念格理论中,定义了一种粗糙熵约简。首先,基于所有概念外延定义了形式背景的粗糙熵,并分析了它的性质;其次,定义了形式背景的粗糙熵约简,并揭示了粗糙熵约简与概念格约简之间的关系;在此基础上,基于属性重要度设计了计算粗糙熵的启发式算法,并通过实验验证了该算法的有效性。     

基于条件信息熵的决策表约简

Rough集理论是近年来发展起来的一种有效地处理不精确、不确定、含糊信息的数学理论方法，在机器学习、数据挖掘、智能数据分析、控制算法获取等领域取得了很大的成功。研究者从不同的角度对这个理论进行研究。本文将从信息论观点出发对Rough集理论的基本概念和主要运算进行分析讨论，通过与Rough集理论的代数观点进行比较分析，得到这两种观点下的一些等价性质和不同的特性，并基于条件信息熵提出决策表的约简算法。     

新的信息熵属性约简

在粗糙集不确定性度量公式中,模糊熵和模糊度是重要的度量方式。根据粗糙集不确定性度量中模糊熵和新的模糊度公式,提出了在决策信息系统中修正条件信息熵和相对模糊熵的概念,并分别用两种方式证明了熵在属性约简过程中的单调性。然后利用向前添加属性算法进行属性约简,约简结果在RIDAS(roughset based intelligent data analysis system)平台上进行识别率测试,通过实验对比分析了两种新的信息熵与条件信息熵的约简结果,为基于信息熵的属性约简提供了参考。     

粗糙集信息观中的绝对约简

绝对约简是粗糙集理论研究的基本内容之一,而在粗糙集的信息观中,绝对约简的相关定理还存在着一些不足。本文分析了现有的一些关于划分与知识信息熵的关系定理以及绝对约简的充要条件定理,提出新的关于划分和条件信息熵的对应关系定理,并给出其证明过程;依据该定理提出新的粗糙集信息观的绝对约简的充要条件,并给出相关证明。