MapReduce框架下并行知识约简算法模型研究

面向大规模数据进行知识约简是近年来粗糙集理论研究热点。经典的知识约简算法是一次性将小数据集装入单机主存中进行约简,无法处理海量数据。深入剖析了知识约简算法中的可并行性;设计并实现了数据和任务同时并行的Map和Reduce函数,用于计算不同候选属性集导出的等价类和属性重要性;构建了一种MapReduce框架下并行知识约简算法模型,用于计算基于正区域、基于差别矩阵或基于信息熵的知识约简算法的一个约简。在Hadoop平台上进行了相关实验,实验结果表明,该并行知识约简算法模型可以高效地处理海量数据集。     

基于条件信息熵和相关系数的属性约简算法

粗糙集的属性约简是一个NP难问题,获得较为高效的算法是研究的主要目的。针对传统的粗糙集属性约简算法效率不高、速度不快的问题,提出基于相关系数和条件信息熵的属性约简算法,把决策表的非核属性约简过程转化为相关系数的运算,能减少对决策表的扫描次数,降低算法时间复杂度,降低算法冗余,提高属性约简的效率。并利用k-fold轮换对比方法计算相关系数,较大地减少了计算量,同时能得到次优属性约简结果。给出了算法内容,并结合实验进行了验证。     

粒矩阵属性约简的启发式算法

属性约简是粗糙集理论一个重要的研究问题.在粗糙集理论上,利用粒计算的思想构建了粒矩阵,提出并定义了粒矩阵相与运算,建立了基于粒矩阵的知识粒化方法,并且给出了粒矩阵属性约简的启发式算法.采用粒矩阵进行属性约简选择最小属性集,跳出了传统属性约简的先求解属性核,再求解最优属性集的方法.理论分析表明了新的算法是可靠有效的,给粒计算属性约简提供一个新的思路,为进一步研究粒计算提供可行的方法.     

一种基于变精度粗糙集理论的属性约简算法

属性约简是粗糙集理论研究的核心问题之一,而且现已证明寻找一个决策表的最小约简是NP-hard问题.针对变精度粗糙集理论的属性约简问题,从相对可辨识矩阵,属性的重要度作为启发式的信息,给出变精度粗糙集的属性约简算法的改进,在一定程度上简化了属性约简的计算,提高了属性约简的效率.最后通过实例证明了改进的算法给出信息系统的属性约简结果的正确性.     

一种新的启发式粗集决策表属性约简算法

粗集理论通过对原始决策表的约简从而获取规则知识,其核心部分是属性约简.经过约简后的数据更有价值,更能准确地获取知识.文中提出了一种新的启发式属性约简算法,并给出了算法的详细步骤和具体的实验示例.该算法通过不一致计数和互信息增量的计算来衡量属性的重要性,避免了对属性之间随机组合情况的搜索,可以提高求解速度.实验结果表明,相比较于动态约简算法和标准遗传算法,所提出的算法获得的约简属性集更加简洁和高效.     

基于知识粒化的信息系统增量式属性约简

传统的属性约简算法不能适用于动态变化的信息系统。为了对属性集不断动态增加的信息系统进行更高效的属性约简,基于粒计算模型中知识粒化的视角,提出一种知识粒度的增量式属性约简算法。在信息系统中引入知识粒度度量的概念,当信息系统属性集增加时,研究了知识粒度的增量式更新方法,理论分析了这种更新方法的高效性,根据知识粒度的增量式更新提出一种增量式属性约简算法。仿真实验结果表明该算法具有较高的属性约简性能。     

代数约简的知识粒度表示及其高效算法

首先提出了修正相对粒度计算公式,给出其单调性证明以及等号成立的充要条件;然后证明了保持修正相对粒度不变是保持正区域不变的充要条件,并给出代数约简的知识粒度表示;最后讨论了现有相对粒度与修正相对粒度之间的关系,利用修正相对粒度的单调性给出计算属性重要性定义及其递归计算公式,进而利用基排序思想计算等价类,设计出一种计算决策表代数约简的高效算法.实验结果表明该算法是可行且高效的.     

不完备决策表中基于相对知识量的属性约简

在不完备决策表中,引入基于相容关系的相对知识量,定义属性的重要度,提出一种启发式属性约简算法。该算法通过在约简过程中不断缩小样本空间的方法,降低算法计算时间。采用UCI数据集进行实验,结果表明该算法可提高不完备决策表的约简效率,适用于大规模数据集的属性约简。     

基于粗集理论的属性约简改进算法

粗集理论是一种处理不确定,不一致数据的新的数学工具.属性约简是粗集理论研究的重要内容,是在保持信息系统分类能力不变的基础上,删除冗余属性.而求取最优约简是一个NP难题,为了能够有效地获取信息系统的约简,提出一种改进算法.该算法以知识量作为启发式信息,每次删除知识量小的属性,直到找到约简为止.分析及实例表明此算法具有有效性.     

考虑属性排名的约简算法

属性约简是粗糙集研究的重要内容之一.目前有多种计算约简集的方法,但计算效率普遍不高.杨萍等学者提出的基于二进制区分矩阵的启发式约简算法,考虑了属性的区分度和区分率,采用高效的逻辑运算获得约简集,提高了运算的效率.在该算法的基础上,首先指出其计算所得的约简集存在不确定性,然后给出一种考虑属性排名的改进的约简算法,消除了约简集的不确定性,并且可以迎合用户的需求.最后通过一个信息系统实例,验证该算法的可行性和有效性.