基于粗糙集的不完备信息系统的知识获取

根据不完备信息系统(IIS)的数据不完整或不完备的特性,从粗糙集(RS)等价类的概念出发,提出了基于粗糙集理论的不完整数据集知识获取方法,利用该算法不仅可以从不完整数据集中提取规则,并且能够解决在学习过程中对训练事例属性未知特征值的估计问题.最后,给出具体的算例利用所给的算法求得信息系统的知识获取,并对所得的结果进行比较,从而说明所给算法的有效性和实用性,也证实了该算法可以有效地应用于复杂工业过程的专家系统知识库的建立.     

属性约简在高校就业决策分析中的应用

粗糙集理论是一种采用新方式来研究不精确、不确定性知识的数学工具。属性约简的计算是粗糙集理论中的一个重要问题。描述基于粗糙集的属性约简的相关概念，包括核、约简、分类精度；通过分析多种属性约简算法，结合可辨识矩阵和逻辑运算，提出了一种属性约简算法；围绕高校中的管理信息系统，利用该算法抽取与学生就业相关的数据信息，给出了影响学生就业的各条件因素与工作方向之问的依赖关系和约简后的数据表；获取相关规则得出结论，取得了良好的效果。     

基于粗糙集理论的属性约简算法

粗糙集理论是一种新的数据挖掘方法,其主要思想是保持分类能力不变的情况下,通过属性约简,达到发掘知识并简化知识的目的.从大量数据发现知识时,属性约简是一个关键问题.在理解和分析基于粗糙集理论的数据挖掘算法基础上,提出了一个基于属性依赖度的属性约简算法.实验结果表明,该算法能更有效地对决策系统进行约简.     

属性约简在高校就业决策分析中的应用

粗糙集理论是一种采用新方式来研究不精确、不确定性知识的数学工具。属性约简的计算是粗糙集理论中的一个重要问题。描述基于粗糙集的属性约简的相关概念,包括核、约简、分类精度;通过分析多种属性约简算法,结合可辨识矩阵和逻辑运算,提出了一种属性约简算法;围绕高校中的管理信息系统,利用该算法抽取与学生就业相关的数据信息,给出了影响学生就业的各条件因素与工作方向之间的依赖关系和约简后的数据表;获取相关规则得出结论,取得了良好的效果。     

概念格与粗糙集的关系研究

概念格理论和粗糙集理论是两种不同的知识表示与知识发现的工具，都已被成功应用于许多领域.粗糙集理论的数据表现方式是信息系统，其研究基础是对象之间的等价关系;概念格理论的数据表现方式是形式背景，其研究基础是一种有序的层次结构--概念格.本文讨论了概念格理论与粗糙集理论之间的基本联系;重点分析了形式概念与等价类之间、概念格与分划之间的关系;证明了概念格与分划之间可以相互转换，给出了转换算法，并用例子加以说明.     

基于三支决策粗糙集的概念漂移研究

随着大数据时代的到来,数据挖掘已经成为研究热点,概念漂移作为数据挖掘领域所面临的挑战之一,也越来越受到人们的关注。针对传统基于经典粗糙集的概念漂移探测研究不关注边界域上的概念漂移现象、不具有容错性的问题,提出了基于三支决策粗糙集的概念漂移的探测算法,该算法将概念漂移的探测拓展到了三支决策粗糙集领域,将正域概念漂移探测的意义推广到了边界域上,认为边界域上的概念漂移现象也是值得研究的且具有实际意义的。利用三支决策粗糙集能够有效模拟人类智能的不确定性和非精确性的特点,增加了该概念漂移算法的容错性。最后,通过实验验证了该算法的可行性。     

应用粗糙模糊度的不完备信息系统属性约简

粗糙集理论能有效地处理不精确、不一致、不完整等不完全数据信息,可以对数据信息进行分析和推理,发掘隐含知识,揭示潜在规律.属性约简是粗糙集理论的重要研究课题.在现实生活中,由于各种条件限制,信息的不完备现象广泛存在,限制了经典Rough集理论在一些实际问题中的应用.文中引入粗糙模糊度度量,定义了一种新的知识熵.在此基础上,提出了一种基于信息观下粗糙模糊度的不完备信息系统属性约简算法.通过仿真实验说明了该算法的有效性和较好的时间优越性.     

基于云计算的层次粗糙集模型约简算法研究

传统的并行属性约简算法通过利用抽样技术获取小数据样本进行知识约简,但对于大数据集来说,样本数据不具有一般性且无法代表整个数据集.为了弥补传统并行属性约简算法只能用来计算最小属性约简、处理小数据集的缺陷,论文通过分析了先验知识在粒计算中的重要性,结合云计算技术处理海量数据的优势,以粗糙集理论为背景,从不同角度、层次出发建立层次粗糙集模型,提出基于云计算的层次粗糙集模型约简算法,讨论并实现了知识约简算法中的可并行化操作,利用Hadoop在普通计算机集群上进行试验,从运行时间、加速比、可扩展性三个方面对所提出基于正区域、信息熵、边界域算法的重要性进行评价.实验证明：基于云计算的层次粗糙集模型约简算法可以有效处理大数据集.     

基于粗糙集理论的模糊聚类算法研究

粗糙集理论是一种新型的处理含糊不确定知识的数学工具,善于分析隐藏在数据中的事实而不需要关于数据的任何附加知识,粗集理论不仅为信息科学和认知科学提供了新的科学逻辑和研究方法,而且为智能信息处理提供了有效的处理技术。聚类是作为数据挖掘系统中的一个模块,既可以作为一个单独的工具以发现数据库中数据分布的深层信息,也可以作为其他数据挖掘分析算法的一个预处理步骤。模糊聚类算法忽略了聚类边界不确定的问题和复杂数据问题从而导致聚类效果不理想。本文提出了将粗糙集和模糊聚类算法相结合,利用粗糙集中上近似集和下近似集的概念得到相似性度量来改进模糊聚类算法。实验证明,改进的算法能够得到更好的聚类效果。     

基于粗糙集理论和BP神经网络的数据挖掘算法

根据数据挖掘中粗糙集理论和BP神经网络各自的优势和存在的问题,提出了一种将粗糙集理论和BP神经网络理论结合在一起的算法。该算法利用粗糙集对属性的归约功能将数据仓库中的数据进行归约,并将归约后的数据作为训练数据提供给BP神经网络。通过粗糙集归约,提高了训练数据表达的清晰度,也减小了BP神经网络的规模,同时利用BP神经网络又克服了粗糙集对噪声数据敏感的影响。文中提出了代价函数,解决了训练数据与网络精度的问题,也提供了由粗糙集归约向BP神经网络训练转变的依据。     

关联规则挖掘中Apriori改进算法的研究

挖掘频繁项集是许多数据挖掘任务中的关键问题,也是关联规则挖掘算法的核心,提高频繁项集的生成效率一直是近几年数据挖掘领域研究的热点之一.在对关联规则挖 掘中基于Apriori算法的改进算法进行深入分析和研究后,本文根据Apriori算法的不足,提出了一种改进策略,从而得到一种优化的Apriori算法.最后,对频繁项集挖掘算法的发展方向进行了初步的探讨.     

一种改进的Conf-H-Mine算法

对关联规则和约束关联规则的算法进行了研究和分析,基于候选集的约束算法需要反复扫描数据库,并产生大量的候选集,在挖掘低支持度、长模式的规则时效率低下。针对算法的缺陷,该文提出了一种Conf-H-Mine算法,采用Conf-H-Struct结构存储事务集合,不产生候选集,优化了关联规则的挖掘。实验结果证明了该算法的有效性。     

一种新的关联规则挖掘算法

对关联规则算法进行了研究和分析,基于候选集的Apriori-like算法需要反复扫描数据库,并产生大量的候选集,在挖掘低支持度、长模式的规则时效率低下。针对算法的缺陷,该文提出了一种PS算法,优化了关联规则的挖掘。实验结果证明了该算法的有效性。     

垂直数据格式挖掘频繁项集算法的改进

针对现有的基于垂直格式挖掘频繁项集采用正交的方式两两进行比较耗费大量时间和产生的Tid集可能很大浪费存储空间的问题,提出了一种基于三角矩阵和差集的垂直数据格式挖掘频繁项集的挖掘算法。该算法利用差集解决了对稠密数据集进行频繁项集挖掘时的Tid集可能很大的问题,并且利用一种前提方法判断是否有必要连接产生候选频繁k+1项集,减少时间的开销,而且在存储上用三角矩阵的数据结构可以进一步节省存储空间。实验结果表明,本算法大大减少挖掘频繁项集时间和空间内存的开销。     

关联规则的快速提取算法

针对基于频繁项集的关联规则挖掘算法效率低,需要多次扫描数据库且生成冗余候选项集问题,该文利用频繁项集的Aprior性质和概念格的基本思想提出一种关联规则提取算法,利用极大频繁项集来进行规则提取,去除了多数冗余的候选项集,提高了提取效率。     

一种星型模式下的关联规则挖掘方法

目前的数据挖掘基本上都是基于普通数据集的挖掘,针对星型模式结构的数据挖掘的研究工作较少,为此定义星型模式挖掘结构,并在此基础上构建一种关联规则挖掘算法,该算法先扫描事实表,产生最大频繁项集和关联规则,进而以此为基础,提出一种基于连接条件和关联规则局部有效性的理论,并在此基础上建立一种快速扫描维表属性的方法,一次产生维表隐藏的关联规则,这个扫描是基于局部的,不是基于全局的,同时可根据需要,对于不明确的关联规则,通过构建扩展的维表,进行隐知识的挖掘。算法挖掘速度快,若合理地构建扩展维表,能够发现扩展的隐藏信息。     

基于存储改进的分区并行关联规则挖掘算法

针对现有算法存储结构简单、生成大量冗余的候选集、时间和空间复杂度高,挖掘效率不理想的情况,为了进一步提高关联规则算法挖掘频繁集的速度,优化算法的执行性能,提出基于内存结构改进的关联规则挖掘算法。该算法基于Spark分布式框架,分区并行挖掘出频繁集,提出在挖掘过程中利用布隆过滤器进行项目存储,并对事务集和候选集进行精简化操作,进而达到优化挖掘频繁集的速度、节省计算资源的目的。算法在占用较少内存的条件下,相比于YAFIM和MR-Apriori算法,在挖掘频繁集效率上有明显的提升,不但能较好地提升挖掘速度,降低内存的压力,而且具有很好的可扩展性,使得算法可以应用到更大规模的数据集和集群,从而达到优化算法性能的目的。     

SparkSql上自适应数据集的高效频繁集挖掘算法

针对基于Spark框架的关联规则算法存在I/O开销大、数据结构和挖掘频繁集方式单一、计算支持度的方式效率低等问题,提出基于SparkSql进行分布式编程的算法。将数据集加载到DataFrame,利用改进后的布隆过滤器高效存储频繁集挖掘过程中产生的项集,解决RDD内存资源和计算速度受限问题。基于先验定理对事务、项目和项集进行精简,同时提出用Sql语句对项集中项目对应事务集合求交集的方式计算项集支持度,提高计算支持度的效率。提出了两种迭代算法和自适应数据的选择条件,增强该算法对各种数据集的泛化性。进行多组实验,证明提出的算法总是自适应本次迭代数据的特点选择最优的迭代方法,同时具有较高并行算法性能,可以扩展到更大规模集群和数据;同基于Spark框架的关联规则算法YAFIM和R-Apriori进行对比,在每次迭代和总体运行计算效率上有更好的表现。     

基于频繁叶模式的XML最大频繁查询模式挖掘算法

在XML频繁查询模式挖掘稠密数据集、长数据集中,为克服项目集挖掘过程中挖掘的项目过多、不利于结果利用等问题,提出基于频繁叶模式的最大频繁查询模式挖掘算法MFRSTMiner。该算法通过构造频繁模式扩展森林,在扩展森林的叶节点中挖掘出最大频繁子树。试验结果表明该算法能够有效地挖掘动态事务集的最大频繁查询模式。     

基于Spark的并行化高效用项集挖掘算法

针对传统基于链表结构的Top-K高效用挖掘算法在大数据环境下不能满足挖掘需求的问题,提出一种基于Spark的并行化高效用项集挖掘算法(STKO)。首先从阈值提升、搜索空间缩小等方面对TKO算法进行改进;然后选择Spark平台,改变原有数据存储结构,利用广播变量优化迭代过程,在避免大量重新计算的同时使用负载均衡思想实现Top-K高效用项集的并行挖掘。实验结果表明,该并行算法能有效地挖掘出大数据集中的高效用项集。