MapReduce环境下的否定粗糙关联规则算法

为了解决Apriori关联规则算法在处理大数据时产生大量候选项集,且无法在大数据环境下挖掘出频繁事件中所隐藏的否定关系的问题,通过深度分析事务数据库的特征,结合Boolean矩阵原理,运用粗糙集的分类思想和MapReduce并行编程模型,提出在MapReduce框架下的否定粗糙关联规则算法,以处理大数据所隐藏的否定关系。实验结果表明了该并行算法的有效性,适合挖掘出海量数据的否定关系。     

概念格理论与方法及其研究展望

概念格理论与方法是形式概念分析研究中的基本内容,该研究已取得一系列的重要成果,主要集中在概念格模型推广、概念格构造、概念格约简、基于概念格的规则提取、概念知识空间、概念格的粒计算方法及概念格应用等研究方向.为了进一步促进形式概念分析的研究与发展,文中对现有的概念格理论与方法进行梳理、总结与展望.特别地,指出上述研究方向中存在的关键科学问题,进行一些理论分析,并提出初步的研究思路,为今后解决这些问题提供有益的参考.     

基于区间模糊匹配函数的数据清洗算法研究及其在问卷调查中的应用

数据清洗是保证数据质量的重要步骤. 由于人类的活动通常带有一定的主观性与情绪性,因此现实中部分数据往往存在不合理性甚至错误. 而此类不合理数据常具有不确定性、模糊性与隐藏性,这给数据清洗带来了困难. 传统的数据清洗方法对此类数据难以充分发挥作用. 结合区间值模糊集理论与匹配函数提出一种区间模糊匹配函数方法,构建区间模糊匹配算法来清洗数据、提高数据质量,并将其应用在问卷调查数据中. 实验结果表明本算法具有较高的准确度及运行效率,适应处理数据中的不合理数据.     

MapReduce框架下的粒概念认知学习系统研究

针对经典的概念学习算法难以处理大规模数据集的问题,本文提出一种基于MapReduce框架的粒概念认知学习并行算法.该算法借鉴认知心理学的知觉和注意认知思想,并融合粒计算的粒转移原理.首先构建适应大数据环境的粒概念并行求解算法,并与经典粒概念构造算法做了对比,在此基础上分别从外延和内涵角度建立了粒概念认知计算系统,然后对给定对象集或属性集进行认知概念学习.实验结果表明,该并行算法是有效的,适合海量数据的粒概念认知学习.     

海量数据下不完备信息系统的知识约简算法

面向大规模的数据进行知识约简是近年来粗糙集理论研究的热点。传统不完备信息系统的知识约简是假设在初始时将所有需要处理的数据一次性地装入内存中,这明显不适合处理海量数据,更不适合处理含有缺失信息的海量数据。为此,深入剖析了带有缺失信息的数据特征,把缺失属性的值用该属性所有可能的取值表示,并结合知识约简算法中的可并行性,从属性(集)的可辨识性和不可辨识性出发,并在MapReduce框架下设计了可用来处理不完备信息系统的知识约简算法。实验结果表明,该算法是有效可行的,能够对不完备信息系统中的海量数据进行知识约简。     

大数据下不完备信息系统近似空间的并行算法

上、下近似空间是粗糙理论的重要概念,解决上、下近似问题是海量数据挖掘的基础。经典的近似空间算法不适合处理海量数据,更不适合处理带缺失信息的海量数据问题。为此,通过深度分析带缺失信息的海量数据特征,结合MapReduce编程模型,提出了基于MapReduce框架下近似空间的并行算法,以处理带缺失信息的海量数据,实验结果表明了该并行算法的有效性。     

基于区块链的公共数据电子证据系统及关联性分析

针对公共部门提供电子证据时,必须保证数据的真实性和证明力,同时要尽量保护当事人隐私和他人利益,而从公共数据库中提取电子数据并形成有效电子证据,既是法律难题也是技术难题这一问题,本文在电子证据可信性的影响因素分析基础上,提出了自动生成中国公共数据库电子证据系统的区块链模型的取证技术体系,并从司法角度出发,提出了公共数据治理的电子证据生命周期、内容关联、载体关联和智能串并分析方法。本文的研究在一定程度上保证了司法、公证和公共事务中电子证据的可信性,并实现了从公共数据库中自动生成证据知识的原型系统。     

海量数据挖掘过程相关技术研究进展

随着信息技术的发展,复杂、多样的海量数据给数据挖掘带来了新的挑战。为了更加深入全面地了解大数据环境下的数据挖掘技术的研究进展和应用,从海量数据挖掘过程的技术框架、算法、理论及模式方面进行了详细的阐述。概述了大数据的基本概念、处理流程及面临的问题,简述了数据挖掘的基本过程及相关算法,详细评述了海量数据挖掘过程的研究现状及面临的挑战,并从博弈论的角度、粒计算模型及大数据处理思维方面探讨了海量数据挖掘过程中的处理模式。