相容关系下的分割知识约简算法的研究

粗糙集理论是一个能有效地删除冗余特征的工具。由于实际应用的数据往往是连续的,并且结构复杂、特征多,现有的粗糙集知识约简方法对真实复杂的数据计算效率较低。为此,首先将相容关系应用于粗糙集的知识约简,再将复杂的信息表纵向分割成简单的缩减表和小规模信息表,然后把缩减表和小规模信息表连接起来进行知识约简。实例表明,提出的方法能够有效提高粗糙集对复杂数据的计算效率。     

基于量化相对约简格的关联规则发现

关联规则发现是KDD中的一个重要的问题,而量化相对约简格作为一种新的表示数据和知识的有效工具,对于概念格结构进行了更为有效的缩减,非常适于数据库中的知识发现.文章对基于量化相对约简格进行关联规则的快速发现进行了讨论,提出了基于频繁概念子格进行规则提取的方法,并进行了相应的理论研究.     

基于变长编码遗传算法的最小缩减计算

在数据库知识发现的过程中,属性选取是其中的一个重要步骤,它通过去除冗余属性,达到提高数据挖掘效能的目的。本文利用粗糙集合中的理论作为背景知识,讨论了使用遗传算法寻找最小缩减的方法,并提出采用个体变长编码的方法来解决最小缩减的计算问题,设计出相应的交叉、变异算子,实验证明其具有较好的收敛性能。     

数据预处理的数据缩减方法的研究

在数据挖掘之前对待挖掘数据进行一些选择与准备的预处理工作,可以对数据挖掘的过程和结果产生直接影响。其中数据缩减技术最大限度地精简数据量,提高数据挖掘的执行速度与效率。论述一些典型的数据缩减方法,说明典型方法的应用情况,分析典型方法的使用特点,通过对训练集数据的应用对数据缩减方法进行研究。     

基于数据挖掘技术网络化训练分析系统研究与实现

对于教育测评所积累的大量数据,通过数据挖掘技术能产生出对学生、教师、教育管理者有用的知识。为此,从教育测评的目的、数据准备、数据积累方法,到数据的知识挖掘等几个方面,系统地研究了教育测评的知识发现的过程,并分别就三种需求的知识发现方法进行探讨,以改变教育测评仅能提供定性的结论而不能发现知识的状况,丰富教育测评的内涵。     

基于属性值分类的特征规则的知识发现

1 引言知识发现(Knowledge discovery in database,KDD)是应用一系列技术从大型数据库或数据仓库中提取隐含的、未知的、非平凡的对决策有潜在应用价值的知识和信息的过程,提取的知识表示为概念、规则、规律、模式等形式。知识发现过程一般由三个主要的阶段组成:数据准备,数据开采,结果表达和解释。知识发现的主要方法是数据总结、分类发现、聚类分析和关联规则的发现。其中分类是知识发现中非常重要的方法。现在从统计学和机器学习的角度提出了较多的分类技     

数据开采与统计学

数据开采是利用现代统计学知识和计算知识从大型数据库中发现潜在的有用模式的学科。可以说,数据开采的目的和数据开采中使用的方法,覆盖了古典的统计学应用范畴。然而,统计学和数据开采在哲学上和使用方法上都有许多的差别。文中描述统计学和数据开采方法在知识发现上的差异,指出统计学和数据开采可通过彼此学习和互相使用来得到发展。     

改进的结合密度聚类的SVM快速分类方法

针对SVM在对大规模数据分类时求解规模过大的问题,提出了一种缩减数据集以提高训练速度的方法。该算法的第一步利用基于密度的方法大致定位能代表某个局域的质点,然后用SVM训练缩减后的数据得到一组支持向量,第二步的训练数据由支持向量以及其所代表的样本点构成。仿真实验证明该算法在保证分类准确率的情况下能有效地提高分类速度。     

一种异构系统的自动模式匹配方法

介绍了在多维结构间自动创建映射的方法,它能最大程度地缩减数据集成的进程.其贡献在于针对特定数据仓库的多维结构提出一种匹配发现过程.这个过程提高了模式匹配的准确度,使之应用于实际的项目成为可能.     

基于知识库的知识发现的研究

传统的知识发现都是基于数据库进行的,但数据库中存储的数据缺乏语义性,对知识的发现缺乏全面性.将本体和移动代理技术引入知识发现中,首先从数据中获取语义信息并将其与知识一起存储进知识库,然后基于知识库提出了一种的新的知识发现系统,为知识发现提供了一种新的思路和方法.     

动态模糊粗糙特征选取算法

由于数据随时间和空间不断更新,很多基于粗糙集的增量方法被提出。然而,动态数据上基于模糊粗糙集的特征选取(也称属性约简)更新的研究较少,特别是连续型动态数据上的增量特征选取。为了解决这个问题,提出适用于连续型数据的基于模糊粗糙集的增量属性约简算法。首先提出模糊粗糙基本概念的增量机制,如模糊正域的增量机制。只有部分示例在已有属性约简上的辨识能力不足,即对于模糊正域来说,存在一个关键示例集。增量约简算法基于已有数据上的约简结果,仅需要更新关键示例集中的示例,而非全部的论域。因而该增量算法在动态数据上能快速获得约简的更新。通过数值对比实验可以看出,增量算法比非增量算法在运行时间上有明显的优势。特别是对于高维数据集,增量算法可以大大地节省计算时间。     

属性维概念及其操作的研究

Dimension member attribute is used to describe the property of dimension members. It is not fully understood and well defined in OLAP research area.This paper focuses on a special kind of dimension member attributes,which can be used as dimensions by themselves. We call them attribute dimensions.In order to facilitate this kind of necessity of multidimensional data modeling in many real-world applications,the traditional multidimensional structure is extended and a group of operations are given to formulate corresponding multidimebsuibak qyerues.     

Attribute selection with fuzzy decision reducts

Rough set theory provides a methodology for data analysis based on the approximation of concepts in information systems. It revolves around the notion of discernibility: the ability to distinguish between objects, based on their attribute values. It allows to infer data dependencies that are useful in the fields of feature selection and decision model construction. In many cases, however, it is more natural, and more effective, to consider a gradual notion of discernibility. Therefore, within the context of fuzzy rough set theory, we present a generalization of the classical rough set framework for data-based attribute selection and reduction using fuzzy tolerance relations. The paper unifies existing work in this direction, and introduces the concept of fuzzy decision reducts, dependent on an increasing attribute subset measure. Experimental results demonstrate the potential of fuzzy decision reducts to discover shorter attribute subsets, leading to decision models with a better coverage and with comparable, or even higher accuracy.     

Model selection for partial least squares based dimension reduction

Partial least squares (PLS) has been widely applied to process scientific data sets as an effective dimension reduction technique. The main way to determine the number of dimensions extracted by PLS is by using the cross validation method, but its computation load is heavy. Researchers presented fixing the number at three, but intuitively it’s not suitable for all data sets. Based on the intrinsic connection between PLS and the structure of data sets, two novel algorithms are proposed to determine the number of extracted principal components, keeping the valuable information while excluding the trivial. With the merits of variety with different data sets and easy implementation, both algorithms exhibit better performance than the previous works on nine real world data sets.     

数据仓库事实表的建模理论与方法

该文在引入数据库空间概念的基础上，分析了数据仓库明细数据库的维度特性，抽象出其统计空间的通用、对象和主体3种逻辑维度，提出了一套构造数据仓库事实表的建模理论与方法，生成了所有可能的事实表，并辅之以计算机建模。     

基于样本选择的启发式属性约简方法研究

属性约简是粗糙集理论的核心研究内容之一。借鉴于贪心策略的启发式算法是求解约简的一种有效技术手段。传统的启发式算法使用了决策系统中的所有样本,但实际上每个样本对约简的贡献程度是不同的,这在一定程度上增加了启发式算法的时间消耗。为解决这一问题,提出了一种基于样本选择的启发式算法,该算法主要分为3步:首先从样本集中挑选出重要的样本;然后利用选取出的样本构建新的决策系统;最后利用启发式算法求解约简。实验结果表明,新算法能够有效地减少约简的求解时间。     

基于MIX_FP树的粗糙集属性约减算法的研究与应用

粗糙集对于学习分析系统的属性约减模型有着重要的研究意义和使用价值。针对教育大数据高维度、不完备、增量性等现状,提出了基于不完备决策表的差别信息增量更新算法,并结合树形结构对差别信息的高效存储和粗糙集的核属性概念,设计构建了MIX_FP树,实现高维属性的有效约减。实验结果验证了该算法具有较好的运行效率和空间性能,为教育大数据的属性约减提供了有效的方法,同时为基于粗糙集理论的属性约减算法研究和及其在学习分析领域的应用提供了新的研究思路。     

一种新的基于属性相关性的数据流特征选择算法的研究

高维数据流包含大量的无关信息和冗余信息,这些信息可能极大地降低学习算法的性能。利用属性相关性可以有效地去除数据流中的不相关属性和冗余属性,提高学习算法的效率。分析现有的属性相关性计算方法在应用中的局限性,提出基于曲线拟合的属性相关性特征选择算法FSCFFR(Feature Selection based on Curve-Fitting Feature Relevance)。理论分析和实验表明,FSCFFR在特征选择过程中具有较高的实时性和有效性。     

基于粗糙集的表情特征选择

为解决取得特征向量维数过高问题,提出了一种改进的粗糙集属性约简算法。运用几何特征点方法得到人脸表情的局部特征向量,引入粗糙集理论,用改进的属性约简算法对提取到的表情特征进行优化选择,去掉冗余特征和对表情分类无用的不相关信息。实验结果显示,该方法不仅实现方便,识别率高,识别所用的时间也大大减少,充分表明了该方法的有效性。     

基于MapReduce改进离散型萤火虫算法和多重分形的属性约简方法

针对大数据环境下属性约简问题,提出基于MapReduce改进离散型萤火虫算法(IDGSO)和多重分形(MFD)的属性约简方法.首先,通过对萤火虫个体的移动方式进行离散化改进,引入迁徙策略和高斯变异策略,避免陷入局部最优,并提出改进离散型萤火虫算法.然后,将IDGSO结合MFD应用于属性约简中.最后,针对大数据环境下属性约简问题,采用MapReduce编程模式,实现对IDGSO和MFD的并行化.在UCI数据集和实际气象数据集上的实验表明,文中算法约简性能较优,运行效率较快,具有较好的有效性和可行性.