一个通用型知识发现系统中数据预处理的实现*

介绍了一个通用型知识发现系统的数据预处理部分的主要设计思想和实现方法。该系统的数据预处理部分运用了视图机制、主题管理、语言场理论等思想方法,对基于各种关系型数据库的知识发现工具的实现进行了有益的尝试,并对未来的工作做了展望。     

基于粗糙集的图像智能增强预处理

以Rough集理论为主要研究方法，以智能化图像的自动预处理为主要应用目标，系统研究了数据发掘、知识发现(SDMKD)、人工智能的理论与方法，特别是Rough集理论，并开拓性地将其引入图像的预处理中，从崭新的角度解决了智能预处理系统的一系列难题，并实现智能预处理系统的绝大部分功能。最后给出了一个智能预处理系统的实例，取得了明显的效果。     

基于数据融合的知识发现方法在网络管理中的应用

提出用于网络管理的基于数据融合的知识发现系统框架，研究数据融合技术在知识发现的数据准备和预处理阶段的应用，研究关联规则在表达网络管理知识方面的适用性并针对网络管理数据时序性的特点，引入情景规则来表示期望发掘的知识，指出网络故障管理中关联规则和情景规则的挖掘算法以及知识增量式更新的算法，并简介了原型系统的实现方法。     

Web信息抽取及知识表示系统的研究与实现

研究了从数据密集型Web页面中自动提取结构化数据并形成知识表示系统的问题。基于知识数据库实现动态页面获取,进行预处理后转换为XML文档,采用基于PAT-array的模式发现算法自动发现重复模式,结合基于本体的关键词库自动识别页面数据显示结构模型,利用XML的对象-关系映射技术将数据存入知识数据库,由此实现Web数据自动抽取。同时,利用知识数据库已有知识从互联网抽取新知识,达到知识数据库的自扩展。以交通信息自动抽取及混合交通出行方案生成与表示系统进行的实验表明该系统具有高抽取准确率和良好的适应性。     

基于数据抽取器的知识发现处理模型

提出了基于数据抽取器的知识发现模型。在模型中,将知识发现过程分成数据预处理、数据抽取、数据挖掘和结果分析四个阶段。该模型利用标准的SQL语言构造数据抽取器,为不同的学习算法准备数据,减少数据挖掘算法对数据库直接调用的次数,避免了直接对大型数据库的数据进行调用,使得对大型数据库进行快速数据挖掘成为可能。可以加快知识发现过程,提高数据挖掘效率,实现对于大型数据库的知识发现。最后设计了SQL-C4．5算法,该算法实现了利用数据抽取器为决策树算法C4．5抽取必要的统计数据,实现了C4．5决策树的构建。     

数据挖掘工具DMTools的设计与实现

介绍了一个通用的数据工具ＤＭＴｏｏｌｓ。它实现了基于数据库的知识发现的主要过程,可视分析,数据预处理,数据库的知识发现,数据挖掘,模型解释及模型评估算。主要介绍了这个系统的体系结构和各愉的功能。使用本工具。可从各行业的历史业务数据库中挖掘出隐含的有价值的知识,用于决策支持。     

基于深度学习的目标行为知识发现方法

针对情报处理领域的知识动态更新问题,提出了一种基于深度学习的目标行为知识发现方法.首先,根据已有知识进行目标数据预处理,实现对目标要素补充;其次,基于已掌握行为意图的历史数据,构建目标行为特征模型;然后,基于深度学习方法实现行为规律分析,为目标识别提供知识支撑;最后,通过目标识别及识别结果的变化异常分析进行新知识发现,...     

数据预处理中的数据集成和变换研究

数据预处理是知识发现过程的重要步骤。介绍了数据集成、变换的相关方法,如数据变换中的常用的一些规范方法,并给出了一些具体实例。同时,指出了在数据预处理方面进一步所要做的工作。     

基于数据挖掘的考试分析系统数据预处理

数据预处理是为考试分析系统提供高质量数据的关键。为了更好地从大量复杂的和不确定的考试数据中有效地挖掘有用的信息,必须对源数据进行预处理。本文通过对考试分析系统中数据源进行详细的分析,发现数据源具有不一致、冗余等特点。从而给出了考试分析系统中数据预处理的一般性方法。     

基于小波理论的Web挖掘模型研究

为了对infemet上的半结构化数据进行分析,发现其内在的关联模式,论文提出了基于小波理论的web挖掘模型,该模型支持web挖掘的全过程。Web挖掘模型由数据采集器、预处理器、数据约简、挖掘综合器、挖掘方法库和系统维护六部分组成。该模型应用小波聚类分析方法,实现了对经过预处理的Web数据进行约筒的功能。去除了一些冗余的无意义的数据,优化了系统的性能,提高了web挖掘质量。     

基于云数据中心的多源异构数据治理技术研究

目前常规的多源异构数据治理方法主要通过对数据属性进行判断,从而实现分区域数据清洗,由于缺乏对非线性数据的分析,导致治理性能不佳;对此,提出基于云数据中心的多源异构数据治理技术;采用关系型数据库中的ETL功能对数据进行清洗,对数据转换模式以及数据清洗规则进行定义;引入互信息系数对数据相关程度进行判定,并进行非线性数据相关性分析;以云数据中心作为载体,对多源异构数据治理体系进行构建;在实验中,对提出的数据治理技术进行了治理性能的检验;最终的实验结果表明,提出的数据治理技术具备较高的查准率,对云数据中心多源异构数据具备较为理想的数据治理效果。     

网络测量中的性能数据空间分析

如何从巨量性能数据提取出特征数据是网络测量中的一项非常困难的工作。首先定义了性能数据的特征，按指标类型、获取方式或流动特性将其划分成不同的数据集，并建立了性能数据空间。通过对数据的深入分析，将复杂的性能数据分析过程分为完备化和抽象化两个阶段，提高了数据分析的效率。最后根据性能数据空间和数据集的分析，设计和实施了一个分布式数据分析体系结构。     

On the equivalence of data base schemas—a semantic approach to data translation

A notion of the equivalence of data is the basis for deriving a correct translation of data bases. The equivalence of data base states and data base schemas is defined. Since this definition can only be given with respect to the semantics of data, a short discussion of data base semantics is given. It is shown, how a semantic data model and data definition language (LDDL) can be used to construct a correct specification of a translation function. Finally, an example of the translation of a CODASYL data base schema to a relational data base schema is given.     

An integrated data preparation scheme for neural network data analysis

Data preparation is an important and critical step in neural network modeling for complex data analysis and it has a huge impact on the success of a wide variety of complex data analysis tasks, such as data mining and knowledge discovery. Although data preparation in neural network data analysis is important, some existing literature about the neural network data preparation are scattered, and there is no systematic study about data preparation for neural network data analysis. In this study, we first propose an integrated data preparation scheme as a systematic study for neural network data analysis. In the integrated scheme, a survey of data preparation, focusing on problems with the data and corresponding processing techniques, is then provided. Meantime, some intelligent data preparation solution to some important issues and dilemmas with the integrated scheme are discussed in detail. Subsequently, a cost-benefit analysis framework for this integrated scheme is presented to analyze the effect of data preparation on complex data analysis. Finally, a typical example of complex data analysis from the financial domain is provided in order to show the application of data preparation techniques and to demonstrate the impact of data preparation on complex data analysis.     

Dynamic data auditing scheme for big data storage

When users store data in big data platforms,the integrity of outsourced data is a major concern for data owners due to the lack of direct control over the data.However,the existing remote data auditing schemes for big data platforms are only applicable to static data.In order to verify the integrity of dynamic data in a Hadoop big data platform,we presents a dynamic auditing scheme meeting the special requirement of Hadoop.Concretely,a new data structure,namely Data Block Index Table,is designed to support dynamic data operations on HDFS(Hadoop distributed file system),including appending,inserting,deleting,and modifying.Then combined with the MapReduce framework,a dynamic auditing algorithm is designed to audit the data on HDFS concurrently.Analysis shows that the proposed scheme is secure enough to resist forge attack,replace attack and replay attack on big data platform.It is also efficient in both computation and communication.     

基于核函数-主成分维数约减的离群点检测

为了提高高维数据集合离群数据挖掘效率,该文分析传统的离群数据挖掘算法,提出一种离群点检测算法。该算法将非线性问题转化为高维特征空间中的线性问题,利用核函数-主成分进行维数约减,逐个扫描数据对象的投影分量,判断数据点是否为离群点,适用于线性可分数据集的离群点、线性不可分数据集的离群点的检测。实验表明了该算法的优越性。     

Mining incomplete survey data through classification

Data mining with incomplete survey data is an immature subject area. Mining a database with incomplete data, the patterns of missing data as well as the potential implication of these missing data constitute valuable knowledge. This paper presents the conceptual foundations of data mining with incomplete data through classification which is relevant to a specific decision making problem. The proposed technique generally supposes that incomplete data and complete data may come from different sub-populations. The major objective of the proposed technique is to detect the interesting patterns of data missing behavior that are relevant to a specific decision making, instead of estimation of individual missing value. Using this technique, a set of complete data is used to acquire a near-optimal classifier. This classifier provides the prediction reference information for analyzing the incomplete data. The data missing behavior concealed in the missing data is then revealed. Using a real-world survey data set, the paper demonstrates the usefulness of this technique.     

ETL过程的思考

ETL是构建数据仓库的一个非常重要的环节,可以这样认为:ETL就是整个数据仓库系统乃至整个决策支持系统的基石。如何设计高效的ETL过程就成为了众多计划或正在实施数据仓库项目的企业考虑的重要问题。从前期的数据理解阶段入手,分别讨论了数据的抽取、清洗转换、装载等不同阶段需要考虑的设计问题及相应的解决方案。提出了以数据理解为根基,以清洗转换为中心的设计思想,并给出了具体的实施步骤。     

基于数据元的数据模型语义映射技术研究

各企业在进行数据共享之前,首要考虑的是数据模型的数据映射关系,然而数据模型在不断的更替与升级,给数据集成带来了很大困难。文中设计了一种对数据源结构进行统一描述的数据字典元模型,利用数据元来规范数据项,将编辑距离算法思想应用其中,实现数据项与数据元字典中数据元的相似度匹配。应用语义树的表示方法来描述数据元结构,利用语义相似度算法进行数据元间的相似性、一致性检查,寻找数据元间的关联关系,间接地定位数据项间的语义关系,为数据映射奠定良好基础。以中石化标准数据元规范油田企业搜索引擎数据项,确保研究的实用价值。     

Redundancy and data compression in recursive estimation

The problem of the existence of redundancy in the data in a recursive estimation problem is investigated. Given a certain data rate, should the estimator be run at the same rate? It is shown that under certain conditions there is redundancy in the data and the estimator can be run at a lower rate using compressed data with practically the same performance as when no data compression is utilized. It is also pointed out that, although at the higher rate there is redundancy in the data, the performance deteriorates noticeably when the data rate is lowered. Conditions for the existence of redundancy in the data and the procedure to remove it are presented. The procedure to compress the data is obtained such as to preserve the information in the sense of Fisher. The effect of data compression is a reduction in the computation requirements by a factor equal to the compression ratio. Such a reduction might be important in real-time applications in which the computing power is limited or too expensive. The application of this technique to the tracking of a reentry vehicle with a linearized filter is discussed in more detail and simulation results are presented.