数据基因：数据的进化过程管理模型

同生物一样，数据也具有进化过程。本文参照生物进化论的观点，给出一种数据进化过程管理模型——数据基因模型。在数据基因模型中，数据进化过程中产生的信息称为数据的遗传信息，它们被保存在数据基因中。通过数据基因的遗传和变异来记录数据的特征及与其它数据的关系。该模型可用于企业信息处理、审计事务处理等对数据来源、去向需要清楚了解的应用中。本文给出了数据基因模型的基本概念、性质，并给出了模型的一个实例。     

大数据环境下的多源数据演化更新研究

大数据环境下的多源数据呈现出数据量大、数据种类多、数据变化快的特点,这些特点对数据更新提出了新的挑战。通过分析大数据下多源数据的特点,定义了演化数据的概念,基于此建立了大数据的动态变频遍历更新模型。首先通过抽象数据的演化方式,建立了演化数据的势与稳定性概念,从而推导出更一般的代数意义上的演化运算工具;其次通过将运算工具导入大数据数据更新的实际应用中,推导出基于概率的变频遍历与动态权值模型;最后通过实验验证了在大数据环境下动态变频遍历模型(Dynamic Frequency Conversion Traversal,DFCT) 对多源数据具有较高的更新效率。     

数据治理技术

随着信息技术的普及，人类产生的数据量正在以指数级的速度增长，如此海量的数据就要求利用新的方法来管理.数据治理是将一个机构（企业或政府部门）的数据作为战略资产来管理，需要从数据收集到处理应用的一套管理机制，以期提高数据质量，实现广泛的数据共享，最终实现数据价值最大化.目前，各行各业对大数据的研究比较火热，但对于大数据治理的研究还处于起步阶段，一个组织的正确决策离不开良好的数据治理.首先介绍数据治理和大数据治理的概念、发展以及应用的必要性；其次，对已有的数据治理技术——数据规范、数据清洗、数据交换和数据集成进行具体的分析，并介绍了数据治理成熟度和数据治理框架设计；在此基础上，提出了大数据HAO治理模型.该模型以支持人类智能（HI）、人工智能（AI）和组织智能（OI）的三者协同为目标，再以公安的数据治理为例介绍HAO治理的应用；最后是对数据治理的总结和展望.     

一个可扩展的数据清洗系统

在给数据挖掘这类应用准备数据的过程中，面临着一系列数据清洗问题，要把数据清洗过程做得很灵活并不容易，已有的工具往往过于依赖特定的应用，该文提出并实现了一个可扩展的数据清洗框架，它以术语模型、过程描述文件、共享库等概念和技术实现了模块的高度独立性和系统的可扩展性。并提供了一个可视化的流程定义环境。     

建模与仿真中数据VV＆C的研究

在建模的过程中，数据在一定程度上决定了我们建立的模型能否真实地反映实际；因此，所用的数据是不是正确就是建模成功与否的关键。该文首先介绍了建模与仿真过程中数据的概念和分类；接着讨论了数据校核、验证和确认的概念，并简要地介绍了数据校核、验证和确认的一般过程和方法。最后，给出了数据校核、验证和确认的一个实例。     

适应地形实时生成的地形数据简化

出于对大范围地形场景实时生成的需要，提出了一种地形数据简化的方法。首先基于“分而治之”思想给出规则数据分割的概念，并给出数据分割算法，然后通过将地形数据的高度值解释为二维图像元素的灰度值，把地形数据变成平面图像，再利用数字图像处理的方法获得地形特征，提出了两种地形分类简化模型，即基于熵的地形类型划分模型和基于DEM数据统计特性的地形类型划分模型，最后比较了不同地形特征的数据简化结果。     

基于领域本体的数据清洗研究

对数据清洗过程中的语义问题进行了分类，基于领域本体提出了领域概念树和精确度水平节点集的概念。结合领域概念树和精确度水平节点集，给出了基于领域本体的数据清洗方法。该方法通过利用领域本体包含的语义信息，提高了数据清洗质量。与传统的数据清洗方法相比，由于该方法只与本体领域模型进行交互，不局限于特定领域，所以扩展性更强，数据清洗的质量也较高。     

数据仓库环境下以用户为中心的数据清洗过程模型

数据清洗是数据仓库和数据挖掘中非常重要的一个环节。本文首先分析总结了数据清洗的有关概念，给出了数据清洗中需要解决的质量问题，并总结了解决这些问题的技术和方法。在此基础上提出了以人为中心的数据清洗过程模型。该模型集成了工作流技术、数据集成、数据转换和数据挖掘技术。给出了每个工具箱应该提供的基本功能。     

基于数据基因的P2P文件共享平台

定义了适用于P2P文件共享的数据基因模型,并给出了基于数据基因模型的P2P文件共享平台的体系结构。这一文件共享平台利用文件的数据基因组来组织和管理共享文件。由于同一文件的不同版本拥有不同的基因信息,它们可同时存在于系统中供用户使用,因此数据一致性问题得到简化。由于可利用文件数据基因组中对相关文件的记录进行查询处理,系统查询实现更高效。文中还给出了此文件共享平台的数据查询算法与更新策略。     

面向信息物理融合系统的多源异构数据交互模型

在信息物理融合系统（Cyber-physical system，CPS）中，传统多源异构数据集成模型难以通过中间件实现异构系统间的概念层关系映射，存在系统难以扩展和传输性能低等问题。基于上述问题和挑战，提出了一个面向CPS的异构数据交互模型。设计数据对象模型实现物理系统和仿真系统高层概念映射；定义监测类和控制类元数据，针对不同的数据类型使用增量或全量字段更新以降低网络负载；基于Protobuf协议设计系统的通信模型，提高系统的扩展能力。基于该数据交互模型和高层体系结构（High level architecture， HLA）/数据分发服务（Data distribution service， DDS）系统中间件实现了一个CPS原型系统，验证了模型的可用性并对比了报文的压缩性能。     

移动网管平台中数据仓库数据抽取、净化和集成

将数据仓库运用到移动通信网络管理平台是当前比较受关注的一项技术。而数据抽取、净化和整合是数据仓库构建过程中最复杂的部分。提出了在移动通信网络管理平台中的实现方案     

数据挖掘在温室大棚上的应用研究

随着物联网的兴起,数据的积累速度、维度以及体积等也越来越大,成了真正的大数据范畴。在农业温室大棚中部署的大量各种各样的传感器产生了大量多源异构的传感数据,而且这些数据中存在需要清洗的各种脏乱数据。本文按照数据清洗,模型构建和模型应用三个部分进行详述,首先介绍数据清洗技术和多源异构数据的融合技术,然后列举了常见的预测模型构建方法并分别指出了每种方法的适用情况,最后对常见的应用领域进行了综述和总结,并提出了目前还存在的问题,以及对未来的展望。     

多维数据管理的数据仓库技术研究

新一代信息系统对多维数据管理提出要求,而目前的数据库系统无法发现数据中存在的关系和规则,数据仓库技术已成为信息决策系统的研究热点。以数据仓库技术思想为核心,研究在关系数据库和现有低资源环境下,设计基于多维数据管理的分布式数据库及信息管理系统。     

基于数据流的移动数据挖掘研究综述*

无线网络和移动设备的应用为我们带来巨大的便利,可以随时随地获得信息,同时它也引发了对高效数据流分析工具的需求。移动数据挖掘是在普适环境下的数据流挖掘,从连续的数据流中发现知识。讨论了数据流、数据流管理系统和移动数据挖掘以及它们的特点,介绍了该领域的一些研究成果,突出了面临的挑战和一些相应的策略,并对这些策略进行了比较,最后展望了这一领域的研究前景。     

基于PB数据窗口的数据备份与恢复策略

本文在阐述了基于PB的数据备份与恢复方法基础上，详细介绍了基于数据窗口的数据备份与恢复的基本原理和实现方法，同时分析如何对该方法进行进一步优化，最后对该方法应用及前景进行描述。     

生物数据网格的应用研究

网格研究的背景和生物科学发展所提出对数据处理的要求出发，引入了生物数据网格．介绍了目前一些用于生物数据管理及计算的网格系统，提出了一个生物数据网格框架，描述了在调控基因的生物数据网格上进行数据挖掘的过程和相应的机制。     

基于粗糙集的基因表达数据分类研究

从微阵列得到的基因表达数据可以用于癌症的分类。该文介绍了基于粗糙集的基因表达数据分类方法，并在急性白血病的数据集上验证了该方法的有效性。实验表明，该方法能取得较高的预测准确率，可以成为生物信息学研究领域的有力工具。     

数据挖掘技术研究

数据挖掘是一种新兴的数据处理技术,在生活的各个领域发挥着日益重要的作用。论文详细阐述了数据挖掘的各种技术方法,深入分析了数据挖掘技术的应用领域,并对数据挖掘应用中的主要问题进行了探讨。     

数据仓库技术在电信行业中的应用

本文概述了目前电信管理的现状,讨论了数据仓库体系结构及相关问题,提出了基于SYBASE数据库的通用数据抽取程序,探讨了其在电信行业中的应用。