分布式海量矢量地理数据共享研究

地理空间数据的应用应用范围迅速扩大,实现空间数据的共享,充分有效利用已有数据,可节约用户成本,栅格数据的共享方式在多媒体领域有较多研究,而矢量数据研究得不多,本文讨论了分布式海量矢量地理空间数据共享的几个问题－海量空间数据的管理,传输,可视化及空间数据共享的安全问题。     

基于云数据中心的多源异构数据治理技术研究

目前常规的多源异构数据治理方法主要通过对数据属性进行判断,从而实现分区域数据清洗,由于缺乏对非线性数据的分析,导致治理性能不佳;对此,提出基于云数据中心的多源异构数据治理技术;采用关系型数据库中的ETL功能对数据进行清洗,对数据转换模式以及数据清洗规则进行定义;引入互信息系数对数据相关程度进行判定,并进行非线性数据相关性分析;以云数据中心作为载体,对多源异构数据治理体系进行构建;在实验中,对提出的数据治理技术进行了治理性能的检验;最终的实验结果表明,提出的数据治理技术具备较高的查准率,对云数据中心多源异构数据具备较为理想的数据治理效果。     

面向生产管控的多源数据处理技术

为了解决流程型生产车间数据种类多、数据质量参差不齐影响生产管控的问题, 提出了面向多源数据的数据分类处理技术, 采用数据分类与滑动窗口相结合的方式进行数据处理. 首先, 根据生产数据特点建立数据模型, 然后进行数据分类. 主要分为状态数据、开关数据、逻辑数据 3类, 不同类型的数据使用不同处理算法; 同时采用滑动窗口解决不同任务对数据实时性和完整性要求不同的难点. 最后, 该数据分类处理模型在实际生产环境投入使用, 验证了对生产数据处理的准确性和实时性. 结果表明, 将处理后的数据应用于生产管控, 管控误差率降低至不足1%.     

基于数据元的数据模型语义映射技术研究

各企业在进行数据共享之前,首要考虑的是数据模型的数据映射关系,然而数据模型在不断的更替与升级,给数据集成带来了很大困难。文中设计了一种对数据源结构进行统一描述的数据字典元模型,利用数据元来规范数据项,将编辑距离算法思想应用其中,实现数据项与数据元字典中数据元的相似度匹配。应用语义树的表示方法来描述数据元结构,利用语义相似度算法进行数据元间的相似性、一致性检查,寻找数据元间的关联关系,间接地定位数据项间的语义关系,为数据映射奠定良好基础。以中石化标准数据元规范油田企业搜索引擎数据项,确保研究的实用价值。     

政府智能系统体系结构

提出了政府智能的概念,政府智能是将政府拥有的数据转化为知识,帮助政府决策者做出明智决策的工具.从技术层面而言,是数据仓库、知识系统、OLAP和数据挖掘等技术的综合运用.政府智能系统从体系上可划分为4个层面,即数据管理、数据分析、知识发现和知识融合.从功能实现上,通过元数据的统一管理,也可分为4个层次即数据获取、数据存储、数据展现和数据源.可以运用J2EE的MVC等技术建立粗粒度的数据仓库和数据集市、知识系统库、商业智能算法集,构建出政府智能平台.     

网络测量中的性能数据空间分析

如何从巨量性能数据提取出特征数据是网络测量中的一项非常困难的工作。首先定义了性能数据的特征，按指标类型、获取方式或流动特性将其划分成不同的数据集，并建立了性能数据空间。通过对数据的深入分析，将复杂的性能数据分析过程分为完备化和抽象化两个阶段，提高了数据分析的效率。最后根据性能数据空间和数据集的分析，设计和实施了一个分布式数据分析体系结构。     

利用遥感技术集成与更新1∶50 000基础地理空间数据时的数据质量控制与评价——以"江苏省1∶50 000空间数据集成与更新"为例

空间数据质量的优劣将直接影响地理信息系统的运行效率、空间分析结果的正确性与合理性。基于遥感技术的大区域空间数据更新与集成,具有多源数据的综合使用、高度综合、繁难的数据获取过程等特点。基于遥感技术的大区域空间数据集成与更新的实用质量控制与评价方法主要有两个方面的内容：一是对数据质量进行总体控制,主要对总体设计方案、数据源以及数据生产、加工处理进行质量控制。总体设计方案的控制评价因用户需求分析及联合设计、数据源、制图综合、数据生产时间、引用标准、数学基础、要素分类编码、数据格式及技术路线与技术性试验等。二是从空间精度、属性精度以及时间精度等三个方面,根据数据生产流程的不同阶段予以详细评价。对中采用的主要基于遥感技术的大区域空间数据集成与更新的数据质量存在的缺陷做出了讨论。     

An integrated data preparation scheme for neural network data analysis

Data preparation is an important and critical step in neural network modeling for complex data analysis and it has a huge impact on the success of a wide variety of complex data analysis tasks, such as data mining and knowledge discovery. Although data preparation in neural network data analysis is important, some existing literature about the neural network data preparation are scattered, and there is no systematic study about data preparation for neural network data analysis. In this study, we first propose an integrated data preparation scheme as a systematic study for neural network data analysis. In the integrated scheme, a survey of data preparation, focusing on problems with the data and corresponding processing techniques, is then provided. Meantime, some intelligent data preparation solution to some important issues and dilemmas with the integrated scheme are discussed in detail. Subsequently, a cost-benefit analysis framework for this integrated scheme is presented to analyze the effect of data preparation on complex data analysis. Finally, a typical example of complex data analysis from the financial domain is provided in order to show the application of data preparation techniques and to demonstrate the impact of data preparation on complex data analysis.     

一个基于XML数据仓库系统的设计与实现

黄土高原数据仓库系统以分布式数据仓库为核心,包含多个异质数据源。系统采用中间件技术不仅提供多层次资源查询服务,并且还使用数据挖掘技术和信息检索技术对资源数据进行深加工,能够主动地为用户提供黄土高原生态环境咨询、评测、预测与决策支持服务。论文重点介绍了一种基于XML的统一模式查询语言———XUSQL,用以解决多数据源中多模式数据融合问题。XUSQL使得在数据仓库中的查询与数据源模式无关,把数据源和数据仓库隔离开,从而有利于构造分布式数据仓库,便于异质数据源之间数据融合以及数据源本身的结构调整。     

一种评估数据仓库设计质量的方法

数据仓库（Data Warehouse,DW）是支持决策管理过程的、面向主题的、集成的、随时间而变的、持久的数据集合,它集成了源数据库（Database,DB）和其他平面文件系统的相关数据,以支持决策管理活动。数据仓库结构是一个多维模型,主要分星形、雪花星和星座形三种。有别于传统关系型数据库的设计,数据库仓库的设计往往以数据作为驱动,其设计的好坏,直接影响了数据仓库系统的建设与应用。文中提出了一种评估数据仓库设计质量的定量分析方法,主要是量化了和数据仓库有血缘关系的数据源的相关质量指标,就是通过分析所选取的表和属性两方面的数据质量（Data Quality,DQ）指标,最终联合这些指标以计算数据仓库设计质量的评估值。其中,分析数据源相关质量指标的过程,也可以支持数据库仓库的设计。     

数据融合技术在环境监测领域的应用

在省级环境监测系统中随着时间的累积有大量数据,并且监测数据种类繁多,不同环境指标的描述信息也有很大差别,同时监测数据又是每分每秒不断增加的,这样就增加了数据的复杂性.而数据融合技术则是大数据技术中处理数据的一种方式,可以将来自多传感器的数据通过数据转换、数据相关和融合计算过程,对数据处理、分析并进行态势分析.同时利用到了大数据ETL技术、MapReduce处理,使用D-S证据推理算法进行融合推理,这样就可以增加数据的相关性,降低数据的规模.     

Web数据挖掘中数据集成问题的研究

在分析Web环境下数据源特点的基础上,对Web数据挖掘中的数据集成问题进行了深入的研究,给出了一个基于XML技术的集成方案.该方案采用Web数据存取方式将不同数据源集成起来,为Web数据挖掘提供了统一有效的数据集,解决了Web异构数据源集成的难题.通过一个具体实例介绍了Web数据集成的过程.     

基于改进全卷积神经网络的医疗数据表面重建算法

为了实现对医疗数据的快速检测和分类识别,需要对医疗数据进行表面重建设计,首先,提出一种基于改进全卷积神经网络的医疗数据表面重建算法.采用无线射频识别技术进行医疗数据的大数据采样,对RFID采集的医疗数据进行信息融合处理,采用多元回归分析方法提取医疗数据的相关性统计特征量,然后,针对医疗数据中的冗余特征采用匹配滤波检测器进行冗余滤波处理,对提纯后的医疗数据采用相空间重构技术实现医疗数据重构,最后,对重构数据采用改进全卷积神经网络分类器进行分类识别,实现医疗数据的表面重建和自动识别.仿真结果表明,所提方法的医疗数据冗余特征处理效果较好,数据分类精度可高达90%以上,且医疗数据重建误差小,耗时少.     

On the equivalence of data base schemas—a semantic approach to data translation

A notion of the equivalence of data is the basis for deriving a correct translation of data bases. The equivalence of data base states and data base schemas is defined. Since this definition can only be given with respect to the semantics of data, a short discussion of data base semantics is given. It is shown, how a semantic data model and data definition language (LDDL) can be used to construct a correct specification of a translation function. Finally, an example of the translation of a CODASYL data base schema to a relational data base schema is given.     

基于动态压缩的无线传感网数据重构模型研究

由于动态数据的节点分布处于动态变化的状态,极具不稳定性,无法为无线传感网络实时提供可靠信息,需要进行数据重构处理,提升无线传感网数据稳定性,提出基于动态数据压缩的无线传感网数据重构模型.通过构建多维节点组网模型,分析节点间位置关系,并得到其多模状态重组结果,利用重组结果融合并调度无线传感数据.在融合结果中提取无线传感网...     

多线程在数据采集处理中的应用

阐述了多线程技术在数据采集处理中的应用过程.系统上位机在从现场通过串口通信拿到监测仪采集的数据后,在进行界面数据显示之前,需要对得到的数据进行各种折算,得到最终数据结果后分两路,一路进行实时显示,一路存入数据库等待随时调用查询.为了使数据折算和数据存储不影响数据的实时显示,对数据折算和数据存储启用了独立线程,保证了系统的实时性.     

无线传感器网络中的分频数据分发协议

从数据源到数据接收者的数据分发是无线传感器网络的重要功能．本文提出了分频数据分发协议，该协议通过多棵分发树对数据接收者进行数据分发，从而最大限度地重用数据传输路径．实验表明，在数据接收者较多的情况下，分频数据分发协议比现有最好的数据分发协议SEAD的加权路径长度要短15％左右，从而有效节省了分发数据的能量消耗，延长了系统生命期．     

触发器在数据处理过程中的应用研究

在数据处理过程中,频繁的数据操作莫过于数据的插入、删除和修改。合理的触发器设计主要用于保护表中的数据,并通过防止非授权或不一致的修改来确保数据的完整性。本文结合具体的开发实例,采用数据流程图的方式给出了与此相关的触发器的设计。     

元数据驱动的分布式数据资源管理技术

采用元数据驱动方法,研究分布式数据资源管理,实现数据的统一组织,提供高效数据共享服务。在对数据进行分类分析基础上,基于元数据定义和管理,开展分布式数据管理的数据检索和缓存。突破分布式数据资源管理关键技术瓶颈,构建分布式资源全局目录,实现目录服务,进行高效传输的数据缓存管理,减少处理、采集、分发的延时。提供基于多副本的动态自适应数据调度方案,解决分布式数据资源管理的数据选择和动态变化问题。     

基于核函数-主成分维数约减的离群点检测

为了提高高维数据集合离群数据挖掘效率,该文分析传统的离群数据挖掘算法,提出一种离群点检测算法。该算法将非线性问题转化为高维特征空间中的线性问题,利用核函数-主成分进行维数约减,逐个扫描数据对象的投影分量,判断数据点是否为离群点,适用于线性可分数据集的离群点、线性不可分数据集的离群点的检测。实验表明了该算法的优越性。