分布式海量矢量地理数据共享研究

地理空间数据的应用应用范围迅速扩大,实现空间数据的共享,充分有效利用已有数据,可节约用户成本,栅格数据的共享方式在多媒体领域有较多研究,而矢量数据研究得不多,本文讨论了分布式海量矢量地理空间数据共享的几个问题－海量空间数据的管理,传输,可视化及空间数据共享的安全问题。     

便携式数据采集器的数据传输控制系统设计

当前数据采集器在数据传输过程中,存在数据传输效率低,数据安全性得不到保障等问题。现在针对这些问题,设计了一种便携式数据采集器的数据传输控制系统。数据传输控制系统通过FPGA转换器接口对数据进行采集,将采集到的数据除杂并存储在DDR2 SDRAM中,然后将这些数据应有核心处理的FIFO芯片进行处理,保障数据传输过程中的数据传输效率。对系统的数据传输效率与丢包率进行实验,实验结果表明,便携式数据采集器的数据传输控制系统有效减小数据丢包率,对于数据攻击的控制准确度达到98.92%。     

可视化的数据标准化转换系统的设计与研究

数据采集的源数据来源于不同领域建立的不同的信息管理系统,数据的格式多样化,对于统一数据管理带来诸多不便,为统一化、规范化数据采集得到的数据,本文研究和设计了一个可视化的数据标准化转换系统.该系统采用可自定义的数据规则,通过建立数据源与元数据模型的逻辑映射,将非标准的源数据转换成标准的目标数据.其数据标准化转换系统具有通用性、快速性的特点,可应用于其它领域的数据采集工作.     

黑河综合遥感联合试验地面观测数据质量控制与评价

详细介绍了“黑河综合遥感联合试验”(Watershed Allied Telemetry Experimental Research,WATER)的地面观测数据(气象水文和涡动相关数据除外)的数据质量控制和处理过程。从观测规范的制定和执行、数据处理和规范化、数据文件命名规范化、数据质量评价等方面进行详细阐述。不仅为数据用户提供数据质量参考信息,也为以后类似试验的开展提供一些数据质量控制和处理的借鉴。通过数据评价可以看出WATER试验的地面观测数据总体上具有较高的数据质量,这些质量控制措施为最后获取高质量的试验数据提供了重要的保证。利用这一套多尺度、标准化的高质量综合数据集开展大量数据分析和应用研究是下一步工作的重点。     

旋转部件数据采集的无线数据传输技术研究

研究了旋转部件数据采集中的无线数据传输技术,包括无线电数据传输和光电数据传输。介绍了无线电遥测的原理、技术特点及应用;研究了红外数据传输技术在旋转部件数据传输中的应用;介绍了光纤旋转接头的研究状况,研究了激光器件的直接数据传输,验证了24Mbps的数据传输。最后,对无线电数据传输和光电数据传输进行了比较。     

基于云数据中心的多源异构数据治理技术研究

目前常规的多源异构数据治理方法主要通过对数据属性进行判断,从而实现分区域数据清洗,由于缺乏对非线性数据的分析,导致治理性能不佳;对此,提出基于云数据中心的多源异构数据治理技术;采用关系型数据库中的ETL功能对数据进行清洗,对数据转换模式以及数据清洗规则进行定义;引入互信息系数对数据相关程度进行判定,并进行非线性数据相关性分析;以云数据中心作为载体,对多源异构数据治理体系进行构建;在实验中,对提出的数据治理技术进行了治理性能的检验;最终的实验结果表明,提出的数据治理技术具备较高的查准率,对云数据中心多源异构数据具备较为理想的数据治理效果。     

构建审计分析数据仓库中的数据清理及转换技术

数据仓库是进行多角度数据分析的基础,在审计中可借助数据仓库技术分析数据,用以辅助发现问题和锁定审计重点。数据仓库中的数据结构是面向数据分析设计的,在构建数据仓库时需要对原始操作型的数据进行适当的清理和转换,使其更适合分析的需求。本文介绍了构建审计分析数据仓库中常见的数据清理和数据转换问题以及相应的解决技术。     

元数据驱动的分布式数据资源管理技术

采用元数据驱动方法,研究分布式数据资源管理,实现数据的统一组织,提供高效数据共享服务。在对数据进行分类分析基础上,基于元数据定义和管理,开展分布式数据管理的数据检索和缓存。突破分布式数据资源管理关键技术瓶颈,构建分布式资源全局目录,实现目录服务,进行高效传输的数据缓存管理,减少处理、采集、分发的延时。提供基于多副本的动态自适应数据调度方案,解决分布式数据资源管理的数据选择和动态变化问题。     

基于Internet的直接网络数据服务的基本概念与技术框架

直接网络数据服务为计算程序提供了一种通过Internet直接访问远程数据的手段 ,它在通讯和计算技术上分别以SOAP协议和Java跨平台计算能力为基础。本文分析了Internet应用技术的现状和发展 ,结合当前数据交换技术和化工数据应用的特点 ,提出了一种新的化工数据应用方法 ,即建立基于Internet的直接网络数据服务的计算模型。实现此计算体系涉及多方面的数据协议和计算技术 ,其中最重要的思想是通过构建一个易用的数据规范框架 ,以简化整个体系的用户使用界面 (包括编程接口和访问语法 )。该框架定义了数据的描述规范、存储规范、查询规范、传输规范和使用规范。该计算模型主要包括 3个部分 ,即服务器端的数据库模型、基于SOAP的数据传输模型和客户端的应用编程接口。该系统以远程程序为数据消费对象 ,最终将实现对数据库透明的访问能力和可扩充的分布服务能力。在此基础上 ,可以进一步发展为分布式计算服务体系     

反应堆关键设备状态数据标准化研究

对应用于国内外核电站故障诊断产品所采集的反应堆关键设备状态数据进行了数据标准化研究,梳理并分析了现有反应堆关键设备状态数据资源现状；针对现状中存在的问题提出了数据标准化的思路与方法；采用了标准化规范制定和标准化约束等数据标准化方法,从数据文件格式、数据文件命名方法、文件编码方式、数据类型、数据解析规则、数据存储与读取方法等方面进行了数据标准化的研究与实践,创新性地提出了“八字节法”标准化数据存储与读取方法；经实际测试及应用,实现了反应堆关键设备状态数据的标准化,提高了数据的规范性与统一性。     

Techniques and Experience in Mining Remotely Sensed Satellite Data

The paper presents a set of requirements for a datamining system for mining remotely sensed satellitedata based on a number of taxonomies that characterizemining of such data. The first of these taxonomies isbased on knowledge of the mining objectives and miningalgorithms. The second is based on variousrelationships that are found in data, including thosebetween different types of data, different spatiallocations of the data and different times of datacapture. The paper then describes the ADaM data miningsystem, which was developed to address theserequirements. The paper describes several data miningtechniques that have been applied to remotely senseddata. The first type is target independent mining,which mines data for transients and trends, with minedresults representing a highly concentrated form of theoriginal data. The second type is the mining ofvectors (representing multi-spectral or fused data)for association rules representing relationshipsbetween the various types of data represented by theelements of the vector. The third type mines data forassociation rules that characterize the texture of thedata.     

在DSS／EIS＆OLAP环境下构造FoodMark数据仓库的设计与实现

1 引言 DSS的全称是Decision Supply System,即决策支持系统,是分析数据环境的一种称呼,也是数据仓库存在的环境;EIS是Executive Information Processing的缩写,就是指高级管理员信息系统,说得更准确一点,EIS实现的功能是DSS中的一类功能子集;而OLPA的全称是Online AnalyticalProcessing,即联机分析处理,在Microsoft SQL2000中称为Analysis Services。FoodMark是Microsoft Corporation为了展示其Analysis Services而提供的一个数据库例库。本文实     

Performance Abstract Data Types as a Tool in Software Performance Analysis and Design

The concept of abstract data types is extended to associate performance information with each abstract data type representation. The resulting performance abstract data type contains a functional part which describes the functional properties of the data type and a performance part which describes the performance characteristics of the data type. The performance part depends upon 1) the algorithms and data representation selected to represent the data type, 2) the particular machine on which the software realization of the data type is realized, and 3) the statistical properties of the actual data represented by the data objects involved in the data type. Methods for determining the necessary information to specify the performance part of the representation are discussed.     

BDMasker: Dynamic Data Protection System for Open Big Data Environment

Big data has become a national basic strategic resource, and the opening and sharing of data is the core of China''s big data strategy. Cloud native technology and lake-house architecture are reconstructing the big data infrastructure and promoting data sharing and value dissemination. The development of the big data industry and technology requires stronger data security and data sharing capabilities. However, data security in an open environment has become a bottleneck, which restricts the development and utilization of big data technology. The issues of data security and privacy protection have become increasingly prominent both in the open source big data ecosystem and the commercial big data system. Dynamic data protection system under the open big data environment is now facing challenges in regards such as data availability, processing efficiency, and system scalability. This paper proposes the dynamic data protection system BDMasker for the open big data environment. Through a precise query analysis and query rewriting technology based on the query dependency model, it can accurately perceive but does not change the original business request, which indicates that the whole process of dynamic masking has zero impact on the business. Furthermore, its multi-engine-oriented unified security strategy framework realizes the vertical expansion of dynamic data protection capabilities and the horizontal expansion among multiple computing engines. The distributed computing capability of the big data execution engine can be used to improve the data protection processing performance of the system. The experimental results show that the precise SQL analysis and rewriting technology proposed by BDMasker is effective. The system has good scalability and performance, and the overall performance fluctuates within 3% in the TPC-DS and YCSB benchmark tests.     

计算机软件数据整合虚拟数据库体系研究

数据整合是实现信息资源共享的有效途径之一,能为数据挖掘、知识发现以及应用开发提供透明的数据访问服务.将虚拟数据库的技术应用到数据整合系统中,实现了异构数据源的集中管理和多数据源间的数据共享.系统通过分类包装数据源,统一数据源访问接口,实现了数据源的"即插即用".根据领域划分知识,建立主题知识元数据模型解决了语义冲突和结构冲突.在"山西省科技基础条件平台建设"项目的示范工程中验证了系统的合理性,实现了专家信息资源共享,使资源得到有效利用与合理分布.     

浅析Web环境下基于XML的数据共享

Web环境下的各种数据资源的共享,已经成为当前计算机领域中一个重要的研究方向.用XML作为数据交换的中介,为数据资源共享的实现带来了极大的灵活性.我们可以屏蔽掉后台的多种数据格式,用统一的XML格式呈现给其他使用者,接收数据方根据XML数据的DTD(文档类型定义)可以对数据进行任意的处理,如分解出其中需要处理的数据或是以不同的样式来显示.本文简要介绍了XML技术的特点,同时分析了Web环境下使用XML作为数据集成手段的可行性,并提供了实现数据共享的简单方法.     

飞行数据综合记录与分析系统的设计与实现

随着数字化航电系统的发展,飞行数据记录系统越来越向着综合化数据记录的方向发展,根据数字化飞行数据记录器对综合数据尤其是音视频数据采集的需要,设计和实现了飞行数据综合纪录与分析系统,该系统不仅可进行的飞行数据特别是音视频数据的采集和存储,还对数据量庞大的音视频数据进行基于MPEG4的压缩.系统集中管理分布式数据,存储并能提供数据回放分析功能.分析这些音视频数据,对于更准确的评估飞行训练水平具有十分重要的现实意义.     

数据融合技术在环境监测领域的应用

在省级环境监测系统中随着时间的累积有大量数据,并且监测数据种类繁多,不同环境指标的描述信息也有很大差别,同时监测数据又是每分每秒不断增加的,这样就增加了数据的复杂性.而数据融合技术则是大数据技术中处理数据的一种方式,可以将来自多传感器的数据通过数据转换、数据相关和融合计算过程,对数据处理、分析并进行态势分析.同时利用到了大数据ETL技术、MapReduce处理,使用D-S证据推理算法进行融合推理,这样就可以增加数据的相关性,降低数据的规模.     

基于Protobuf的数据传输协议

针对XML、JSON等数据结构在数据通信方面的不足, 利用Protobuf轻便高效的数据结构和二进制数据流传输方式的优点, 设计了一种网关与数据平台通信的数据传输协议. 该协议将数据以Protobuf格式封装到传输报文中, 通过定义应用层协议和设计数据通信确认机制建立数据传输通道, 并引入数据的序列化方法实现报文的传输. 测试结果表明, 该数据传输协议实现了网关和应用数据平台之间数据的高效和可靠传输.     

面向电力大数据的异构数据混合采集系统

随着智能电网的快速发展,电力系统数据量的增长也非常迅速,电力大数据急待开展深入研究.电力数据产生的速率跨度大,数据源众多且交互方式繁杂,数据种类繁多等特点,已有大数据采集方式难以适应多源异构数据的混合采集应用场景.本文针对电力大数据提出了新的解决方案,通过混合数据采集模型和采集集群实现了对异构数据源采集任务的混合调度和管理;通过数据置信度标签技术,在保留原始数据的同时,标示数据的质量,为后续大数据分析应用提供了便利;通过Sqoop、Kafka、文件传输等方式将采集与处理后的数据提交给大数据平台存储.系统已经在用户现场部署并投入使用,运行稳定,效果良好.