平行数据:从大数据到数据智能*

为了解决实际问题,大数据分析处理系统需要获取数据,然而实际场景中收集到的实际数据通常不完备.另外,大多数问题的解决方案通常是由问题引导或者仅仅进行数据分析,运行参数调整和设定带有较大的盲目性,难以达到应用的智能性.为此,文中提出平行数据的概念和框架,根据实际数据经计算实验产生真正的虚拟大数据,结合默顿定律,以期待的解决方案与问题进行广义对偶,引导大数据聚焦到实际问题.实际数据与虚拟数据动态互动,平行演化,形成一个虚实相生、数据动态变化的过程,最终使数据具备智能,进而解决未知的问题.平行数据不但是一种数据表示形式,更是一种数据演化机制与方式,其特色是虚实互动,所有数据的动力学轨迹构成了数据动力学系统.平行数据为数据处理、表示、挖掘和应用提供了一个新的范式.     

中国西部环境与生态科学数据中心的数据服务理念与成效

数据服务是科学数据共享的实现方式,完善的数据服务对于促进数据共享具有重要意义。中国西部环境与生态科学数据中心从2006年成立到现在稳定运行,数据服务理念经历了从简单到较为完善的转变过程,认识到保护数据知识产权、数据质量控制、持续扩充数据资源和主动服务的重要性,并针对这些问题提出了数据共享审核、数据引用、数据评审和数据汇交等可行的服务手段,提高了数据中心的服务质量,有力推动了科学数据的共享氛围。     

飞参记录数据计算机处理的有关问题研究

飞参记录仪因电子系统的工作特点,会产生一些数据失真、丢失等非正常数据情况.用计算机进行飞参数据批量自动处理时,必须要准确判断、去伪存真,才能保证飞参数据的真实可靠.通过分析大量飞参数据,总结出用计算机编程进行非真实数据处理的一些有效的判断条件及处理方法,探讨了对不同采样率参数进行数据补充的处理方法.以实际飞行数据为基础,比较了不同采样率载荷数据对疲劳损伤计算结果的影响,为飞参记录仪的设计、改进及地面处理提供依据.研究表明,疲劳损伤计算结果随载荷采样率增大而增大,为保证疲劳损伤计算结果的真实可靠,法向过载采样率应该大于4.     

黑河综合遥感联合试验地面观测数据质量控制与评价

详细介绍了“黑河综合遥感联合试验”(Watershed Allied Telemetry Experimental Research,WATER)的地面观测数据(气象水文和涡动相关数据除外)的数据质量控制和处理过程。从观测规范的制定和执行、数据处理和规范化、数据文件命名规范化、数据质量评价等方面进行详细阐述。不仅为数据用户提供数据质量参考信息,也为以后类似试验的开展提供一些数据质量控制和处理的借鉴。通过数据评价可以看出WATER试验的地面观测数据总体上具有较高的数据质量,这些质量控制措施为最后获取高质量的试验数据提供了重要的保证。利用这一套多尺度、标准化的高质量综合数据集开展大量数据分析和应用研究是下一步工作的重点。     

多源空间数据的共享与集成模式研究

在研究现有多格式空间数据共享与集成模式的基础上,借鉴通用数据访问(UniversalDataAccess,UDA)技术为传统多源数据提供通用数据访问的思路,作者提出了基于通用空间数据引擎(UniversalSpatialDataEngine,USDE)的空间数据共享与集成模式。通用空间数据引擎由数据引擎管理器及相应的一系列数据引擎构成,其中数据引擎管理器负责数据引擎的智能调用,并为客户GIS软件提供统一的数据访问接口;各数据引擎负责对具体数据访问接口的实现。利用COM技术,作者设计出了基于目前几种流行的GIS数据格式的USDE,并成功地实现了对几种不同格式空间数据的集成应用。     

浅析Web环境下基于XML的数据共享

Web环境下的各种数据资源的共享,已经成为当前计算机领域中一个重要的研究方向.用XML作为数据交换的中介,为数据资源共享的实现带来了极大的灵活性.我们可以屏蔽掉后台的多种数据格式,用统一的XML格式呈现给其他使用者,接收数据方根据XML数据的DTD(文档类型定义)可以对数据进行任意的处理,如分解出其中需要处理的数据或是以不同的样式来显示.本文简要介绍了XML技术的特点,同时分析了Web环境下使用XML作为数据集成手段的可行性,并提供了实现数据共享的简单方法.     

一种非清洁数据库的数据模型

非清洁数据为数据管理带来了新的挑战,当前,处理非清洁的数据清洗方法在实际应用中存在一定的局限性,因此需要在一定程度上容忍非清洁数据的存在.这样,研究管理包含非清洁数据的数据库管理技术就成为了重要的问题,其核心在于如何从包含非清洁数据的数据库中得到满足应用所要求的清洁度的查询结果.从非清洁数据处理角度出发,提出了一种非清洁数据库的数据模型.该模型提出了非清洁数据的表示方法,支持非清洁数据的数据操作,并且支持数据操作清洁度的计算,同时还讨论了查询表达式的等价转换规则和模型的初步实现.     

Toward databases mining: Pre-processing collected data

This paper presents a new means of selecting quality data for mining multiple data sources. Traditional data-mining strategies obtain necessary data from internal and external data sources and pool all the data into a huge homogeneous dataset for discovery. In contrast, our data-mining strategy identifies quality data from (internal and external) data sources for a mining task. A framework is advocated for generating quality data. Experimental results demonstrate that application of this new data collecting technique can not only identify quality data, but can also efficiently reduce the amount of data that must be considered during mining.     

基于政务数据仓库的数据集成及关键技术

政府机关网络中的数据集成是进行数据挖掘的准备阶段，这一阶段需要以行政决策为依据来抽取和集成数据并导入数据仓库。文章根据政府机关网络中已有数据的特点和数据挖掘过程中对数据的要求，详细讨论了构建数据集成的对象模型的方法、运用元数据库来实现致务数据仓库的数据集成的途径、使用对象模型来实施异构数据集成的关键技术。     

试飞数据平台数据架构设计与应用

试飞数据是民机飞行试验的重要产物,具有测量参数数量大,数据体量大,飞行试验数据与试飞任务信息关联性强等特征,支撑飞机型号取证与设计优化等任务。试飞数据平台数据架构对多源异构数据集成接入、多类形态数据存储管理、多种层次数据处理分析等技术进行了研究,采用湖仓一体的关键技术和方法打造试飞数据全集。试飞数据接入采用流批一体的数据处理技术,融合Spark和Flink主流数据处理引擎,具备试飞数据快速入库能力。提出按秒聚合方法,具备PB级多维度试飞数据压缩存储功能,存储性能提升近10倍；采用以秒为索引条件支持快速检索,强化数据湖查询能力。研究数据仓库技术,设计试飞数据多层数据模型,具备多维信息精细查询,多层数据灵活钻取,多功能自定义函数集成等功能,并成功应用在某型国产民机的飞行试验数据管理中,服务于试飞数据用户,提高了试飞数据管理效率与试飞数据应用价值。     

信息系统模拟数据生成研究综述

信息系统模拟数据生成是提供信息系统试验、试用和演练中所需数据的重要途径。通过与软件测试数据生成、样本数据扩充、虚拟现实相关研究领域比较，讨论了信息系统模拟数据生成的研究定位;归纳了信息系统模拟数据生成的研究内容;提出了具有数据层、中间层和生成层三层结构的典型信息系统模拟数据生成系统结构框架;最后对信息系统模拟数据生成的研究方向进行了展望。     

基于Web的科学数据可视化在数据共享中的应用

从数据可视化处理的角度出发,对黑河流域e-Science生态-水文数据共享平台中的所有数据按其各自特点进行归类,大致分为矢量数据、栅格数据、自动气象站观测数据(AWS)、通量数据(FLUX)、普通文档数据和图片数据6种类型;然后通过比较研究,最终选择开源的WebGIS地图发布工具MapServer、基于Flash的Web图表曲线工具Amcharts、开源文档工具OpenOffice/unoconv以及数据格式转换工具SWFTools等制作对应的可视化处理模块,实现科学数据共享平台中多种类型单体数据的Web可视化和数据集的Web可视化,并完成一个实际应用系统。     

一种结构测试数据自动生成的框架

针对结构测试中控制流和数据流覆盖测试数据的生成都可以归结为面向路径的测试数据生成的问题,提出了一个通用的基于控制流和数据流的结构测试数据自动生成的框架。该框架根据控制流和数据流测试中所采用的覆盖标准优化选取测试路径,并以改进后的迭代松弛法为核心,对所选取的路径生成测试数据。以基于路径覆盖、分支覆盖和数据流覆盖测试数据自动生成这3种算法为核心,开发了一个测试数据自动生成的框架原型。实验结果表明该框架是可行的。     

大数据环境下的电子数据审计:机遇、挑战与方法

电子数据审计的研究与应用是近年来审计领域的热点问题。大数据时代的到来给电子数据审计带来了机遇与挑战。首先阐述了研究大数据环境下电子数据审计的重要性;然后分析了电子数据审计的内涵及原理;在此基础上,重点研究了大数据环境下电子数据审计面临的机遇与挑战,并结合大数据的特点以及目前已有的大数据分析技术与工具,探讨了大数据环境下开展电子数据审计的方法;最后给出了大数据环境下开展电子数据审计的相关建议。研究结果为今后大数据环境下开展电子数据审计提供了理论基础。     

面向电力大数据的异构数据混合采集系统

随着智能电网的快速发展,电力系统数据量的增长也非常迅速,电力大数据急待开展深入研究.电力数据产生的速率跨度大,数据源众多且交互方式繁杂,数据种类繁多等特点,已有大数据采集方式难以适应多源异构数据的混合采集应用场景.本文针对电力大数据提出了新的解决方案,通过混合数据采集模型和采集集群实现了对异构数据源采集任务的混合调度和管理;通过数据置信度标签技术,在保留原始数据的同时,标示数据的质量,为后续大数据分析应用提供了便利;通过Sqoop、Kafka、文件传输等方式将采集与处理后的数据提交给大数据平台存储.系统已经在用户现场部署并投入使用,运行稳定,效果良好.     

元数据驱动的分布式数据资源管理技术

采用元数据驱动方法,研究分布式数据资源管理,实现数据的统一组织,提供高效数据共享服务。在对数据进行分类分析基础上,基于元数据定义和管理,开展分布式数据管理的数据检索和缓存。突破分布式数据资源管理关键技术瓶颈,构建分布式资源全局目录,实现目录服务,进行高效传输的数据缓存管理,减少处理、采集、分发的延时。提供基于多副本的动态自适应数据调度方案,解决分布式数据资源管理的数据选择和动态变化问题。     

An integrated data preparation scheme for neural network data analysis

Data preparation is an important and critical step in neural network modeling for complex data analysis and it has a huge impact on the success of a wide variety of complex data analysis tasks, such as data mining and knowledge discovery. Although data preparation in neural network data analysis is important, some existing literature about the neural network data preparation are scattered, and there is no systematic study about data preparation for neural network data analysis. In this study, we first propose an integrated data preparation scheme as a systematic study for neural network data analysis. In the integrated scheme, a survey of data preparation, focusing on problems with the data and corresponding processing techniques, is then provided. Meantime, some intelligent data preparation solution to some important issues and dilemmas with the integrated scheme are discussed in detail. Subsequently, a cost-benefit analysis framework for this integrated scheme is presented to analyze the effect of data preparation on complex data analysis. Finally, a typical example of complex data analysis from the financial domain is provided in order to show the application of data preparation techniques and to demonstrate the impact of data preparation on complex data analysis.     

可视化的数据标准化转换系统的设计与研究

数据采集的源数据来源于不同领域建立的不同的信息管理系统,数据的格式多样化,对于统一数据管理带来诸多不便,为统一化、规范化数据采集得到的数据,本文研究和设计了一个可视化的数据标准化转换系统.该系统采用可自定义的数据规则,通过建立数据源与元数据模型的逻辑映射,将非标准的源数据转换成标准的目标数据.其数据标准化转换系统具有通用性、快速性的特点,可应用于其它领域的数据采集工作.     

复杂异构数据的表征学习综述

随着智能时代和大数据时代的到来,各种复杂异构数据不断涌现,成为数据驱动的人工智能方法、机器学习模型的基础。复杂异构数据的表征直接关系着后续模型的学习性能,因此如何有效地表征复杂异构数据成为机器学习的一个重要研究领域。文中首先介绍了数据表征的多种类型,并提出了现有数据表征方法面临的挑战;其次,根据数据类型将数据划分成单一类型数据和复合类型数据,针对单一类型数据,分别介绍了4种典型数据的表征学习发展现状和代表算法,包含离散数据、网络数据、文本数据和图像数据;然后,详细介绍了4种由多个单一数据或数据源复合而成的复杂数据,包含了离散特征与连续特征混合的结构化数据、属性数据与复杂网络复合的属性网络数据、来自不同领域的跨领域数据和由多种数据类型复合的多模态数据,分别介绍了基于上述复杂数据的表征学习现状以及最新的表征学习模型;最后,对复杂异构数据表征学习的发展趋势进行了探讨。