大数据场景下数据存储格式对比研究

针对大数据场景下的数据存储格式，通过对比分析存储压缩比、读写性能和数据查询效率等方面的差异，从实验角度探究不同存储格式的优劣势。在实验中，选取了常见的数据存储格式进行了对比研究，包括文本格式、CSV格式、JSON格式、Parquet格式、ORC格式等。通过对比实验结果，得出了在不同场景下，不同的数据存储格式都有其适用性和局限性，需要综合考虑各方面因素选择合适的存储格式。本文的研究结果对于数据存储和处理的优化具有一定的指导意义和参考价值。     

用JDOM和XML实现异构数据库的数据提取

大量分散的形式及不同格式的数据给现代数据处理带来了越来越大的困难。为统一数据形式以利于数据操作和处理,讨论了将形式多样的数据格式转换成统一的XML(Extensible Markup Language)格式的问题。对数据源中不同格式文件数据,按照预先定义的XML模板,以格式说明文件结构统一描述,并提取数据或作进一步的处理,最后转换为XML格式输出。文中论述了从数据库中提取数据转换为XML格式的方法及步骤,并且方法简单实用,可以推广到对所有格式数据的提取。     

DSP图像数据的可视化

介绍了CCS的数据格式、BMP图像的存储格式和YUV与RGB之间的转换关系.运用CCS的数据加载功能取出DSP中的数据,并把YUV格式的数据转换为RGB格式的数据,最后用C语言实现了把数据存储为BMP图像.BMP图像对算法验证和检测效果的比较有很大的帮助.     

EM—5009B激光图形发生器的数据处理

由设计部门转到制版部门的数据需要经过格式转换、测试等处理过程才能进行图发操作。本文介绍了数据的格式和数据的测试以及格式转换的处理过程。     

用JDOM和XML实现异构数据库的数据提取

大量分散的形式及不同格式的数据给现代数据处理带来了越来越大的困难。为统一数据形式以利于数据操作和处理，讨论了将形式多样的数据格式转换成统一的XML（Extemible Markupbnguage）格式的问题。对数据源中不同格式文件数据．按照预先定义的XML模板，以格式说明文件结构统一描述．并提取数据或作进一步的处理．最后转换为XML格式输出。文中论述了从数据库中提取数据转换为XML格式的方法及步骤，并且方法简单实用．可以推广到对所有格式数据的提取。     

实用视频数据压缩方法

本文探讨了一种视频数据的压缩与格式转换方法。该方法构建了一个音视频数据处理系统,有效压缩并以适当格式存储视频数据。在开源编码程序Mencoder的基础上,对视频数据的压缩和格式转换进行了深入研究。     

利用JSON降低XML数据冗余的研究

XML是应用系统中主要的数据交换格式,但XML中存在一些数据冗余,并且需要服务器和客户端进行解码,会占用较多的系统资源。介绍一种转换XML格式的数据为JSON格式的方法。并通过测试实验验证了JSON(JavaScript Object Notation)格式可以减少XML格式的数据冗余,进而使网络传输更有效率。     

XML的生物信息数据的存储与实现

生物信息数据文件数量非常庞大,并且数据格式不统一。XML作为信息交换的格式可以方便地转换为其他格式,且XML文件中的数据可以方便地存储在数据库中。使用XML作为生物信息数据的存储格式,不仅充分利用了XML在格式转换方面的优势,更方便了对生物信息数据的存储管理和查询,为有效数据信息的提取和进行数据挖掘提供了前提。     

OBJ格式3D模型应用于DirectX编程的分析

本文分析了OBJ格式3D模型数据特点及Direct X SDK下编程OBJ文件数据加载的实现方法。OBJ格式用于Direct X SDK编程简单易行,在用3ds Max导出OBJ格式模型时,需正确设置导出选项;OBJ格式模型数据加载模型速度慢,不适合大型模型的编程。     

MapGIS6．1向ArcGIS8．1的数据转换

深入讨论了MapGIS和ArcGIS两种GIS软件的数据格式,并详细介绍了由MapGIS格式向ArcGIS格式的数据转换过程。MapGIS和ArcGIS是应用较为广泛的地理信息系统软件,二者都拥有很大的用户群体。但是它们各自都有自己的数据格式,实现这两个系列数据格式的数据共享是十分必要的。在数据转换时,首先将MapGIS的数据在MapGIS中转换为E00格式,然后在ArcGIS的工具包ArcToolBox中选择转换工具中的ImportFromInterchangeFile,将E00数据转换为Coverage格式,转换后对于多边形数据需要在Arc中进行拓扑重建,然后由Coverage格式就可以转换成ArcGIS的任意格式。     

数据共享平台的数据访问及其在Android终端的呈现

实现数据共享,可以使更多的人更充分地利用已有数据资源,创造新的价值. CKAN(Comprehensive Knowledge Archive Network)是世界领先的开源数据平台,对收集的数据实现管理和共享.本文实现了一款基于Android开发的CKAN APP,以便用户可以随时随地查看CKAN平台上的共享数据.本文主要是运用Android客户端的开发技术,通过CKAN的API来访问CKAN平台的数据资源,然后将访问到的数据资源转化为合适的格式存储起来,最终将数据在Android终端呈现出来.测试结果表明:本文开发的CKAN APP,为用户随时随地查看CKAN平台的共享数据提供了一个可用的APP工具.     

测试向量转换中波形数据格式及其压缩编码算法

为了实现由芯片设计仿真出来的测试向量到测试设备的测试程序转换，在分析了不断变化的测试需求后，提出了一种类-STIL的波形数据格式。针对该波形数据格式，实现了一种基于测试向量特点的动态无损的压缩编码算法, 从而解决了测试向量的大容量问题。实验结果表明，在该波形格式基础上的测试向量转换，不仅在速度上得到优化，同时针对大容量的测试向量集合，也获得了较高的压缩结果。     

基于CNSDTF和OpenFlight的空间数据互操作研究

多源空间数据共享一直是VR-G IS(虚拟现实地理信息系统)应用系统开发中需要解决的重要问题。分析了CNSDTF(中国地球空间数据交换格式)和OpenF light(一种应用于VR空间数据格式)的结构和特点,提出了以CNSDTF标准为空间数据转换中介,通过将OpenF light数据格式转换成为符合CNSDTF标准的数据格式,具体实现了一种基于我国空间数据标准的空间数据互操作应用的方法。     

基于OpenGIS空间数据转换系统设计与实现

空间数据转换是实现空间数据共享的重要途径。该文以OpenGIS为原则,研究各种不同的空间数据文件格式,以XML为信息交换标准,实现空间数据转换系统,完善与国外软件的数据接口,同时集成到OracleSpatial中,该系统已经运用于数字重庆的DCQGIS大型项目中,为各行业部门的数据共享提出了一种可行的解决方案。     

基于XQuery处理器的异构数据集成中间件

利用中间件方式进行异构数据集成是异构数据集成研究的热点.针对目前中间件方式处理关系数据库数据与XML数据集成在查询易用性以及效率的不足,基于各数据源的数据格式以及存储方式,把异构数据源分成关系数据库数据源,XML数据源和非结构化数据源三类,对每一类用XML模式处理,构建虚拟视图,使待集成的异构数据源构建成一个逻辑数据库...     

GML空间数据索引机制研究

随着GML规范的不断完善及GIS软件厂商的广泛支持,GML已经成为事实上的空间数据编码、传输、存储、发布的国际标准,越来越多的空间数据开始以GML格式存储。如何有效地存储管理GML空间数据,已经成为GIS研究的热点问题。结合XML 文档编码和传统的空间数据索引,对GML空间数据的索引进行了深入的研究,提出了基于空间索引的GML一体化索引机制以及相应的查询处理策略与相关算法,并以R树索引为例,对一体化索引的查询处理性能进行了实验分析。实验结果表明,该文提出的基于空间索引的GML一体化索引机制是可行的、高效的。     

基于数据虚拟化技术的多来源数据集成方法

司法业务数据存储没有统一的格式标准,各机关在进行数据查询访问时存在数据孤岛现象。为解决数据访问之间的异构性,本文提出一种基于数据虚拟化的多来源司法数据集成方法,通过数据虚拟化技术建立元数据映射关系,利用中间件构成数据交换中心,实现多机关多类型司法数据集成。利用改进的K-means聚类算法对虚拟对象元数据进行聚簇,缩短数据访问时间,提高司法数据查询效率。本文方法可以忽略数据存储异构性的影响,实现各司法机关无障碍数据访问通道。     

遥感卫星数传基带数据模拟源的设计与实现

随着使用高级在轨系统(AOS)业务的空间和地面设备越来越多,根据空间数据咨询委员会(CCSDS)定制的标准,提出了一种遥感卫星数传基带数据模拟源的解决方案;首先,对AOS格式进行了基本介绍与分析,然后对模拟系统的各个功能模块与处理流程进行了详细说明,并在刀片服务器上实现了该系统;实验表明,该设计有效地解决了遥感卫星数传基带处理系统开发验证、功能测试和故障诊断的信号源问题。     

基于多数据源的OLE DB

分布式系统中数据格式的多样化以及数据分布的分散性,导致了数据操作的复杂化,同时也对分布式系统的效率提出了更高的要求。OLE DB提供应用以统一接口标准,对各种数据源进行无差别的访问。OLE DB基于COM规范,在一系列可扩展维护的COM接口中封装了各种数据源操作,最大程度抽象出各种数据源的共有操作,屏蔽了其个体差异。文中较详细地分析了OLE DB的体系结构及其通用数据访问的主要特点,提出了一种OLE DB的实现方式。     

基于ASTER遥感数据源的Creator三维地形建模技术研究

大面积真实地形三维建模技术是视景仿真系统开发的难点问题.该文提供了一种基于ASTER遥感数据的三维地形建模方法,采用格式转换技术将ASTER的GeoTIFF数据格式转换为USGS DEM数据格式.应用Creator地形建模技术建立了我国某地域的高质量的三维地形仿真模型,实现了真实地形三维建模的快速化、实用化.