基于云平台NoSQL的海量天文图像存储研究

云计算所提出的全新计算和存储思想,对海量数据的存储解决方案以及快速访问有效数据资源提供了参考。以云存储平台NoSQL数据库为背景,研究海量天文数据的存储和访问技术。首先构建了基于MongoDB平台的天文图像FITS文件存储原型,在此基础上设计并分析存储实验。实验结果表明,数据分片存储以及选择最佳的分片大小能有效提高天文数据的存储和访问效率。     

基于压缩-字对齐位图的天文海量数据实时索引

澄江一米新真空大型天文望远镜(NVST)当前每天最大能产生2 TB,约十多万条的观测数据。由于这些数据量巨大并具有非结构化特性,使用离线构建索引会带来巨大时间开销,传统的关系型数据库难以满足快速索引和检索需求。针对这些问题,结合数据采集流程,提出了使用基于压缩的字对齐位图索引算法来在线实时构建索引。这种方式不仅克服了离线构建索引方式时,文件访问、FITS头读取和解析FITS头等操作带来的大量额外时间消耗问题,而且有助于解决海量太阳观测数据的高效检索难题。通过实验证明了在线实时构建索引方式能够极大地降低时间开销,也表明了该方式在天文海量数据索引和检索应用中的有效性和可行性。     

一种基于网格服务的数据库元数据管理框架

该文主要针对数据网格的分布式异构数据库环境,提出一种基于网格服务来实现数据库元数据采集、存储、查询功能的参考框架。文章讨论了对于异构数据库的元数据,如何实现动/静态信息的管理。通过扩展GlobusToolkit中的MDS(MonitoringandDiscoverService)目录服务模块,使其支持后台关系型数据库,来存储静态元数据,而利用信息采集程序(InformationProvider)来生成动态元数据。整个系统框架建立在网格服务(GridService)基础之上,以网格服务方式提供元数据的访问功能。     

基于文档数据库的NoSQL建模方法

电子商务、大型社交网站的出现对数据存储、查询和管理带来了新的挑战,也引起了非结构化的面向信息的数据爆炸,海量数据的存储对信息的查询和管理提出了更高的要求。而传统的关系数据技术在应对超大规模和高并发的数据处理方面已经显得力不从心,NoSQL作为一种针对大规模数据应用的新型数据库技术,越来越受到重视。本文以NoSQL数据模型的基础,介绍文档型数据库建模的方法。     

CFITSIO软件包简介及应用举例

简单介绍了天文图像的标准格式FITS及其读写软件包CFITSIO的主要功能和特点。平场校正FITS（Flexible Image Transport System）,即灵活图像传输系统,是标准的天文数据格式。随着功能的不断增强,FITS已经由原来专为磁带而设计的简单格式[1]演化为现在复杂的数据结构,从起初不同分析软件之间数据交换的媒介,发展为当今众多软件包数据归档和在线分析的方式[2]。对于普通用户,使用相应的软件包无疑是读写这种功能强大、结构复杂文件的有效方法。将在第一节介绍FITS的历史由来以及主要的格式定义;在第二节讲述如何使用CFITSIO对该格式文件进行读写操作。     

NoSQL的分布式存储与扩展解决方法

传统的关系型数据库已无法满足海量数据的存储与访问需求。针对该问题,提出一种非关系型数据库(NoSQL)的分布式存储与扩展解决方法。分析并改进NoSQL,讨论基于一致性哈希算法键值对的分布式存储,以及基于双hash环的数据库服务器节点的扩展方法,提出将NoSQL作为镜像引入数据库架构系统。实际应用结果表明,该方法可以避免资源浪费及服务器过载。     

大数据环境下NoSQL数据库技术

大数据环境下,NoSQL数据库技术是传统关系数据库技术的补充,是目前IT行业的热门话题,其发展非常迅速,潜力巨大,悄然改变了整个行业的面貌。随着Web 2.0技术的发展,微博、社交网络、电子商务应用功能不断壮大,数据信息呈现爆炸式增长。传统关系型数据库技术在扩展性方面存在瓶颈。NoSQL数据库技术摒弃了传统关系型数据库ACID的特性,采用分布式多节点的方式,提出新的解决方案,更加适合大数据存储和管理。     

基于FODO算法MongoDB自动分片的改进

随着Web2.0技术的高速发展,云计算中的大规模分布式服务和数据存储技术对传统的关系型数据库带来了巨大的挑战。NoSQL数据库打破了关系型数据的束缚,正在成为人们关注的焦点。NoSQL是一种非关系型数据库管理系统,松散的数据存储机制,不支持多表查询,有高效的查询功能。文中首先介绍了MongoDB数据库自动分片的原理和实现机制,然后为了解决在自动分片中数据负载不均衡,提出了基于数据操作频率的改进算法。这个改进的平衡策略可以有效地均衡分片中的数据,提高集群的并发读写性能。     

基于图数据库的RDF数据分布式存储

RDF数据模型具有天然的图结构,因此以图结构存储可以避免RDF逻辑数据模型到物理数据模型的转换。基于图数据库的RDF数据分布式存储方案,重点讨论RDF图数据流分割、图数据库分布式扩展、SPARQL查询语言转CYPHER图形查询语言等。实验对比了基于Neo4j图数据库与基于MySQL关系型数据库的RDF数据存储方案的处理性能,并验证了RDF图数据流分割算法的有效性。     

NoSQL数据管理技术

社交网络和微博等新型应用对数据管理技术提出了新的挑战,如海量数据高效存储、高并发访问、高可扩展性和高可用性等。而传统的关系数据库技术无法满足这些新型应用的需求,因此,NoSQL数据管理技术的研究、开发和应用越来越受到重视。本文从NoSQL数据模型、数据存储、查询处理以及SQL与NoSQL混合数据库解决方案等方面,综述了NoSQL数据管理技术发展现状和趋势,并介绍了几种典型的NoSQL产品。     

基于ETL工具的数据集成和交换的研究

数据的集成与交换,对企业的管理和决策意义重大.数据集成和交换必须解决抽取、转换和加载,但过去的异构系统很难实现,从需求分析、系统设计和系统实现3个方面,设计了一种针对数据抽取、转换和装载(Extract、Transform、Load)的ETL工具.根据ETL工具的综合要求,通过结构化分析需求,构建了系统逻辑模型;设计了...     

大数据可用性的研究进展

信息技术的迅速发展催生了大数据时代的到来.大数据已经成为信息社会的重要财富,为人们更深入地感知、认识和控制物理世界提供了前所未有的丰富信息.然而,随着数据规模的增长,劣质数据也随之而来,导致大数据质量低劣,极大地降低了大数据的可用性,严重困扰着信息社会.近年来,数据可用性问题引起了学术界和工业界的共同关注,开展了深入研究,取得了一系列研究成果.本文介绍数据可用性的基本概念,讨论数据可用性的挑战与研究问题,综述数据可用性方面的研究成果,探索大数据可用性的未来研究方向.     

基于时效规则的数据修复方法

数据时效性是影响数据质量的重要因素,可靠的数据时效性对数据检索的精确度、数据分析结论的可信性起到关键作用.数据时效不精确、数据过时等现象给大数据应用带来诸多问题,很大程度上影响着数据价值的发挥.对于缺失了时间戳或者时间不准确的数据,精确恢复其时间戳是困难的,但可以依据一定的规则对其时间先后顺序进行还原恢复,满足数据清洗及各类应用需求.在数据时效性应用需求分析的基础上,首先明确了属性的时效规则相关概念,对属性的时效规则等进行了形式化定义;然后提出了基于图模型的时效规则发现以及数据时序修复算法;随后,对相关算法进行了实现,并在真实数据集上对算法运行效率、修复正确率等进行了测试,分析了影响算法修复数据正确率的一些影响因素,对算法进行了较为全面的分析评价.实验结果表明,算法具有较高的执行效率和较好的时效修复效果.     

基于非关系型数据库的水文数据分析方法研究

针对水文结构化和非结构化数据中的文字信息分析,以及从分析结果直接调取原始数据进行溯源以验证数据的真实性,提出基于非关系型数据库的水文数据分析方法。将海量水文数据存储在 TRIP 非关系型数据库,搜索引擎集成在数据库,利用索引、中文自动分词、检索和统计分析功能,对水文数据中的数值、日期、 时间、文字内容进行分析。对水文观测项目文字内容的分析,获得水文测站的水文观测项目分布;对长序列、 全时段分钟降水数据的分析,获得降水变化特征;对单站单日降水量的分析,获得单站单日降水量的分布,读取数据库中降水自记纸图像文件并进行溯源。研究结果表明：在非关系型数据库存储海量水文结构化和非结构化数据的基础上,能够对海量水文数据进行分析和数据溯源,具有现实的应用价值。     

基于数据元的数据交换规范研究

针对信息系统之间的数据异构导致数据交换困难的问题,研究利用数据元理论制定一套基于数据元的、统一的、可复用的数据交换规范,以实现异构信息系统之间高效的数据交换。     

基于XML的历史数据归档与重构策略的研究与应用

随着企业数据的爆炸式增长,数据库中大量的数据成为过期数据,但是这些数据并不是无用的,它们是数据处理和数据挖掘的重要对象,所以必须对其进行归档操作。将XML技术应用于数据库历史数据的归档和重构,并针对现有归档策略中的不足之处,提出了改进的数据归档和数据重构策略。同时,实现了基于层次有向图的数据库结构及数据信息映射为XML模式的算法,提出了分级管理策略,将归档数据存储在离线存储设备或者较低的存储设备中。     

大数据安全处理技术研究

随着大数据时代的到来,对大数据的处理变得越来越重要。本文对如何处理大数据进行了分析,研究了大数据处理的相关技术,包括数据存储架构、数据结构处理、极限存储处理等方面。最后,对大数据的未来发展进行了展望。     

基于Spark的航空信息服务平台

针对大数据时代下,海军航空部队存在的种种数据治理问题,设计了一种基于Spark的航空信息服务平台,平台实现了航空数据的存储,分析与挖掘等功能.平台采用4层体系架构,使用了HDFS分布式文件存储框架和Hive数据仓库工具实现了数据的存储和管理.最后,通过仿真实验,比较在不同数据量下航空信息服务平台与传统航空数据仓库的性能优劣.通过海军航空信息服务平台建设,可以有效为海军航空部队实训提供数据支撑,为平台使用者提供辅助决策.     

空间对象模型用于Web下数据源集成的研究

本文提出一种新的 Web数据模型 -空间对象模型 SOM,给出了形式化描述 .SOM扩展了半结构化对象模型OEM,采用空间类做框架 ,动态插入各种属性类 ,可达到即插即用的效果 ,适合于在 WWW下集成空间数据源 .本文还介绍了属性扩散指令 ,对象字典等技术 ,最后探讨了利用 SOM对空间数据源的进行集成的方法 .SOM可应用于 Web平台的 GIS,AM/ FM等系统的集成 .     

压缩数据集上的快速Cube计算方法

现有压缩数据集上的Cube计算方法只适用于稀疏数据,针对该问题,设计一种用于压缩常量和基本单一元组的压缩方法并提出一种新的Cube算法。该算法在计算过程中无需解压缩、计算速度快、数据压缩率高,适用于冰山计算。实验结果表明,与自底向上立方体算法相比,新算法计算速度快、所需存储空间小。