海洋大数据分级存储中迁移模型的研究

海洋数据具有规模庞大、种类繁多、结构复杂、时空特性明显等特征,如何高效地对海洋中的大数据进行存储是实现我国海洋数字化以及管理的科学化的关键。传统的数据存储系统面临着高扩展性、高可靠性、高安全性和低成本的挑战。阐述海洋数据的特征,制定海洋中大数据的生命周期;根据海洋中大数据的生命周期图,设计出一种适合于海洋大数据特征的迁移模型,解决了海洋中大数据在分级存储中的数据迁移问题,实现了海洋大数据的高效存储。     

存储系统的层次性与进程数据存储模型

计算机系统的各种存储部件,包括寄存器、cache、内存、外存,被组织成一个层次性的存储结构,传统操作系统分别在内存和外存这两个层次上为用户构造了两种数据存储模型：进程逻辑空间和文件。应该在存储层次最外层--外存直接为用户构造进程数据存储模型--文件,把全部内存作为进程访问外存的缓冲,取消了进程逻辑空间的概念,实现指令对文件的直接寻址,使进程直接在文件上运行,基于以上思想,提出了一个操作系统模型,介绍了该模型的结构及其一个实现原形,并对其性能进行了测试和评价,最后讨论了该操作系统具有的优点及其存在的问题。     

基于J2EE的WebGIS数据存储与设计模型研究

WebGIS是Internet发展及信息共享要求下的产物。但是,目前许多InternetGIS软件大都是基于文件的数据组织,只适合小数据量的数据发布,系统的移植性和扩展性都很差。对于海量的矢量数据、影像数据的网上发布方面发展还不成熟,这使得海量空间数据的共享受到了很大的限制。该文首先论述了WebGIS的数据存储模式、组织方式与数据发布,进而对基于Java语言的WebGIS设计模型和实现途径进行研究和探讨,分析它们各自的工作原理和优缺点,在此基础上,提出一个利用Java相关技术进行服务器端应用开发和客户端浏览器功能拓展开发相结合的WebGIS构建方案。实践表明,该结构可以实现GIS的远程服务功能,加快对用户请求的响应速度,并且客户端成为强大的智能型,降低了服务器的处理负载,具有使负载均衡的特点,实现Web服务与GIS服务的无缝连接。     

分层存储中数据迁移时间的设计

分析了数据迁移时间设计中存在的问题.引入了数学公式来判断存储使用量的变化趋势,由变化趋势、存储系统的传输速率和存储容量来判断迁移时间,这为迁移时间的设计提供了理论方式.同时开发了数据迁移监控器,结合迁移时间制定了相应的迁移策略.在高性能计算的环境下,搭建了两层存储的测试系统,部署了该迁移策略.实验结果表明,迁移时间的设计能实现分层存储中数据及时迁移,并可有效缓解迁移堵塞、提高存储层的使用率.     

探析云计算的海量数据存储模型

随着互联网技术的飞速发展,产生的数据越来越多,这就对数据存储提出了更高的要求。在云计算技术的基础上,采用虚拟化技术和Hadoop技术,构建基于云计算的海量数据存储模型,从而将海量数据设置在Hadoop平台上,利用Mapreduce进行处理,并将海量数据存储在虚拟资源池中,从而有效地提高数据存储效率。     

关于计算机云存储中数据迁移的分析

数据迁移问题是企业选择云存储方式最为重要的环节,文章从多个方面分析云存储中如何有效地进行数据迁移并提出一些自己的看法,旨在共同研究数据迁移的实施方案。     

计算机云存储的数据迁移研究

云存储技术是计算机发展过程中的一项重要技术,其中数字迁移是从完全虚拟化的场景中走出来实现高度动态存储的必然条件,因此就必须对计算机云存储数据迁移进行详细的研究.     

浅析计算机云存储的数据迁移

计算机云存储的数据迁移,是计算机发展过程中的一项重要技术,其可以准确的实现数据间的有效传输和存储,满足人们对信息和数据的交流需求。下面本文就对计算机云存储数据迁移进行分析。     

IC卡数据存储模型的研究

本文首先研究了IC卡数据存储的特点,依据存储特点将IC卡划分为单数据应用分区IC卡、单分区IC卡和多分区IC卡三类。给出了IC卡的只读区、控制区、数据区和分区的定义,并在此基础上构造出单张IC卡的数据存储模型和对应的数据结构。为了能够描述任意类型的IC卡,本文进一步提出IC卡的统一数据模型和对应的数据结构,并给出了统一数据模型中分区信息表的数据结构以及数据存取的算法。     

半结构数据的存储模型和查询执行

1 引言半结构数据是指区别于语音和图像文件等“原始数据”,具有一定程度的结构,又不像传统的数据库系统那样存在严格模式的数据。半结构数据广泛存在于各种电子数据源,特别是Internet当中。以WWW为例,其HTML文件格式本身就是由标签和锚点等结构单元组成的,因此文件中的数据常常具有明显的结构。但同时数据的结构又非常不规范,不符合传统数据库的要求,因此不能简单地应用现有的数据库技术和工具对其进行处理,需要研究和开发对半结构数据进行描述和处理的新技术、新工具。     

云计算中的数据安全存储和加密模型的设计

随着时代的快速发展,网络技术也正在进行着新的变革,现阶段最受到人们关注的热点无疑就是云计算,它已经成为计算机领域中最新兴的研究重点。然而,云计算中的安全问题已经成为制约云计算快速发展和推广的关键问题,如何快速、安全地存储和传输生成于云环境中的大量数据,也已成为新的研究重点。文中在分析云计算中数据不安全因素的基础上,通过对云端数据进行合理加密的技术手段,实现了一种有效的安全数据存储和加密的服务模型,达到了对云环境中的数据进行安全的数据存储和备份。     

海量信息分级存储数据迁移策略研究

以数据为中心的计算模式对存储系统的性能和可靠性提出了新的更高的要求。目前,PB量级的存储系统需要数千甚至上万块磁盘,高并行性、高可靠性和高性价比是海量磁盘存储系统的三项关键要求。本文提出由性能和可靠性不同的两级磁盘阵列组成二级海量存储系统,通过数据自动迁移,可在保证存储系统高性价比的条件下,获得更高的并行访问速率和可靠性。本文基于分级存储管理的思想,提出了FC—SAS和SATAII两级存储模型,设计了FV数据价值评定模型和迁移过程控制策略,实现对数据价值的精确判定,在尽量减小对系统访问性能影响的基础上,实现数据在两级设备间的高效迁移和用户的透明访问。     

AUV数据监听存储系统软件设计

介绍了一种基于CAN总线的AUV监听存储系统软件设计方法,详细描述了AUV的结构,数据监听任务和数据存储任务的设计方法,介绍了数据监听任务与数据存储任务之间数据传输的实现方法.AUV监听存储系统已经用于AUV的实验室半实物仿真实验和外场实航试验中,结果证明该系统的可靠性和精度满足系统要求.     

基于面向对象XML的集中式和分布式存储模型

针对面向对象的XML数据,提出了2种存储模型。在分布式存储中,对象的一个属性或元素,如果是从超类继承的,其属性值或元素值存放在超类对应的对象中,如果是该类新定义的属性或元素,则放在该类对应的对象中。在该集中式存储中,对象的所有属性值都存放在所属类的对应对象中,超类中没有子类实例的数据,只有直接实例数据。通过典型查询语句,测试、分析了2种存储模型的性能,实验结果表明两种存储模型的可行性和高效性。     

存储系统数据迁移技术与实现

通过对存储系统数据迁移常用技术的分析,结合云铜数据迁移实际案例,综合阐述了存储系统数据迁移的技术实现、迁移策略、风险分析与规避、数据完整性与一致性验证方法,对类似系统架构的存储数据迁移具有良好的借鉴意义。     

面向经营分析系统的数据仓库架构设计与存储研究

介绍经营分析系统的建设过程和实现思路,构建一种数据仓库的四层架构设计模式,结合经营分析系统的实践,引入生命周期管理技术和数据备份管理措施,给出一种基于四层架构设计模式的分级存储管理技术。实际应用表明,能有效提高设备的利用率及数据在线／近线的保有时长,保障数据的可恢复性和数据故障处理的及时性。     

面向顺序存储结构的数据流分析

C程序中数组、malloc动态分配后的连续内存等顺序存储结构被大量使用,但大多数传统的数据流分析方法未能充分描述其结构及其上的操作,特别是在利用指针访问顺序存储结构时,传统的分析方法只关注了指针的指向关系,而未讨论指针可能发生偏移的数值信息,且未考虑发生偏移时可能存在越界的不安全问题,导致了对顺序存储结构分析不精确.针对以上不足,首先对顺序存储结构进行抽象建模,并对顺序存储结构与指针结合使用时的指向关系与偏移量进行有效表示,建立了用于顺序存储结构的抽象内存模型SeqMM;其次,归纳总结C程序中顺序存储结构涉及的指针相关迁移操作、谓词操作及遍历顺序存储结构的循环操作,提出了安全范围判别保证操作安全性;之后,针对函数调用时形参指针引用顺序存储结构与实参的映射过程进行过程间推导规则设计;最后,基于上述分析,提出了一种内存泄漏缺陷检测算法,对5个开源C工程的内存泄漏缺陷进行检测.实验结果表明,所提出的Seq MM能够有效地刻画C程序中的顺序存储结构及其涉及的各种操作,其数据流分析结果能够用于内存泄漏的检测工作,同时在效率和精度之间取得合理的权衡.     

面向多租户数据存储的分段多维性能模型

多租户数据存储对提高用户体验质量,优化系统运行效率,降低服务提供商成本至关重要。面对大规模租户,共享数据存储节点如何满足不同租户的不同性能需求是需要解决的关键问题。为此,针对多租户数据存储不同性能需求的特点,提出了一种面向多租户数据存储的考虑租户之间相互干扰的分段多维性能模型,包括分段多维性能边界函数和多租户数据存储性能预测分析方法。通过基准测试数据采集、模型计算和性能分析,来判断是否每个数据存储节点能够综合地满足不同租户的不同性能需求。实验系统的分析结果表明,该方法能够判断在特定租户负载组合下每个数据节点是否过载,为分布式多租户数据布局提供基础。     

基于关系数据库的对象数据管理方法研究

面向对象方法在许多领域中已经得到了广泛应用 .对象描述方法可以很方便地描述领域中具有复杂结构的数据 ,但这些复杂数据的存储问题还有待妥善解决 .在数据存储管理方面 ,关系数据库系统一直处于主导地位 .本文提出了一种将对象模型和关系模型有机结合在一起的方法 .该方法将数据存储功能从领域数据对象中分离出来 ,采用专门的对象管理器来处理复杂的对象数据与关系数据库的交互问题 .该方法已经被用于海洋传播模型数据库管理系统的设计开发中 ,并取得较好的效果     

基于ESS自适应数据迁移的研究与实现

进化存储系统(ESS)是一种能实现存储性能、存储容量不断提高,数据组织结构不断进化的新型存储系统.本文研究并实现了一种满足ESS动态数据迁移需求的数据迁移解决方案,该方案借鉴生物学中的进化理论和控制理论中的反馈控制技术,依据ESS不同应用场景执行相应的数据迁移策略,并且可以根据系统状态的变化动态调整迁移策略.经过对照试验的数据分析证实,该方案能高效地实现ESS数据迁移.