一种新的多刚体系统的存储方法

指出了目前多刚体系统数据存储的不足,运用图论的概念和建模理论,分析了多刚体系统的结构图和有向图之间的关系,提出了一种新的基于十字链表的链式存储模型.该存储模型不仅解决了复杂多刚体系统的存储结构问题,而且避免了非树形多刚体向树形多刚体的切除转换,使非树形多刚体系统与树形多刚体系统从数学建模到数据存储达到高度一致.     

基于图的机械系统拓扑结构的数据存储

应用图论的概念和建模理论,分析了机械系统机构图和拓扑结构图的关系,提出了一种新的基于图的机械系统拓扑结构的数据存储模型.该存储模型不仅解决了复杂多体系统的存储结构问题,避免了非树形多体向树形多体的切除转换,而且使树形多体系统和非树形多体系统从数学建模到数据存储达到高度一致.     

XN-Store:一种原生XML数据库的存储方案

随着XML相关标准的推广与应用,Web上出现了大量的XML文档,为了进行有效的管理,有必要将XML文档存储到数据库中,存储方案已成为XML数据管理领域研究的一个重要课题,将XML文档映射为关系表,存储到传统的RDBMS中,会破坏XML数据的树形结构,造成查询效率的下降,提出了一种新的用于原生XML数据库的存储方案--XN-Store,该方案基于索引结构将XML节点作为记录直接存储到分页文件中,建立起持久化文档对象模型,从而保持了XML数据原有的树形结构.XN-Store不仅降低了XML文档的存储空间开销,而且实现了XML节点的快速串行化输出和访问操作.作为通用的原生XML存储方案,XN-Store支持各种二级索引的创建,以提高XML查询处理的效率,采用多种数据集,分别在XN-Store和先前的XML存储系统上进行实验,比较存储空间、存储时间、串行化时间和节点访问时间.实验结果表明,XN-Store是一种高性能的原生XML数据库存储方案.     

寄生存储冗余机制与实现技术

互联网在数据包收发过程中具有短暂的数据存储能力.由于网络上数据包的传榆时间非零,这样便导致数据包在传输的过程中能够保持一定的在线时间,从而形成事实上的数据存储.这种数据存储行为可用于构建一种极其独特的网络存储新模式--寄生存储.针对寄生存储模型,给出数据冗余机制,并深入分析基于纠删码的数据冗余存储模型,给出数据分布模型与数据恢复策略.分析结果表明,这种冗余方法根据宿主的健康程度及能力实现数据分布的差异化管理,既减少了系统对网络状况的影响又提高了系统的可靠性,适用于在广域网上进行免费、大容量及短期的数据存储;远程寄生宿主并没有意识到用户的数据存储行为;对网络性能的影响几乎可以忽略不计.     

一种采用带外虚拟化技术的网络存储系统

介绍一种基于带外虚拟化技术的网络存储系统,简称BW-VSDS,它具有以下特点:(1)采用两级带外虚拟化数据管理模型以充分发挥单个存储节点的I/O能力并释放存储网络的承载能力;(2)采用分布式数据存储管理协议以协同多个存储节点有效实现高级数据存储语义;(3)支持多种数据传输协议以适用于不同的应用环境.目前该系统已应用于视频监控、信息处理和企业办公等多个领域.     

基于行存储模型的模拟列存储策略研究

列存储模型在只读的数据仓库应用中表现出非常好的性能,很多研究表明对于典型的OLAP查询,列存储数据库的性能大大优于行存储数据库.根据列存储模型的特性及数据处理特点,在传统的行存储模型关系数据库中模拟列存储的存储模式及数据处理过程,并通过优化的基于聚类的列存储模型、全索引模型与典型的行存储方式进行类比性能测试.实验结果显示,采用传统行存储模型模拟的列存储模型针对OLAP类查询具有很高的数据访问速度及查询性能,整体性能介于行存储数据库与列存储数据库之间.对于实际应用系统来说,该方案减少了整体系统部署代价,而且无需为提高OLAP查询的性能增加额外系统(列存储)投入,从而为OLAP应用提供了良好的性能支持.     

电能表系统数据存储的研究

为了解决电能表系统数据现场升级程序容易出现数据混乱的问题,分析了目前电能表系统数据存储的方式,针对目前电能表系统数据存储的问题提出了改善方案。通过数据链表创造出一个可以自由伸缩的数据存储系统,形成了以数据块为存储单元的存储模式,解决了电能表系统中新增加数据会导致现有数据地址改变的问题。文章先从目前电能表系统数据存储的问题说起,随后提出了新的数据存储模型,并一一介绍了新数据存储模型的创建、读取、写入及删除等操作,并在电能表上成功实现了新数据存储模型。     

基于iSCSI的IP存储广域网可用性分析

随着远程容灾、内容分发、数据网格等不断发展,要求数据存储的范围从局域网拓展到广域网.本文提出了基于iSCSI协议的IP存储广域网系统模型,并利用一种新的可用性度量标准-任务完成概率,分析了IP存储广域网的可用性.分析结果表明：当任务数量达到百万时,系统完成概率在99.7%左右.     

基于遗传算法的电力输变电工程数据存储框架与数据迁移仿真

由于电力输变电工程数据多源、异构、迭代更新,需巨大存储空间,且数据挖掘分析难度大,据此本文基于遗传算法设计了分布式数据存储框架与数据迁移.此框架以源数据模型为载体,详细划分电力输变电工程地理信息、三维设计模型、文档资料数据,基于不同数据存储模型,构建了分布式存储框架以进行不同类型数据处理.通过遗传算法可实现海量数据迁移,以不同配置的数据存储中心进行了仿真测试.结果表明,分布式数据存储框架不仅可保障存储效率,还可确保数据完整性与安全性;基于遗传算法的数据迁移可切实解决大量数据存储问题,优化工程数据存储框架综合性能.     

面向多租户数据存储的分段多维性能模型

多租户数据存储对提高用户体验质量,优化系统运行效率,降低服务提供商成本至关重要。面对大规模租户,共享数据存储节点如何满足不同租户的不同性能需求是需要解决的关键问题。为此,针对多租户数据存储不同性能需求的特点,提出了一种面向多租户数据存储的考虑租户之间相互干扰的分段多维性能模型,包括分段多维性能边界函数和多租户数据存储性能预测分析方法。通过基准测试数据采集、模型计算和性能分析,来判断是否每个数据存储节点能够综合地满足不同租户的不同性能需求。实验系统的分析结果表明,该方法能够判断在特定租户负载组合下每个数据节点是否过载,为分布式多租户数据布局提供基础。     

流式处理的异步图处理框架

大图数据的处理与分析是近年来的热点研究问题,分布式图计算是目前处理大图数据的主流技术,但是存在诸多无法避免的问题,比如分布式计算的负载均衡和分布式实现的调试和优化仍然非常困难。另一方面,近几年的研究表明,通过设计合理的数据结构和处理模型,在单个PC上基于大容量磁盘的大图计算往往可以获得与分布式图计算相当的处理性能。文献[14]显示,GraphChi在单机上的处理性能与Spark在50台节点上处理性能相差无几。本文结合累加迭代计算和单机并行处理技术,提出流式处理的异步计算模型ASP。它实现了对磁盘的完全顺序访问,允许流式的顺序载入结构数据的同时进行异步更新计算。基于ASP模型,我们提出了一种流式处理的异步图处理框架S-Maiter,实现了高效率的基于外存的单机大图处理,通过I/O线程优化、内存资源监控、shard级优先级调度等优化技术,大大提高了系统处理大图数据的性能。实验结果表明,在处理大图数据（1300万顶点,5亿连边）时,仅仅需要1台PC机计算资源的S-Maiter与在16台PC上运行的分布式Maiter的性能几乎相当。并且S-Maiter比另外一个流行的单机大图处理系统GraphChi快1.5倍。     

基于持久性内存的属性图存储系统

属性图是一种流行的图数据模型, 在各种图系统中得到了广泛应用. 然而, 面向事务型负载的图数据库系统在执行图分析任务的场景下面临着高延迟等挑战. 传统的图分析系统往往是基于简单图模型, 而且大多不支持图的事务型负载. 因此, 迫切需要一个能够在属性图上高效处理事务型负载和图分析任务的图存储系统. 持久性内存的问世, 使得我们有机会重新设计图存储系统, 以充分发挥这种设备的特点. 为此, 本文提出了一种基于持久性内存的属性图存储系统, 名为TAG. TAG采用了一种新颖的混合架构的图存储方式, 以充分发挥持久性内存和主存的优势. 其次, 通过拓扑和索引结合的方式, 将图的拓扑嵌入到系统的索引中以加速图的拓扑查询. 最后, TAG通过基于标签的方式来组织图的属性数据, 进一步优化图的属性访问. 实验结果表明, TAG显著优于其他图数据库系统, 与图分析系统相比, TAG也有着相近的性能表现.     

大规模图处理研究

大数据研究领域的许多问题可以转换为图的问题。本文将阐述鲲鹏大数据系统计算引擎中有关大规模图处理的研究进展以及应用,具体包括高效子图匹配算法、面向图的稀疏数据存储结构和大规模图异步计算模型及其在基因拼接中的应用。     

Hadoop迭代优化技术的研究

Hadoop是处理海量数据的分布式计算框架,已经得到了广泛的应用。但是Hadoop处理图结构数据存在一些不足。图结构数据的强耦合特性,无法通过一次MapReduce计算得出结果,而是需要迭代计算,甚至一次迭代需要多次Ma-pReduce完成。而重新启动MapReduce作业,开销较大,以及迭代过程中可能存在静态数据的不必要传输。文中在Hadoop的基础之上,提出map端存储的策略,即将静态数据存储在map端,在map端完成静态与动态数据相关的计算,减少了整个迭代计算的总运行时间。通过搭建修改过的Hadoop平台,与改进前迭代方案进行比较,实验结果表明map端存储策略运行时间得到了一定程度的减少。     

查询感知的关系-图数据库自适应存储技术研究

在大数据时代,针对不同场景下如何保持数据高效查询受到持续关注,但是对通过改进数据的存储管理技术来提高查询效率还有待进一步研究。因此,结合图数据结构类型多变、应用场景丰富、数据集价值高等优势,提出了一种利用关系-图数据模型协同存储数据的模式,并设计了用户查询感知的自适应存储优化技术来解决多数据模型的数据存储冗余优化问题。通过分析不同引擎处理不同的查询得出每种引擎对应的不同查询性能和多数据模型存储存在的数据冗余问题,提出用户查询感知的自适应存储技术。再结合用户历史查询及查询特点,利用基于启发式规则的优化算法完成多数据模型的数据存储优化。     

基于路径的网络本体语言存储模型

为提高信息检索效率,提出基于路径的网络本体语言(OWL)存储模型,首先设计了转换和存储OWL数据的方法,实现构建包含有类和属性层次结构关系的数据图,然后通过深度优先搜索(DFS)算法建立从根节点的类和属性信息到每个节点的类和属性信息的路径,再将这些信息存储到设计的关系数据库表中。通过实验与现有方法进行了比较,在查询处理时间和本体更新时间性能方面都有改进,方案具有可行性。     

基于ECC的iSCSI-SAN安全模型设计

具有带外存储虚拟化结构的iSCSI-SAN存在安全隐患：一方面，暴露在IP网络上的存储资源容易遭到假冒身份者的非法访问；另一方面，在网络上直接传输的明文存储数据面临着被网络攻击者监听的安全威胁。该文基于椭圆曲线密码体制ECC设计了适合该网络存储结构的安全模型，该模型通过提供双向认证机制防止假冒身份攻击，通过在认证过程中协商一次性会话密钥并对存储数据进行加密保证存储数据的传输安全，从而提高了存储系统的安全性。     

网络计算机模型下海量大数据存储系统设计

对网络计算机模型下海量大数据进行安全稳定的存储,可以提高网络计算机的使用价值,增加其使用周期。但目前的海量大数据存储方法在存储过程中,无法做到对其进行灵活高效的存储,存在大数据存储分布密度较低,存储开销较大等问题。为此,以网络计算机模型体系结构为基础,提出了一种基于ARM的海量大数据存储系统设计方法。该设计方法先利用ARM芯片对网络计算机模型下海量大数据存储系统进行硬件构造,将网络海量大数据中的可利用与不可利用数据进行分类处理,采用VISA结构根据数据分类结果对大数据存储系统软件部分进行设计,依据大数据调度模型和存储相似度特征对大数据存储的时间,质量等方面进行计算,利用计算结果对大数据传输的阈值以及分布密度进行记录,最后根据循环分段的计算方式进行冗余大数据特性压缩,并对海量大数据的常规数据和冗余数据进行存储。实验仿真证明,所提方法提高了海量大数据存储的兼容性,增强了大数据存储的精确性和灵活性。