iOS系统数据持久化综述

所谓持久化,即把数据存储到可永久保存的存储设备中.持久化的主要应用是将内存中的数据存储在关系型的数据库中.持久化技术目前被广泛应用于各种程序设计的领域中.在要探讨的iOS中的数据持久化技术中,iOS系统中主要提供了几种方式用于简单地实现数据持久化功能:内存存储以及磁盘存储、数据库存储等.对于以持久化的意义有很多,比如能共享业务数据、节约内存容量、数据备份、方便大规模数据检索.综合讲述并比较了一些有代表性的iOS系统持久化方法.     

青云QingCloud正式推出Redis缓存集群服务

正北京2014年12月19日电/--国内领先的基础云服务商青云Qing Cloud日前宣布,基于Redis的缓存集群服务现已正式推出。Qing Cloud此次推出的Redis高性能缓存集群包含多个缓存节点,支持一主一从和一主多从的架构,并提供可持久化和自动备份服务,确保用户数据的快速读写和高可用性。Redis是一款基于内存的Key-Value数据库。与传统数据库相比,Redis的优势在于它将数据存储在内存中,读写性能得以巨大提升,适合那些频繁读写、并对速度要求较高的业务场景。鉴     

基于非易失性存储器的存储引擎性能优化

非易失性存储器具有接近内存的读写速度,可利用其替换传统的存储设备,从而提升存储引擎的性能。但是,传统的存储引擎通常使用通用块接口读写数据,导致了较长的 I/O 软件栈,增加了软件层的读写延迟,进而限制了非易失性存储器的性能优势。针对这一问题,该文以 Ceph 大数据存储系统为基础,研究设计了基于非易失性存储器的新型存储引擎 NVMStore,通过内存映射的方式访问存储设备,根据非易失性存储器的字节可寻址和数据持久化特性,优化数据读写流程,从而减小数据写放大以及软件栈的开销。实验结果表明,与使用非易失性存储器的传统存储引擎相比,NVMStore能够显著提升 Ceph 的小块数据读写性能。     

ATC系统中高速内存缓存的设计与实现

由于空中交通管制系统在航空领域里的特殊应用,系统中部分数据实时性强,并且不需要长期存储,针对这一存储需求设计并实现了基于高速内存缓存的数据存储模型.模型基于key-value的内存池的内存管理方法,采用预申请和分组方式管理内存.通过实验分析比较了T数索引和哈希表索引的优点和适用范围,最终选择T树索引作为模型的索引数据结构.实验结果表明,该模型极大的提高了系统对该类数据的存取能力和系统性能.     

一个分级存储的信息生命周期管理系统设计与实现

信息生命周期管理是一种可持续发展的存储策略,以其独特的优势在存储成本和高效信息管理之间取得平衡.本文设计并实现SAN、NAS存储网络下基于分级存储(HSM)的清华信息生命周期管理系统(THILM).提出一种新的文件重解析实现技术,实现ILM系统中HSM应用服务器端和系统应用层对动态存储数据的透明访问和多级存储数据的统一管理.讨论通过对应用元数据管理的优化和菱略缓存(PolicyCache)技术的改进实现高效的管理策略的执行,通过系统性能测试表明表文提出的文件重解析实现技术带来的额外负载几乎可以忽略,策略缓存技术使系统的策略执行性能提高了一个数量级.另外针对原策略缓存初始化性能低下的问题,采用策略元数据池(PMC)进行优化,采用PMC后THILM策略缓存的初始化时间降低了16～20倍.     

一种基于闪存的混合存储仿真系统

近年来闪存发展非常迅速,已成为一种大容量、高性能、低功耗、非易失的新型存储产品,其可以有效弥补内存和磁盘的性能差距完善存储系统。为此,设计一种基于闪存的混合存储仿真系统HybridArch,增加文件分布层,支持文件的分割、分布和文件接口访问,并实现5种混合存储体系结构,包括传统的内存-磁盘双层结构、纯闪存结构、闪存作为部分磁盘结构、塔式结构和水平缓存结构。基于HybridArch对上述混合存储体系结构进行仿真实验,分析比较其在性能和闪存写入量等方面的优劣,结果表明,水平缓存体系结构在性能、性价比、闪存设备寿命等方面综合表现较好。     

面向费用优化的云存储缓存策略

为提高云存储的访问速率并降低费用,提出了一种面向费用优化的云存储缓存策略。利用几乎免费的局域网环境下的多台桌面计算机,在本地建立一个分布式文件系统,并将其作为远端云存储的缓存。进行文件读取时,首先查找其是否在缓存中,若存在则直接从缓存读取;若不存在则从远端云存储读取。采用了最近最少使用(LRU)算法进行缓存替换,将冷门数据从缓存中替换掉。以亚马逊简单存储服务(S3)作为远端的云存储服务,对原型系统进行了简单的性能测试。测试结果表明,使用了所提出的缓存策略后,在降低费用的同时能够显著提高文件读取的速度。     

基于NoSQL的海量航空物流小文件分布式多级存储方法

为了解决航空物流领域海量小文件存储效率和访问效率不高的问题,提出一种基于Nosql的海量小文件分布式多级存储方法,充分考虑到数据的时效性、本地性、操作的并发性以及文件之间的相关性,先根据相关性将文件合并,然后采用分布式多级存储,使用内存式Redis数据库做缓存,HDFS做数据的持久化存储,其过程采用预取机制。实验结果表明,该方法有效提高了小文件的存取效率和磁盘的利用率,显著地降低了网络的带宽占用和集群NameNode的内存消耗,适合解决航空领域海量小文件存储问题。     

基于ASP.NET缓存与分页策略优化Web数据查询性能

利用ASP．NET的缓存功能，结合性能良好的存储过程，一次性地缓存数据库数页数据，以供用户分页查询，是优化Web数据查询性能的比较理想的方式。文章详细介绍了优化模型的实现，并进行了性能分析。     

基于持久性内存和SSD的后端存储MixStore

持久性内存(persistent memory,PM EM)同时具备内存的低时延字节寻址和磁盘的持久化特性,将对现有软件架构体系产生革命性的变化和深远的影响.分布式存储在云计算和数据中心得到了广泛的应用,然而现有的以Ceph BlueStore为代表的后端存储引擎是面向传统机械盘和固态硬盘(solid state di...     

一种网络视频监控系统的专用存储方案

针对网络视频监控系统中传统文件系统存储方案存储效率低和检索性能差的缺陷,提出一种基于裸磁盘设备的录像存储方案。根据监控系统的数据存储特点,采用B＋树管理录像段索引信息,设计一种磁盘逻辑存储结构,并给出一种基于图像组的数据缓存机制。系统测试结果表明,与传统的文件系统存储方案相比,该方案在监控系统的512Kb／s和1Mb／s典型存储码率下,录像存储效率分别提高了43．6％和30．3％,录像检索耗时降至35ms以下。     

基于μClinux的大容量媒体文件系统

针对嵌入式系统资源有限、稳定性差的问题,通过分析现有文件系统的优缺点,提出一种面向大容量媒体文件的嵌入式文件系统设计方案,介绍其体系架构和内部组成,对该文件系统与传统嵌入式文件系统的存储性能及稳定性进行对比测试。实验结果表明,该文件系统在存储性能和稳定性方面具有较大优势。     

基于均衡数据放置策略的分布式网络存储编码缓存方案

为了保证网络存储的负载平衡并避免在节点或磁盘故障的情况下造成不可恢复的损失,提出一种基于均衡数据放置策略的分布式网络存储编码缓存方案,针对大型高速缓存和小型缓存分别给出了不同的解决办法。首先,将Maddah方案扩展到多服务器系统,结合均衡数据放置策略,将每个文件作为一个单元存储在数据服务器中,从而解决大型高速缓存问题;然后,将干扰消除方案扩展到多服务器系统,利用干扰消除方案降低缓存的峰值速率,结合均衡数据放置策略,提出缓存分段的线性组合,从而解决小型缓存问题。最后,通过基于Linux的NS2仿真软件,分别在一个和两个奇偶校验服务器系统中进行仿真实验。仿真结果表明,提出的方案可以有效地降低峰值传输速率,相比其他两种较新的缓存方案,提出的方案获得了更好的性能。此外,采用分布式存储虽然限制了将来自不同服务器的内容组合成单个消息的能力,导致编码缓存方案性能损失,但可以充分利用分布式存储系统中存在的固有冗余,从而提高存储系统的性能。     

Single address space implementation in distributed systems

With reference to a distributed context consisting of computers connected by a local area network, we present the organization of a memory management system giving physical support to a uniform, persistent vision of storage according to a single address space paradigm. Our system implements a two‐layer storage hierarchy in which the distributed secondary memory stores the valid data items and the primary memory supports a form of data caching, for fast processor access. The proposed system defines a small, powerful set of operations that allow application programs to exert explicit control over the memory management activities at the levels of physical storage allocation, data migration across the network, and the data movements between the secondary memory and the primary memory. The system, that has been implemented in prototype form, is assessed from a number of viewpoints. We show that the storage requirements of the information for memory management are negligible. Moreover, the number of messages necessary to determine the network location of a given data item is low and independent of both the network size and the past movements of this data item in the distributed storage.Copyright © 2000 John Wiley & Sons, Ltd.     

J2ME中面向对象的持久存储管理研究

针对J2ME程序数据持久存储的问题,根据移动信息设备简表,提出一种采用缓存机制的面向对象的数据持久存储管理方案。该方案将数据封装为对象,在应用程序和持久存储之间采用数据管理层分离应用程序的数据访问逻辑和数据存储逻辑,并采用缓存机制提高数据访问效率。通过实验验证该方案的可行性,实验结果表明该缓存机制提高了频繁访问数据的访问效率。     

复内核操作系统文件系统的设计与实现

随着云计算、大数据进一步的发展,促使提供计算服务的单个节点的硬件性能不断的提升,但数据中心资源利用率较低,且可扩展性较差的问题始终存在。人们试图从各个方面解决这个问题。复内核操作系统Popcorn Linux就是其中一个比较典型的解决方案。文件系统作为操作系统的重要组成部分,直接影响着数据中心应用的执行效率。传统的文件系统因为磁盘控制器的原因,无法移植到复内核操作系统上,从而难以满足新形势下的需求。针对这个问题,提出了一种全新的适用于复内核操作系统的文件系统POPFUSE。该文件系统基于FUSE框架实现,解决了因磁盘控制器有限,多个内核实例无法同时访问磁盘资源的问题,通过共享内存的方式,保证了通信的稳定,提高了文件系统的效率,进而促进了多个内核的操作系统整体性能的提升。     

基于持久性内存的属性图存储系统

属性图是一种流行的图数据模型, 在各种图系统中得到了广泛应用. 然而, 面向事务型负载的图数据库系统在执行图分析任务的场景下面临着高延迟等挑战. 传统的图分析系统往往是基于简单图模型, 而且大多不支持图的事务型负载. 因此, 迫切需要一个能够在属性图上高效处理事务型负载和图分析任务的图存储系统. 持久性内存的问世, 使得我们有机会重新设计图存储系统, 以充分发挥这种设备的特点. 为此, 本文提出了一种基于持久性内存的属性图存储系统, 名为TAG. TAG采用了一种新颖的混合架构的图存储方式, 以充分发挥持久性内存和主存的优势. 其次, 通过拓扑和索引结合的方式, 将图的拓扑嵌入到系统的索引中以加速图的拓扑查询. 最后, TAG通过基于标签的方式来组织图的属性数据, 进一步优化图的属性访问. 实验结果表明, TAG显著优于其他图数据库系统, 与图分析系统相比, TAG也有着相近的性能表现.     

基于Kubernetes的云原生海量数据存储系统设计与实现

为应对云原生技术的日益发展与普及伴随的云上数据量的激增及该技术在性能与稳定性等方面所出现的瓶颈,提出了一种基于Haystack的存储系统。该存储系统在服务发现、自动容错与缓存方面进行了优化,更适用于云原生业务,以满足数据采集、存储与分析行业不断增长且频次较高的文件存储与读写需求。该存储系统使用对象存储模型来满足高频海量的文件存储,为使用该存储系统的业务提供简单而统一的应用程序接口,应用了文件缓存策略提升资源利用率,同时利用Kubernetes丰富的自动化工具链使该存储系统比其他存储系统更容易部署和扩展且更稳定。实验结果表明,该存储系统在读多于写的大规模碎片数据存储情境下相比目前主流的对象存储与文件系统均有一定的性能与稳定性提升。