基于Ceph存储系统的小文件存储优化方案

针对Ceph存储系统面对小文件存储时存在元数据服务器性能瓶颈、文件读取效率低等问题.本文从小文件之间固有的数据关联性出发,通过轻量级模式匹配算法,提取出关联特征并以此为依据对小文件进行合并,提高了合并文件之间的合理性,并在文件读取时将同一合并文件内的小文件存入客户端缓存来提高缓存读取命中率,经过实验验证本文的方案有效的提高了小文件的访问效率.     

一种Golang单元测试打桩工具

介绍一种Golang语言的单元测试打桩工具.TDD(测试驱动开发)中需要先写单元测试再实现功能,但Golang自带测试工具Testing不能满足TDD实践.通过对比Golang几个流行的单元测试打桩工具,实例演示了Monkey打桩完成单元测试.     

基于HDFS的小文件存储与读取优化策略

本文对HDFS分布式文件系统进行了深入的研究,在HDFS中以流式的方式访问大文件时效率很高但是对海量小文件的存取效率比较低. 本文针对这个问题提出了一个基于关系数据库的小文件合并策略,首先为每个用户建立一个用户文件,其次当用户上传小文件时把文件的元数据信息存入到关系数据库中并将文件追加写入到用户文件中,最后用户读取小文件时通过元数据信息直接以流式方式进行读取. 此外当用户读取小于一个文件块大小的文件时还采取了数据节点负载均衡策略,直接由存储数据的DataNode传送给客户端从而减轻主服务器压力提高文件传送效率. 实验结果表明通过此方案很好地解决了HDFS对大量小文件存取支持不足的缺点,提高了HDFS文件系统对海量小文件的读写性能,此方案适用于具有海量小文件的云存储系统,可以降低NameNode内存消耗提高文件读写效率.     

关联优化存储下Hopfield网络的临界存储

本文通过对Ｈｏｐｆｉｅｌｄ神经网络存储相关信息的联想稳定性分析，给出了选取存储样本的优化规则，并得出Ｈｏｐｆｉｅｌｄ神经网络在优化存储规则下各存储样本均能纠一错的临床存储容量约为０．５Ｎ，比随机选取存储本的容量要强得多。     

一种基于Oracle的数据存储优化方法

介绍了Oracle的应用程序接口OCI,分析了SQL的执行过程。针对常规数据存储方法在海量数据存储和系统并发用户较多时效率低下的问题,定义一种简洁的数据结构,创建存储过程并完成对SQL信息的压缩。对比优化前后的实验数据,可以发现此方法能显著提高Oracle的数据存储效率。     

面向对象语言中方法存储与查找研究

在面向对象语言及数据库系统中,如何快速实现方法查找,把控制转移到相应方法体上去是事关系统效率的核心问题。这对于后约束的系统显得尤为重要。本文分析了现有的几种方法存储与查找算法,再给出在我们设计的面向对象语言OL-3中方法存储与查找的实现方式,并提出两种新的设计方案。所有的讨论都进行时空效率和易修改性分析。     

C语言的变量存储类

一、概述与其它高级语言一样,C语言也面要对程序中使用的各种变量进行说明。其变量类型说明包含两方面内容:一个是确定了该变量所占内存单元的大小,另一个是限定了该变量在分配存储空间的边界条件。其实,对变量说明除上述类型说明外,还包括说明其存储类。变量的存储类规定了变量的作用范围和作用时间的长短,编译程序将为它们分配适当的存储区域。     

一种性能优化的小文件存储访问策略的研究

在分布式文件系统中,小文件的管理一般存在访问性能较差和存储空间浪费较大等缺点.为了解决这些问题,提出了一种性能优化的小文件存储访问(SFSA)策略.SFSA将逻辑上连续的数据尽可能存储在物理磁盘的连续空间,使用Cache充当元数据服务器的角色并通过简化的文件信息节点提高Cache利用率,提高了小文件访问性能;写数据时聚合更新数据及其文件夹域中的相关数据为一次I/O请求写入,减少了文件碎片数量,提高了存储空间利用率;文件传输时利用局部性原理,提前发送批量的高访问率的小文件,降低了建立网络连接开销,提升了文件传输性能.理论分析和实验证明,SFSA的设计思想和方法能有效地优化小文件的存储访问性能.     

清远供电局数据存储优化的思考

数据库系统的性能决定数据库的可用性和生命力。通常数据库系统在业务数据增加后都会存在性能瓶颈,主要涉及数据库服务器、应用程序、操作系统、数据库参数等方面。其中数据库性能调整与优化涉及到多个层面,通过统一规划、系统性调整,可以提高数据库的稳定性和可用性,保障系统高效地运行,解决系统瓶颈。通过建立并实施数据库后台存储过程不断改进的管理机制和设计合理的数据存储过程工作指引,来不断提升整个系统性能,实现对现有信息系统的优化,达到提升业务运营和经营决策效率的目标。     

基于云存储的二阶段动态优化调度机制

在分布式存储的研究中,如何高效地利用存储空间是个热点问题.存储集群中,每个数据节点存储容量不可能完全一致,由于主节点选择数据节点的随机性,被选中数据节点磁盘可能接近满额,此时主节点会自动做存储负载均衡,占用数据传输带宽,不仅影响数据传输的性能,而且会引起传输数据的不可靠.论文提出一种基于云存储的二阶段动态优化调度机制：第一阶段通过计算副本存储优选比率,采用基于贪心算法的局部优化存储方案,选择存储节点,均衡副本放置空间;第二阶段采用实时监控存储集群,动态调整副本放置节点,达到存储资源的高效利用.最后通过实验,验证了该调度机制可有效地放置副本,减少节点间的数据传输,并提高文件访问效率.     

基于Java语言的图形信息优化存储

本文提出一种基于Java语言的图形信息结构化存储的算法,该算法将Java绘图所需信息以笔划为基本对象进行结构化存储,与以往绘图程序中以像素为单位的图形存储方式相比,大大提高了存储效率,同时,通过引入笔划对象,整个绘图系统具有较强的可扩展能力。本文提到的算法已全部在笔者开发的课件系统中得以实现,实际应用结果表明:该算法具有存储效率高、交互性强和易于计算机实现等优点。     

基于经验搜索的多级存储层次优化

存储墙是影响单机性能优化的重要因素,其缓解依赖于对程序进行存储优化。论文提出基于经验搜索的多级存储层次优化方法,将优化多级存储层次问题转化为对优化参数的经验搜索问题,并基于遗传算法选择全局最优解。实验表明,该技术可以自适应不同应用程序,大大降低存储访问时间,降低存储因素对程序性能的影响,从而有效地缓解存储墙问题。     

存储市场风云

存储软件：NeoPath发布新一代文件管理软件;新品上市：EMC推出第七代Symmetrix DMX-3;IBM推出中端存储产品：DS4800;RAID公司推出SAN／NAS RAID 10产品;QLogic针对中小企业推出微型交换机;Nexsan推出Assureon内容寻址系统;富士通推出全球容量最大的2．5英寸硬盘;StorageTek推出用于主机的新产品;战略合作：NetApp联合IBM等厂商合作开发存储虚拟化技术;收购与合并：微软将FrontBridge纳入旗下;EMC公司收购Rainfinity和Maranti加强虚拟化实力。     

一种基于Hive日志分析的大数据存储优化方法

从2002年起,某金融机构积累了大量的银行卡支付日志数据。随着业务的不断增长,数据集高速增长,原生的Hive的查询性能已经不能令人满意。文章研究了大数据及存储的现状,提出了一种基于存储日志的分析的Hive存储格式优化方法,通过该优化方法从查询时间和存储空间利用率两方面使系统性能得到提升,提升了查询效率。论文对该金融机构原有Hive存储系统通过基于存储日志分析的Hive存储格式优化方法进行改进,通过实际数据,充分证明了该方法的可行性。     

基于小文件的内存云存储优化策略

由于内存云RAMCloud采用日志段的方式存储数据,因此当大量小文件存储于RAMCloud集群时,每个小文件独占整个段,会产生较多的段内碎片,从而导致内存的有效利用率较低以及大量的内存空间浪费。为了解决这个问题,提出基于文件分类的RAMCloud小文件存储优化策略。该策略首先根据文件的相关特性将小文件分为结构相关文件、逻辑相关文件以及相互独立文件三类;然后在存储时对结构相关的文件使用文件合并算法,逻辑相关和相互独立的小文件则使用分组算法。实验结果表明:同未进行优化的RAMCloud存储策略相比,该策略能有效提高集群内存利用率。     

基于Jaya语言的图形信息优化存储

本文提出一种基于Java语言的图形信息结构化存储的算法，该算法将Java绘图所需信息以笔划为基本对象进行结构化存储。与以往绘图程序中以像素为单位的图形存储方式相比，大大提高了存储效率。同时，通过引入笔划对象，整个绘图系统具有较强的可扩展能力。本文提到的算法已全部在笔者开发的课件系统中得以实现，实际应用结果表明：该算法具有存储效率高、交互性强和易于计算机实现等优点。     

基于平面文件的Native-XML数据库存储策略研究

Native-XML数据库是一种专门设计用于存储和管理XML数据的新型数据库技术。首先简要介绍了Native-XML数据库的定义和特点,然后着重讨论了采用平面文件作为基本存储结构的Native-XML数据库在存储模型、存储粒度等方面的策略选择,最后结合实际项目分析了基于平面文件的Native-XML数据库在Web开发方面的可行性及其应用前景。     

政企OA文件存储的新方法

为解决政企OA系统文件冗余存放的问题,对现有政企OA系统的应用系统、数据库系统和存储系统进行了优化,提出了地址转换兼容的存储方案。实施方法：(1)增加应用系统参数配置,使系统兼容FTP,Route和DFS三种存储模式;(2)开发延后批量下载模式,实现闲时批量下载;(3)定时进行文件迁移,保证FTP顺利过渡到云存储;(4)文件存储选择FastDFS模式,并采用FastDFS的DHT功能控制文件存储冗余。方案实施后,政企OA系统能在三种模式下正常运行、顺畅地进行批量下载,能在设定的时间内进行文件迁移并能较好的地控制文件存储冗余。此外政企文件占用存储资源明显减少,系统文件压缩率总体达到53.21%。同时,客户使用新的OA系统进行文件操作的速度较之前有较大提升。     

磁盘文件的最佳存储方法

本文从磁盘文件的存储方法入手,分析文件在磁盘上存储的最小单位“族”的字节数;指出族是影响磁盘利用效率的关键因素,它的大小受磁盘的容量和 DOS 版本的影响,但与机器的机型无关; 给出如何降低族的大小的方法和磁盘文件的最佳存储方法。     

多模态医疗数据中海量小文件存储优化方法

Hadoop分布式文件系统(HDFS)通常用于大文件的存储和管理,当进行海量小文件的存储和计算时,会消耗大量的NameNode内存和访问时间,成为制约HDFS性能的一个重要因素.针对多模态医疗数据中海量小文件问题,提出一种基于双层哈希编码和HBase的海量小文件存储优化方法.在小文件合并时,使用可扩展哈希函数构建索引文件存储桶,使索引文件可以根据需要进行动态扩展,实现文件追加功能.在每个存储桶中,使用MWHC哈希函数存储每个文件索引信息在索引文件中的位置,当访问文件时,无须读取所有文件的索引信息,只需读取相应存储桶中的索引信息即可,从而能够在O(1)的时间复杂度内读取文件,提高文件查找效率.为了满足多模态医疗数据的存储需求,使用HBase存储文件索引信息,并设置标识列用于标识不同模态的医疗数据,便于对不同模态数据的存储管理,并提高文件的读取速度.为了进一步优化存储性能,建立了基于LRU的元数据预取机制,并采用LZ4压缩算法对合并文件进行压缩存储.通过对比文件存取性能、NameNode内存使用率,实验结果表明,所提出的算法与原始HDFS、HAR、MapFile、TypeStorage以及...