数字标准平台中海量时空小文件合并策略研究

针对HDFS处理时空小文件效率不高的问题,从用户的访问规律和访问数据自身属性这两者之间的相关性上出发,将用户访问流看成对数据文件的请求序列,然后根据数据的时空属性参数化表示,并利用特征提取构建一个新的特征序列,最后通过序列模式挖掘PrefixSpan算法找到用户在不同访问模式下的特征模板,合并相关文件。实验结果表明,该合并策略有效地降低了NameNode内存占用率和响应时间,提高了读取效率。     

基于Ceph存储系统的小文件存储优化方案

针对Ceph存储系统面对小文件存储时存在元数据服务器性能瓶颈、文件读取效率低等问题.本文从小文件之间固有的数据关联性出发,通过轻量级模式匹配算法,提取出关联特征并以此为依据对小文件进行合并,提高了合并文件之间的合理性,并在文件读取时将同一合并文件内的小文件存入客户端缓存来提高缓存读取命中率,经过实验验证本文的方案有效的提高了小文件的访问效率.     

基于数据虚拟化技术的多来源数据集成方法

司法业务数据存储没有统一的格式标准,各机关在进行数据查询访问时存在数据孤岛现象。为解决数据访问之间的异构性,本文提出一种基于数据虚拟化的多来源司法数据集成方法,通过数据虚拟化技术建立元数据映射关系,利用中间件构成数据交换中心,实现多机关多类型司法数据集成。利用改进的K-means聚类算法对虚拟对象元数据进行聚簇,缩短数据访问时间,提高司法数据查询效率。本文方法可以忽略数据存储异构性的影响,实现各司法机关无障碍数据访问通道。     

BESⅢ分布式计算的元数据管理

北京谱仪III(BESIII)高能物理实验产生PB量级的实验数据,海量数据的处理和分析对计算资源提出较大挑战。分布式计算是整合异构计算资源和解决计算资源短缺的可行方案。根据BESIII实验需求对分布式计算所需的元数据管理进行研究,提出数据文件的元数据模型,利用中间件软件DIRAC的目录服务设计并实现元数据管理系统。该系统利用树型目录结构、物理文件名动态构建和虚拟数据集等技术,组织和存储各种类型的元数据,实现查询请求、逻辑文件以及物理文件之间的映射,使用数字证书和开放安全套接层协议保证系统安全。将该系统应用于实验数据分析和处理中,测试结果表明,当并发用户访问量为300时,查询时间仅为0.3 s,证明该系统性能较好,可以满足BESIII实验的应用需要。     

网格环境下的数据库访问和集成

为了集成网格环境中的数据库资源,促进网格应用支持现有数据库的访问,提出一种基于服务的数据库访问和集成系统(GridDBAdmin)。GridDBAdmin为用户提供了虚拟的全局逻辑数据库视图,支持用户使用现有的SQL语言同时访问多个数据库。系统由元数据服务和网格虚拟数据库服务构成。其中元数据服务负责发现含有用户所需数据的数据库,网格虚拟数据库服务提供全局逻辑视图,通过分布式查询机制将用户的SQL请求分解到具体的数据库中并进行结果合并。对基于Globus和OGSA-DAI工具包开发的原型系统进行了测试,得到了较好的结果。     

基于HDFS的小文件存储与读取优化策略

本文对HDFS分布式文件系统进行了深入的研究,在HDFS中以流式的方式访问大文件时效率很高但是对海量小文件的存取效率比较低. 本文针对这个问题提出了一个基于关系数据库的小文件合并策略,首先为每个用户建立一个用户文件,其次当用户上传小文件时把文件的元数据信息存入到关系数据库中并将文件追加写入到用户文件中,最后用户读取小文件时通过元数据信息直接以流式方式进行读取. 此外当用户读取小于一个文件块大小的文件时还采取了数据节点负载均衡策略,直接由存储数据的DataNode传送给客户端从而减轻主服务器压力提高文件传送效率. 实验结果表明通过此方案很好地解决了HDFS对大量小文件存取支持不足的缺点,提高了HDFS文件系统对海量小文件的读写性能,此方案适用于具有海量小文件的云存储系统,可以降低NameNode内存消耗提高文件读写效率.     

在地震减灾仿真网格系统中数据网格应用技术研究

有效地定位、访问、浏览数据是异构广域网络中急需解决的问题,数据网格技术是解决此问题的有效手段之一。通过运用虚拟化的元数据模型,并在其基础上提出了单一的数据访问接口,同时运用单一的数据访问接口构建了元数据目录服务系统,最后在地震减灾仿真网格系统中应用该设计思想实现了地震数据的有效管理。     

基于Java地震前兆数据浏览编辑软件设计与实现

地震前兆数据文件是存储地震前兆数据的文本文件,直接浏览编辑效率低。为了方便数据检查工作,基于Java语言,设计了地震前兆数据浏览编辑软件。软件实现了前兆数据文件浏览编辑的可视化,切换显示处理前后数据,检查数据文件名是否有误等功能,提高了数据检查工作的效率。     

文件加密也玩时效性

为了有效提升文件加密效率,我们往往会将重要数据文件集中保存到特定的文件夹中,日后只要加密该文件夹,就能高效保护所有重要文件的安全了。现在,加密文件夹的工具有很多,在具体加密过程中,用户时常会遇到健忘的尴尬,比方说,在访问了加密文件夹中的重要数据文件后,由于着急处理其他事情,又忘记了对目标文件夹重新执行加密操作,导致其中的重要数据处于不安全存储状态,这显然容易带来安全麻烦。     

基于改进HDFS的冠字号小文件分布式存储研究

针对冠字号小图片存储到HDFS系统中带来的访问瓶颈问题,改进了原有的HDFS系统,新提出的分布式系统机制是充分基于文件相关性(File Correlation)进行合并处理的HDFS(FCHDFS)。由于HDFS中所有的文件都是由单一的主节点服务器托管-NameNode,每个存储到HDFS的文件在NameNode主存储器中都需要存储它的元数据,这必然导致小文件数量越大HDFS性能就越差。存储和管理大量的小文件,对NameNode是一个沉重的负担。可以存储在HDFS的文件数量是受到NameNode的内存大小约束。为了提高存储和访问HDFS上的冠字号小文件的效率,该文提出了一个基于文件关联性的小文件高效处理机制。在这种方法中,按照客户和时间区分,一组相关的文件相结合为一个大文件,从而减少文件数目。而新建的索引机制能从相应的联合文件中访问单个文件。实验结果表明,FCHDFS大大减少主节点内存中元数据数量,也提高了存储和访问大量小文件的效率。     

基于过滤驱动的文件保护系统

数据的安全保护是当前网络安全领域研究的热点,本文提出了一种基于文件系统过滤驱动的文件保护系统。该文件保护系统在操作系统内核状态下实现了对文件的透明加/解密,并提供了访问控制、密钥管理等功能。加/解密算法可以灵活采用并且不公开,提高了加密的有效性。文件以密文的形式保存,且只能被合法用户以非常安全的方式访问。用户使用起来非常方便,只需提供自己的私钥即可。     

网格虚拟组织副本协作预取机制

副本复制是数据网格中提高数据访问效率的有效方法,如何提高副本复制的效率是一个关键性问题.现有的复制策略大多基于文件访问历史选择高价值副本进行复制,但其针对的都是节点已经访问过的文件.通过对虚拟组织文件访问特性进行深入分析,引入隐性高价值文件概念,提出虚拟组织副本协作预取机制(cooperative replica prefetching mechanism,简称CoRPM),使得本地节点通过与虚拟组织中其他节点进行协作来获取隐性高价值文件副本.该机制首先给出了副本协作预取架构,各个虚拟组织节点上的文件预取模块以协作的方式为虚拟组织内节点提供文件预取服务;然后,在副本协作预取架构的基础上设计了副本协作预取流程,其核心算法包括以作业类型为中心的本地文件预取算法和预取文件选择算法.模拟实验结果表明,CoRPM与已有的基于文件访问历史的副本复制策略相结合,可以更加有效地降低数据访问延迟.     

基于微过滤驱动的文件监控系统

文件安全访问控制,是银行自动柜员机安全的核心部分。采用微过滤模型的文件监控系统,将用户、进程和访问控制权限结合,实时监控文件,实现文件安全访问。同时,基于互斥锁的日志文件的操作,实现日志事件生成和写入日志文件的同步,提高了写日志的效率。该文件监控系统,增强了文件的安全性,提高了系统的稳定性。     

基于MapFile 的HDFS 小文件存储效率问题

针对HDFS最初是为流式访问大文件而开发的,而对于大量小文件的存储效率不高问题,采用MapFile设计一个HDFS中存储小文件的方案．该方案的主要思想是在上传HDFS时增加一个文件类型判断模块,建立一个小文件队列,将小文件序列化存入一个MapFile容器,合并成大文件,并建立相应的索引文件,有效降低文件数目和提高访问效率．通过和现有的HadoopArchives（HARfiles）文件归档解决小文件问题的方案对比,实验结果表明,基于MapFile的存储小文件方案可以更为有效的提高小文件存储性能和减少HDFS文件系统的节点内存消耗．     

广域存储虚拟化系统的文件访问

广域存储虚拟化所要解决的一个问题是如何实现对分布的文件进行方便高效的访问。本文在分析了几种常见的文件系统后，针对广域存储虚拟化系统的特征，设计了客户端的文件访问模式，并实现了一套应用于该系统的文件访问接口，使用户能够像使用本地系统一样使用广域存储虚拟化系统的存储资源。     

面向Hadoop分布式文件系统的小文件存取优化方法

为提高Hadoop分布式文件系统(HDFS)的小文件处理效率,提出了一种面向HDFS的智能小文件存取优化方法--SmartFS。SmartFS通过分析小文件访问日志,获取用户访问行为,建立文件关联概率模型,并根据基于文件关联关系的合并算法将小文件组装成大文件之后存至HDFS;当从HDFS获取文件时,根据基于文件关联关系的预取算法来提高文件访问效率,并提出基于预取的缓存替换算法来管理缓存空间,从而提高文件的命中率。实验结果表明,SmartFS有效减少了HDFS中NameNode的元数据空间,减少了用户与HDFS的交互次数,提高了小文件的存储效率和访问速度。     

海量样本数据集中小文件的存取优化研究

针对Hadoop分布式文件系统（Hadoop Distributed File System,HDFS）在海量样本数据集存储方面存在内存占用多、读取效率低的问题,以及分布式数据库HBase在存储文件名重复度和类似度高时产生访问热点的问题,结合样本数据集的特点、类型,提出一种面向样本数据集存取优化方案,优化样本数据集中小文件的写入、读取、添加、删除和替换策略。该方案根据硬件配置测得大、小文件的分界点,通过变尺度堆栈算法按样本数据集的目录结构将小文件合并存储至HDFS;结合行键优化策略将文件索引存储在HBase数据表中;搭建基于Ehcache缓存框架的预取机制。实验结果表明,该方案降低了主节点的内存消耗,提高了文件的读取效率,实现了对海量样本数据集中小文件的高效存取。     

基于Erasure Code的分布式文件存储系统

在局域网环境下,实现一种基于Erasure Code的分布式文件存储系统。该系统由元数据服务器和多个文件存储节点组成,通过对元数据与文件数据分离存储以提高文件访问效率,将Erasure Code有效冗余存储技术应用于文件编解码以增强可靠性,采用MD5消息摘要技术保证文件完整性。对30 MB~600 MB大小的文件测试结果表明,该系统具有更高的可靠性、安全性以及资源利用率。     

基于EHDFS的海量小文件存储与检索方法

为有效解决HDFS面对多类型的海量小文件存在存储效率与检索速率低下的问题,构建一种基于EHDFS架构的存取方案.存储阶段,引入最优化策略,建立新的合并存储模型,使小文件最大化填满且均匀分布于Block,提高DataNode空间利用,降低NameNode内存开销.检索阶段,改进MapFile映射关系结构、索引存储位置与组...