对象存储系统中一种高效的分层对象布局算法

在对象存储系统中,如何有效地在对象存储设备上分布对象是其面临的重大挑战.需要一个能够常数时间内定位对象,同时能公平地分布对象以及自适应存储规模变化的对象布局算法.目前大部分布局算法只能适应单层模式,少数的多层模式对设备配置有严格的要求,而且无法在常数时间内定位对象,自适应性较差.提出了一种新的分层对象布局算法,首先使用最大最小聚类算法将设备集合进行分类,支持灵活的设备配置.然后使用提出的EFAH Hashing算法在集群间和集群内分布对象.理论和实验证明,新的分层对象布局算法可以在常数时间内定位对象,从而减轻元数据服务器的计算量.同时可以在设备之间较公平地分布对象,达到I/O负载均衡的目的.而且在设备集合变化时,迁移较少的对象数以满足对象再次分布的公平性.     

一种高性能对象存储系统

当大量用户并行访问对象存储设备(OSD)时,OSD可能成为限制系统性能的瓶颈。该文提出一种基于网络磁盘阵列的对象存储系统,网络磁盘阵列包括外设和网络2个通道,可直接与客户端进行数据传输。该系统具有基于对象存储系统的特点,且系统容量可扩展性和整体性能较高。     

一种应用于搜索引擎URL检索的hash算法设计与实现

针对MD5在搜索引擎URL检索中的应用,指出其不足之处,设计一种应用于搜索引擎URL索引的消息摘要算法,与MD5算法比较,该算法生成了较短的hash值,可以节约内存空间、提高检索效率,并且该算法可以充分利用可用的hash值域空间。     

一种基于分组密码的hash 函数

提出了一个基于分组密码的hash 函数体制,它的rate小于1 但却具有更高的效率,同时,这个hash 函数可以使用不安全的压缩函数进行构造,降低了对压缩函数安全性的要求.首先,在黑盒子模型下对这个新的体制的安全性进行了证明,然后给出了能够用于构造该体制的使用分组密码构造的压缩函数,最后通过实验对比发现,新hash 函数的速度比rate为1 的hash 函数快得多.实验结果表明,除了rate以外,密钥编排也是影响基于分组密码hash 函数效率的重要因素,甚至比rate影响更大.该体制只有两个密钥,不需要进行大量的密钥扩展运算,大大提高了基于分组密码hash 函数的效率,而且该体制可以使用现有的分组密码来构造.     

一种高性能多媒体对象存储系统的研究

通过对多媒体应用中多用户并发访问的特点和性能进行分析,提出一种高性能多媒体对象存储系统MOSS(Multime-dia Object Storage System)的对象数据组织结构.MOSS结构采用两层结构,下层采用RAID5的方式组织数据,这样可以利用RAID5磁盘利用率高的优势.上层放常用的热点数据,通过将不同对象存放在不同磁盘,从而将不同用户的请求尽量分散到不同的磁盘上,可以提高多用户的并发访问性能.通过仿真测试,在4用户情况下,MOSS的性能平均比RAID高90%,随着用户数的增加,传统RAID方式的性能下降明显,而MOSS的性能下降很少,在16用户情况下,MOSS的性能平均比RAID高550%.     

一种针对磁盘完整性校验的增量hash算法

增量hash函数具有传统迭代hash函数所不具备的增量性和并行性,可以使数据校验值的更新时间与该数据被修改的规模成比例。论文采用增量校验的思想,设计了一种针对磁盘完整性校验的hash函数称为iHash。该文介绍了算法的设计,描述了算法的具体实现,论证了其在抗碰撞问题上的可证明安全性,详细分析了该算法既具有一般增量hash算法的性能优势又具有之前增量hash设计领域未曾提出的新特性,最后给出了iHash与已有的hash函数在性能上的对比实验结果。     

一种基于对象存储中的元数据组织管理方法

提出了一种动态分区元数据组织管理方法。它混合了动态和静态的方法在MDS机群中分布元数据,并使用散列的技术索引元数据,利用共享存储来存放元数据。整个方法使得元数据访问可以高效地完成,机群的失败接管和扩展获得好的性能。     

一种基于分组密码的hash函数的安全性分析及构造

利用已有的分组密码构造hash函数是一种非常方便的构造方法.早在1993 年Preneel 等人就对使用分组密码构造的64种hash 函数进行了安全分类,这些hash函数统称为PGV体制,它们都是单倍分组长度的,即输出长度和分组长度相同.2002 年Black在他的论文中对这64 种hash函数的安全性进行了严格的证明,证明其中的20种是安全的,其他是不安全的.随着计算技术的发展,人们感到单倍分组长度的hash函数的安全性不足,于是一些双倍分组长度的基于分组密码的hash函数被提了出来.但是其中的很多是不安全的.在AsiaCrypt2006上,一种使用了5个分组密码的双倍分组长度的hash函数被提了出来.作者声明这种构造方式是安全的,但没有给出安全性证明.本文对该体制进行了分析,发现其安全性并不理想,并针对本文的攻击提出了一种新的基于分组密码的hash函数,同时和SHA-256等hash函数的性能进行了对比.     

对象存储系统的均衡调度算法

分析存储设备节点的负载特征,给出描述负载的扩展模型,以存储系统的实时负载为基础,提出一种对象的设备选择算法,使对象在存储节点间合理分布,有效调度存储节点的负载能力。仿真结果表明,在I/O请求依指数分布到达的条件下,启用负载分布算法能使系统负载均衡地分布在各存储节点间,有效降低负载不均衡现象。     

基于对象的存储系统对象迁移策略

对象存储系统是下一代网络存储重要组织模式,对象管理是对象存储系统的关键技术之一。本文对对象存储系统中的对象迁移策略进行了系统的研究,提出了可变阈值和域长的动态反馈调整模型,以此来确定存储对象迁移的时机和目标对象存储设备的选取。另外,本文还利用Petri网工具对对象存储系统存储对象的迁移进行建模分析,给出了存储对象迁移控制的Petri网模型。但是随着存储系统存储节点的无限增加,Petri网模型将会无限复杂和庞大。为了减少Petri网模型控制模型的复杂度,又引入有色Petri网理论,实现了对存储对象迁移控制Petri网模型的简化。该模型同样很好地实现了对象存储系统中对象迁移控制的建模分析。这些研究对我们在建立对象存储系统时起到了很好的帮助作用。     

一种基于条带的一致性散列数据放置算法

分布式存储系统作为数据存储的载体,广泛应用于大数据领域.纠删码存储方式相对副本方式,既具有较高的空间利用效率,又能保证数据存储的可靠性,因此被越来多的应用于存储系统当中.在EB级大规模纠删码分布式存储系统中,元数据管理成本较大,位置信息等元数据查询效率影响了I/O时延和吞吐量.基于位置信息记录的有中心数据放置算法需要频繁访问元数据服务器,导致性能优化受限,基于Hash映射的无中心数据放置算法越来越多地得到应用.但面向纠删码的无中心放置算法,在节点变更和数据恢复过程中,存在位置变更困难、迁移数据量大、数据恢复和迁移并发度低等问题.提出了一种基于条带的一致性Hash数据放置算法(consistent Hash data placement algorithm based on stripe, SCHash),SCHash以条带为单位放置数据,通过把数据块到节点的映射转化为条带到节点组的映射过程,减少节点变动过程中的数据迁移量,从而在恢复过程中降低了变动数据的比例,加速了恢复带宽.并基于SCHash算法设计了一种基于条带的并发I/O调度恢复策略,通过避免选取同一节点的数据块进行I/O操作,提升了I/O并行度,通过调度恢复I/O和迁移I/O的执行顺序,减少了数据恢复的执行时间.相比APHash数据放置算法,SCHash在数据恢复过程中,减少了46.71%~85.28%数据的迁移.在条带内重建时,恢复带宽提升了48.16%,在条带外节点重建时,恢复带宽提升了138.44%.     

基于Hash算法的大数据架构下电力系统风险评估研究

为解决电力系统风险评估传统方法存在的处理数据耗时长、实时交互性能欠缺、难以全面反应电网状态等问题,本文提出一种基于Hash算法的大数据架构下电力系统风险评估方法,利用Hash算法将电力系统基础数据关联至服务平台和风险评估系统,采用架空线路停运模型、变压器时变停运模型对电力系统进行大数据建模,融合静态和暂态安全性风险指标,依托多维度数据源,形成电力系统风险评估关联大数据分析体系。该方法有效解决了电力系统风险评估所涉及的多样性和不确定性问题,提升了风险评估实效。将其应用到重庆市某区域电网全年风险评估中,得到的评估结果符合实际情况,验证了所述方法能够综合反应电网设备状态演变和电网外部环境变迁,提高风险评估的准确性和实时性。     

基于有向哈希树的认证跳表算法

作为一种重要的认证数据结构,认证跳表在数据认证机制中有着广泛的应用。由于哈希模式对认证跳表的代价有显著的影响,因此提出哈希模式和数据存储模式分离的思想,设计了一种新的认证哈希模式—有向哈希树,并在其基础上设计了新的认证跳表算法。应用分层数据处理、概率分析等数学方法对所提出算法的代价进行了理论分析,并与已有的认证跳表算法做了性能比较。结果表明,本算法在时间、通信和存储代价方面有了较大的改进。     

基于动态区间映射的数据对象布局算法

高效、可伸缩的数据管理在大规模分布存储系统中日益重要,关键是需要一种能够自动适应存储节点增加或减少的灵活、均衡和可伸缩的数据对象布局与定位方法.提出了一种基于动态区间映射的数据对象布局算法,在均衡数据分配和最少迁移数据方面都是统计意义上最优的,并且支持按照存储节点的权重分配数据和任意的数据对象副本.     

一种基于哈希链表的多关键字排序算法

该文结合哈希表提出一种多关键字的排序算法,该算法根据数据元素的关键字转换,利用哈希表的地址映射实现数据元素在有序序列中的位置,从而通过减少关键字比较及移动使排序算法得到优化。算法基于哈希表改进而来,在特殊多关键字排序中具有一定的应用。     

基于哈希算法的动态口令令牌分析与应用

当今世界处于经济全球化的大环境之下,科学技术及信息化实现快速发展,计算机技术及应用逐渐与人们的生产生活紧密相连,越来越大的信息量被人们存储到计算机当中,并运用互联网将信息输送到指定地点,或实现资源共享。巨大的信息量使人们逐渐意识到网络安全的重要性。随之哈希算法的动态口令令牌出现逐渐解决了一直困扰着人们的难题。这种动态口令令牌兼安全性、高效性及便捷性等优点于一身。随着人们对其认识的不断深入,这种动态口令更被广泛应用于各种场合,并且在保证人们信息安全性的问题上扮演着越来越重要的角色。因而,笔者在总结前人研究问题的基础之上,着重对现今社会中最具安全性的哈希算法的动态口令令牌进行深入的研究。     

基于改进哈希编码的路由查询匹配算法

路由查找算法是网络路由器关键技术之一,为了提高数据查询性能,提出一种基于改进哈希编码的路由查询匹配算法。利用哈希函数压缩数据名字,采用状态转换阵列实现名称最长前缀的快速匹配,将路由节点缓存因素引入路由决策,采用仿真对比实验对算法的性能进行测试。结果表明,与其它路由查询匹配算法相比,本文算法不仅降低了数据内存开销,大幅度减少平均查询时间,而且提高了数据路由查询的效率。     

一种对象存储设备中自适应动态预取策略

在对象存储系统中,对象存储设备具有很高的智能和处理能力,它负责对象及其属性的数据组织和管理,向外提供基于对象的访问接口。每个对象均具有属性,它反映了对象的某些特征。通过为每个对象自定义一个预取属性页,对用户访问对象存储设备的规律进行智能的自我学习,从而实现一种高效的、自适应的动态预取算法,可以提高对象存储设备的预取命中率,从而提高对象存储设备的性能。     

一种快速的键控散列算法

介绍了MD5算法及对它的安全性能分析,提出了一个基于MD5的键控散列算法。新算法具有一个可变长度密钥,输出256位的报文鉴别码(MAC)。分析了新算法的安全性和运行效率,结果表明,该算法安全,运行效率高。     

基于通用带权分布式哈希表的数据放置算法研究

研究了动态网络环境下基于网络的存储系统的数据放置算法,分析了现有的数据放置算法,提出了通用带权分布式哈希表算法.与相容哈希算法和对数算法定义的评判函数相比,考虑了各个节点的存储空间、数据分发节点与数据存储节点之间的物理距离、网络带宽等的限制.仿真结果表明,该算法能够实现数据的公平分发.