云平台中MySQL数据库高可用性的设计与实现

为解决OpenStack云平台中单个节点的MySQL数据库在面临高并发访问和海量数据增长的情况下存在可靠性低、存储扩展性差、单点瓶颈等问题,设计并实现一种以Ceph分布式文件系统为存储后端的高可用MySQL数据库集群系统。通过集群技术消除基于独立服务器的单点瓶颈问题,保障业务的可靠性和高可用性,设计一套优化模型提高故障切换效率,底层的Ceph分布式文件系统为数据存储提供扩展性和安全性。实验结果表明,该MySQL高可用集群可以实现存储的扩展和节点失效情况下的故障切换,该优化模型可以有效降低故障切换时间。     

存储中的副本分级存储调度策略

当集群中的部分节点是廉价主机时,采用HDFS的随机存储策略可能使访问频率高的数据存储在廉价节点上,受到廉价节点的性能影响,访问时间过长,降低了集群效率。为改善以上问题,提出一种改进的副本分级存储调度策略。为减少副本调度的次数,先根据节点的CPU、内存、网络、存储负载以及网络距离来评价节点的性能,再从中选取高性能节点进行存储。副本调度以节点中副本的访问频率为依据,结合硬件配置,把访问频率高的副本尽可能存储在高性能、高配置的节点中,以加快集群响应速度。实验结果表明,改进后的策略可以在异构集群中提高副本的访问效率,优化负载均衡。     

Ceph分布式系统的ISCSI高可用集群

在分布式存储集群环境中,为了兼容现有存储协议,提高集群可扩展性,通常都会支持ISCSI存储协议.而现有ISCSI服务的高可用主要通过主从备份的方式实现,该方式会导致资源利用不充分,容易造成单节点负载过重等情况.本文基于Ceph分布式存储系统的优势,采用raft一致性算法等设计并实现ISCSI高可用集群.ISCSI集群使用自定义的节点选择策略实现服务负载均衡,并通过raft分布式协议实现服务故障迁移.实验表明,本文提出的方案是有效的,能够实现服务故障迁移,保证集群负载均衡.     

基于Zynq的TTP/C总线节点备份与再整合

TTP/C总线节点的备份与故障节点的再整合是提高总线可靠性与实用性的有效方法。参考 TTP/C 总线协议,在自主设计的基于Zynq的TTP/C总线控制器上设计了一种节点备份与再整合的方法,保证节点故障后可以重新整合进入集群,或者启用备份节点来保证集群的正常功能,最后通过试验验证了所设计的节点备份与再整合方法的有效性。     

基于iSCSI存储集群的设计与实现

为了节约成本,提高系统的可用性,通过研究iSCSI与存储集群的特点,提出将iSCSI应用到存储集群中的方案.分析了心跳检测、故障迁移、数据镜像等技术,在设计心跳检测时,通过增加失效点阀值提高检测的正确性,故障迁移利用ARP欺骗原理来完成,数据镜像则使用同步模式来保障数据的一致性.最后实现了一款高可靠、高可用基于iSCSI的存储集群系统,并对存储系统性能进行了测试.     

集群重复数据删除策略的研究

提出了集群内的全局重复数据删除方案,运用Bloom Filter技术为集群中存储的所有数据块建立快速索引的摘要信息,组成一个可以检测重复数据的指纹摘要阵列(FSA),分布在存储节点前端的控制服务器,控制服务器节点将客户端发送到的数据块指纹合并成若干粒度大小均匀的超块,进行重复数据的检测,然后将超块有状态地路由到各个存储节点进行数据删重。利用FSA检测全局范围内所有存储节点之间的重复数据,获取较高的重复数据删除率,极大的提高了内存空间的利用率。     

联想多点集群完善SAN

联想多点服务器集群系统是一个商用的企业级全光纤集群解决方案,它可以提供全面的可用性管理,把计划的和非计划的停机时间降到最低。该方案基于联想 SureFibre 光纤磁盘柜和万全系列服务器,提供多节点的集群服务。能够满足企业日益增长的数据量需求以及不断发展的全球电子商务模式对数据的不间断要求。它能够完善企业的 SAN 环境,既可以通过光纤直接连到磁盘阵列,也可以通过光纤交换机到“存储池”。方案功能该系统具有良好的扩展性,支持2～32个节点的集群服务器;支持Oracle,Sybase,Informix,SQL,Lotus,Exchange,ⅡS 数据库的代理程序,还将委托软件厂商合作开发新的支持其他应用的代理程序。可配置用于确定恢复故障切换的最优     

异构Hadoop集群下的比例数据分配策略

针对异构Hadoop环境下仍采用均等的数据分配方法将严重降低MapReduce的性能,提出比例数据分配策略。通过计算异构集群中各节点的计算比率,将已经分割好的数据块重新进行组合,形成数个按比例划分的数据块。每个节点根据自身性能来选择所分配和存储的数据块,从而使异构Hadoop集群中各节点处理数据的时间大致相同,降低节点之间数据的移动量。实验验证了提出的比例数据分配方法可以有效地提高MapReduce的性能,并使数据负载均衡。     

对等结构的混合集群的层次化存储策略研究

随着分布式存储系统的规模迅猛增长,能耗问题日益凸显。在存储集群混合低能耗节点已成为解决能耗问题的重要途径之一。针对如何在对等结构的混合集群中区别使用不同类型存储节点的问题,在一个对等结构分布式系统ZDFS上设计并实现了一种基于对等结构的层次化存储策略——虚拟节点分层重映射(VHR)。该策略不影响对等结构的高拓展特性,使系统可自动区分使用不同类型存储节点,可操作性强。实验在真实X86和ARM混合集群上进行。实验表明,VHR实验组运行良好,充分发挥了不同类型存储节点的优势,在性能降低不明显的情况下,整体能耗水平降低了44.8%。     

基于云存储的二阶段动态优化调度机制

在分布式存储的研究中,如何高效地利用存储空间是个热点问题.存储集群中,每个数据节点存储容量不可能完全一致,由于主节点选择数据节点的随机性,被选中数据节点磁盘可能接近满额,此时主节点会自动做存储负载均衡,占用数据传输带宽,不仅影响数据传输的性能,而且会引起传输数据的不可靠.论文提出一种基于云存储的二阶段动态优化调度机制：第一阶段通过计算副本存储优选比率,采用基于贪心算法的局部优化存储方案,选择存储节点,均衡副本放置空间;第二阶段采用实时监控存储集群,动态调整副本放置节点,达到存储资源的高效利用.最后通过实验,验证了该调度机制可有效地放置副本,减少节点间的数据传输,并提高文件访问效率.     

一种集群文件系统二级缓存协同置换算法

集群文件系统二级缓存置换算法中,某一存储节点的二级缓存单点不命中会破坏集群文件系统的并行性,从而降低其他存储节点二级缓存的效率,进而降低系统缓存的整体命中率。本文提出了存储节点间协同置换的概念,并设计了置换算法CMQ。仿真结果表明,与LRU、LFU和MQ等传统置换算法相比,CMQ算法命中率有了显著提高。     

集群RAID5存储系统可靠性分析

集群存储具有高并发性、高可扩展性、高性价比等特点,成为构建大型存储系统的一种重要技术.但随着系统规模的扩大,系统失效事件日益频繁,如何提高系统可靠性,保证数据持续、有效地访问就成为一个必须解决的问题.集群RAID系统是传统RAID技术在集群存储上的延伸,是有效解决可靠性问题的一种方案.出于设计集群RAID5系统的需要,提出了一种基于Markov模型的集群RAID5存储系统的可靠性模型,用以定量分析存储拓扑结构、节点/磁盘平均失效时间、重构速率等参数对集群RAID5系统可靠性的影响.分析表明:1.多层集群RAID5具有比单层集群RAID5更高的系统可靠性,更适合构建集群RAID系统;2.提高重构速率能够带来近似等幅的可靠性提升;3.在保持可靠性不变的前提下,提高重构速率能够降低系统对节点平均失效时间的需求,10倍的重构速率提升最多可以使得系统对节点平均失效时间的需求降低到原来的1/7.     

基于HDFS的创新知识云平台存储架构的研究与设计

针对现有存储结构无法满足海量创新知识带来的存储及服务需求的问题,提出一种改进的HDFS(Hadoop Distributed File System)分布式存储系统并应用到创新知识云平台。首先引入包文件及分布式索引服务,改进HDFS小文件存储的效率问题,然后通过优化HDFS的命名空间备份及故障恢复服务,实现可用性更强、资源利用率更高的HDFS高可用架构。通过系统的设计和实现证明优化工作大大降低了命名节点的内存压力,提高了集群的可用性,并且改进的HDFS存储系统可以满足创新知识云平台的存储需求。     

Linux集群将受宠

对于医药、生命科学、基因解析、天气分析、地质勘探等有密集运算需求的企业和研究机构来说,集群系统是他们的最佳选择,而基于 Linux 的集群技术则又以其高性价比得到了用户的青睐,例如 IBM 推出的 Linux 集群技术的 LC1300已经在辽河油田、新疆油田、青海油田等企业得到了应用。不久前IBM 又推出了 LC1300集群系统的升级产品Linux Cluster 1350(即 LC1350)。集群系统一般可分为四大部分:计算单元或节点(node);管理单元或管理节点;集群管理软件和网络。LC1350的最高配置可以达到1个管理节点和256个存储/计算节点,其中管理节点使用的     

一致性哈希的数据集群存储优化策略研究

结合虚拟节点技术和均分存储区域技术,提出了嵌套循环式数据一致性哈希优化分布式集群存储的多副本放置策略．按照此优化策略,能够有序选择数据副本机架,确定数据节点存储位置,保证数据存储的均衡性分布,可以针对集群的实际要求开展扩展,并按照扩展情况制定使数据存储完成自适应优化调整,加快数据处理的速度．有效实验表明存储优化后算例的执行速度得到很大提升,能够保证解决负载均衡问题;而针对实际情况中可能出现的扩展与删减问题进行测试后表明,使用优化存储策略处理此类问题时,振荡对整体负载均衡影响不大,且执行时间与负载占比变化趋势一致.     

基于Ceph对象存储集群的负载均衡设计与实现

海量并行数据访问ceph对象存储集群时,会出现访问数据错误率增加和访问速率降低的问题.首先设计和部署ceph对象存储集群,根据用户请求数设计对象网关节点,实现用户数据的交互功能,然后在服务节点安装和部署haproxy,实现服务节点的负载均衡功能,能够降低服务节点的压力,最后设计和实现四种基于ceph对象网关节点的存储集群.通过大量对比测试,本设计方案的数据访问错误率降低0.96%,用户数据的访问速率提升74.04%.     

集群技术在税务信息集中的应用

基于集群计算思想建立的集群系统可以为市级税务部门信息处理大集中提供服务器平台。集群系统由处理计算节点集群、SAN存储系统、数据库管理集群、集群内部互连网络、外部服务网络和集群管理控制台等6部分组成。通过对山东地税系统使用基于集群技术的税务大集中应用案例的分析和测试,显示了集群技术应用在税务大集中项目中的先进性、优越性和实用性,完全可以满足市级税务大集中的应用需求,具有广阔的应用前景。     

一种异构集群中能量高效的大数据处理算法

集群的能量消耗已经超过了其本身的硬件购置费用,而大数据处理需要大规模的集群耗费大量时间,因此如何进行能量高效的大数据处理是数据拥有者和使用者亟待解决的问题,也是对能源和环境的一个巨大挑战.现有的研究一般通过关闭部分节点以减少能量消耗,或者设计新的数据存储策略以便实施能量高效的数据处理.通过分析发现即便使用最少的节点也存在很大的能源浪费,而新的数据存储策略对于已经部署好的集群会造成大规模的数据迁移,消耗额外的能量.针对异构集群下I/O密集型的大数据处理任务,提出一种新的能量高效算法MinBalance,将问题分为节点选择和负载均衡两个步骤.在节点选择阶段采用4种不同的贪心策略,充分考虑到节点的异构性,尽量选择最合适的节点进行任务处理;在负载均衡阶段对选择的节点进行负载均衡,以减少各个节点因为等待而造成的能量浪费.该方法具有通用性,不受数据存储策略的影响.实验表明MinBalance方法在数据集较大的情况下相对于传统关闭部分节点的方法可以减少超过60%的能量消耗.     

基于纠删码技术的云存储数据块部署方案

针对云存储系统中因忽视集群中存储节点之间的差异而引起的存储代价过高、可靠性较低、节点负载能力不足等问题,提出了段排序交换算法（FSSA）.首先对数据块部署问题进行数学建模;然后根据各个节点的负载情况进行分段,并在各个分段中依据数据可靠性的需求对节点进行初步选择;最后根据数学模型中对目标函数的分析在分段选择的结果中选取适当的节点进行数据部署.仿真结果表明,采用FSSA算法可以在保证数据存储可靠性的基础之上,降低数据存储代价、增强系统负载均衡能力.     

Swift云存储环境下基于I/O的负载均衡算法

开源云计算平台Openstack的云存储服务使用普通硬件构建的服务器集群为PB级别数据提供冗余的、高可靠的、可拓展的数据存储。针对集群中一部分节点访问过热而另一部分节点资源利用不充分的情况,对核心模块Swift中最重要的组件Ring中用到的一致性哈希算法进行改进。实验结果表明,该算法能在最大程度兼顾负载均衡的同时提高存储资源的利用率,既考虑了集群中各节点的处理能力,同时也兼顾了当前负载,提高了集群系统的整体性能。