异构存储感知的Ceph存储系统数据放置方法

Ceph分布式存储系统正成为广泛使用的开源云环境存储解决方案。异构存储如果应用有效的数据管理策略,则能够在保持低成本的同时提供大容量和高性能存储。在Ceph中使用异构存储设备不能有效发挥异构存储设备的性能,由于数据的多个副本可以存放到不同的存储介质中,因此不同的副本组合的性能和成本都不一样。针对Ceph提出一种面向异构存储的数据放置方法,通过划分多种不同的副本组合,根据数据热度和读写比例将不同的数据放到不同的副本组合上,在提升系统性能的同时有效地控制了系统容量成本。     

基于Ceph云存储的磁盘利用率研究

云存储以其强大的容错性、部署的灵活性、可扩展性、维护的便捷性等优势,在各行业得到普遍推广和广泛应用,但是因云存储数据冗余保护的需要,高消耗是其不可避免的弊端.如何降低其磁盘空间的消耗,对云存储系统的成本优化意义重大.本文基于Ceph文件系统,研究文件和磁盘的映射关系以及数据冗余和磁盘利用率的关系,对云存储的实际生产运行有重要意义.     

基于Ceph文件系统的元数据缓存备份

针对Ceph文件系统元数据写操作响应时间较长的问题,提出一种对元数据缓存进行备份的方案。该方案采用多个元数据服务器之间互相备份写缓存数据的方法,保证元数据的可靠性,并设计基于元数据热度的多队列缓存组织结构,以及相应的缓存预取与倒盘算法。实验结果表明,与原始的Ceph系统相比,该方案的元数据访问性能提升15.7%。     

Ceph分布式系统的ISCSI高可用集群

在分布式存储集群环境中,为了兼容现有存储协议,提高集群可扩展性,通常都会支持ISCSI存储协议.而现有ISCSI服务的高可用主要通过主从备份的方式实现,该方式会导致资源利用不充分,容易造成单节点负载过重等情况.本文基于Ceph分布式存储系统的优势,采用raft一致性算法等设计并实现ISCSI高可用集群.ISCSI集群使用自定义的节点选择策略实现服务负载均衡,并通过raft分布式协议实现服务故障迁移.实验表明,本文提出的方案是有效的,能够实现服务故障迁移,保证集群负载均衡.     

基于MapReduce虚拟集群的能耗优化算法

随着全球能源危机的出现,许多研究者开始关注数据中心的能耗问题。在满足用户需求的前提下,减少数据中心的活跃节点个数能够有效地降低其能耗。传统的减少活跃节点的方式是虚拟机迁移,但虚拟机迁移会造成极大的系统开销。提出一种基于MapReduce虚拟集群的能耗优化算法--在线时间平衡算法OTBA,能够减少活跃物理节点数,有效降低数据中心的能耗,并且避免了虚拟机的迁移。通过建立云数据中心的能耗模型、用户提交服务的排队模型和评价作业完成质量的作业运行模型,确定了数据中心节能模型的目标函数和变量因子。在线时间平衡算法是基于虚拟云环境和在线MapReduce作业的一种节能调度算法,能够在虚拟机的生命周期和资源利用率之间做出权衡,使数据中心激活的服务器达到最少,能耗降到最低。此外,该结果通过仿真和Hadoop平台上的实验得到了验证。     

基于Ceph对象存储集群的负载均衡设计与实现

海量并行数据访问ceph对象存储集群时,会出现访问数据错误率增加和访问速率降低的问题.首先设计和部署ceph对象存储集群,根据用户请求数设计对象网关节点,实现用户数据的交互功能,然后在服务节点安装和部署haproxy,实现服务节点的负载均衡功能,能够降低服务节点的压力,最后设计和实现四种基于ceph对象网关节点的存储集群.通过大量对比测试,本设计方案的数据访问错误率降低0.96%,用户数据的访问速率提升74.04%.     

基于Docker的云资源弹性调度策略

针对云资源弹性调度问题,结合Ceph数据存储的特点,提出一种基于Docker容器的云资源弹性调度策略。首先,指出Docker容器数据卷不能跨主机的特性给应用在线迁移带来了困难,并对Ceph集群的数据存储方法进行改进;然后,建立了一个基于节点综合负载的资源调度优化模型;最后,将Ceph集群和Docker容器的特点相结合,利用Docker Swarm实现了既考虑数据存储、又考虑集群负载的应用容器部署算法和应用在线迁移算法。实验结果表明,与一些调度策略相比,该调度策略对集群资源进行了更细粒度的划分,实现了云平台资源的弹性调度,并在保证应用性能的同时,达到了合理利用云平台资源和降低数据中心运营成本的目的。     

MapReduce集群环境下的数据放置策略

MapReduce是一种适用于大规模数据密集型应用的有效编程模型,具有编程简单、易于扩展、容错性好等特点,已在并行和分布式计算领域得到了广泛且成功的应用.由于MapReduce将计算扩展到大规模的机器集群上,处理数据的合理放置成为影响MapReduce集群系统性能(包括能耗、资源利用率、通信和I/O代价、响应时间、系统的可靠性和吞吐率等)的关键因素之一.首先,对MapReduce编程模型的典型实现——Hadoop缺省的数据放置策略进行分析,并进一步讨论了MapReduce框架下,设计数据放置策略时需考虑的关键问题和衡量数据放置策略的标准;其次,对目前MapReduce集群环境下的数据放置策略优化方法的研究与进展进行了综述和分析;最后,分析和归纳了MapReduce集群环境下数据放置策略的下一步研究工作.     

基于Ceph的OpenStack存储克隆链

当OpenStack使用Ceph作为存储后端时,由于Ceph内部本身克隆机制,导致OpenStack云平台存储管理容易出错且效率低。为了解决和优化OpenStack使用Ceph作为存储后端时在存储管理技术方面的不足,本文在开源云平台OpenStack的基础上,通过后端存储Ceph查询各对象在后端的表现形式,递归查找卷或快照的子链路,实现OpenStack存储克隆链功能,并通过Django和Angular JS实现克隆链可视化。通过克隆链展示,可以清晰地了解OpenStack各存储对象之间的关系,提高OpenStack存储管理效率。      

多指标自趋优的GPU集群能耗控制模型

在大规模流数据实时处理领域中图形处理器(graphics processing unit, GPU)集群是一种重要的并行计算系统,对计算速度、能耗和可靠性3项指标都有较高要求.然而各指标互相约束,在实时计算中需要动态寻找最优均衡点,因此GPU集群中多项性能指标实时优化成为一个具有挑战性的问题.为综合考虑计算速度、能耗和可靠性3项指标,利用极大熵函数法把多项指标转化为一个综合性能评价指标,再以模型预测控制理论为基础构造一个自适应强的控制模型,该模型能够依据计算负载的变化动态调整集群内节点的能耗状态,在保证计算速度和可靠性的前提下消减冗余计算能耗.与未考虑可靠性的基准控制模型进行对比实验,结果表明所提出的模型具有较好的控制稳定性和鲁棒性,适合应用到GPU集群节能管理中.     

基于能耗的无线传感器网络最优簇首数研究

在无线传感器网络中,如何减少系统能耗、延长网络生存时间是最具挑战性的问题之一。LEACH路由协议通过网络分簇和簇首循环,使网络能量负载平衡,从而达到降低能耗的目的。该协议的关键是簇首数的选择,其最优值可使网络能耗降到最低。在深入研究LEACH协议及其能量模型的基础上,提出了一种最优簇首数的估算算法,并通过蒙特卡洛仿真验证了该算法的正确性。所得结论对无线传感器网络结构和路由协议的设计具有指导作用。     

零能耗小屋能源管理与智能监控系统的设计与实现

针对2013中国国际太阳能十项全能竞赛比赛规则及零能耗建筑的特点,结合比赛地点山西大同的气候数据,给出了厦门大学参赛作品,零能耗小屋Sunny Inside的能源管理与智能监控系统设计方案.以光伏建筑一体化理论为基础,设计15.25kW光伏并网发电系统,并用相关软件对能耗平衡进行了模拟验证.以三菱PLC为核心,构建了能源管理与智能监控系统,分析了不同条件下空调、相变及遮阳系统的控制策略,并给出具体实现方法.     

机会网络中基于能量消耗的缓存管理策略

为了减少机会网络中节点的能量消耗,均衡各节点之间能量使用情况,延长网络寿命,提出基于能耗的缓存管理策略。在节点缓存空间有限的情况下,所提出的算法根据周围邻居节点能量的使用情况,动态调整节点用于缓存转发消息空间的大小,从而减少节点在存储-转发过程中的能量消耗。同时,为了避免传统休眠机制的能耗路由算法中由于目的节点休眠而导致消息投递失败的情况,引入了新的Inactive节点状态。实验仿真表明,与定时休眠机制的能耗算法比较,采用基于能量消耗的缓存管理策略能够使得机会网络中所有节点的整体能耗降低50%左右,并且节点之间能耗的标准差降低80%以上。     

基于多关节机器人的能量最小消耗控制策略*

为了能够在有限的能量供给的情况下延长机器人运行时间,针对此类机器人在运动中的耗能问题,提出一种通过改进梯形升降速算法来实现多关节机器人能量最小消耗的控制方法。首先对多关节机器人的协调控制及能耗问题进行了研究,利用梯形升降速算法的速度函数与伺服电机耗能之间的关系推导出该算法的能量函数;然后通过求解能量函数最小值,得出梯形速度曲线基于能量最优的时间参数,利用该时间参数来设定伺服电机各运动阶段的时间,使机器人耗能最小。最后通过实验计算及分析,验证了所述控制策略在解决机器人耗能最小化问题上的有效性。     

具备网络编码感知的能耗友好WSN路由策略

为均衡及降低无线传感器网络(WSN)的路由能耗并最终延长网络的寿命,提出一种具备网络编码感知且能耗敏感的WSN路由策略。该策略通过对WSN环境中存在的网络寿命限制、数据流限制、广播流量限制3个重要因素的分析,对能耗最优路由进行建模,最后归结为对最优化问题的求解获得最佳路径。仿真实验表明该路由策略能够较好地均衡节点的能耗,从整体上显著延长WSN的生存期。     

海量存储系统能耗评测模型的研究

针对海量存储系统能耗建模的问题, 在理论研究的基础上用数学语言描述系统能耗的各个组成部分, 并进行整合以得出系统整体的能耗模型。通过模型估算值与实际测试值的对比, 验证了该能耗模型的有效性和可用性, 为海量存储系统能耗预估以及制定相关能耗模型提供了思路。     

基于网格拓扑的无线传感器网络低能耗路由策略

针对无线传感器网络的能量消耗,提出了一种新型高效的低能耗路由算法。基于网格拓扑结构,主要解决了延迟约束下的中继节点选择问题。通过将问题转化为0～1整数线性规划,可以得到最终的中继选择。所研究的算法主要应用于实时无线传感器网络系统,它能够在满足延迟约束的条件下给出低能耗的路由策略。仿真结果表明:提出的算法能有效地减少无线传感器网络的能量消耗,延长网络寿命。     

基于SSD数据库负载的SQL能耗感知模型

面对大数据带来的能耗及环境方面的严峻问题，构建节能的绿色数据库系统已成为关键需求和重要挑战。针对现有数据库系统主要以性能优化为目标，缺少对能耗的感知及优化的问题，提出基于数据库负载的能耗感知模型，并将模型应用于基于固态硬盘（SSD）的数据库系统中。首先，将数据库负载执行过程中对主要系统资源（CPU、固态硬盘）的消耗解析为时间开销和功耗开销，并基于SSD数据库负载的基本I/O类型构建时间开销模型和功耗开销模型，实现为数据库构建资源开销单位统一的能耗感知模型；然后，利用多元线性回归实现对模型的求解，并分别在独占环境和竞争环境下，验证模型对不同I/O类型的数据库负载能耗估算的准确性；最后，分析实验结果，并讨论了影响模型准确性的因素。经实验验证模型准确度较高，在DBMS独占系统资源情况下的平均误差为5.15%，绝对误差不超过9.8%；竞争环境下的准确率相对下降，但平均误差也低于12.21%，可有效构建能耗感知的绿色数据库系统。     

基于猴群算法的混合动力汽车能量管理策略

混合动力汽车通常由两种不同的动力源驱动,对于驾驶员需求,如何分配动力源的输出,使得整个循环的耗油量达到最小是混合动力系统控制表示法需要解决的问题。实际汽车中各部件模型是非线性的,而且受到约束,结合猴群算法理论,提出了基于猴群算法的能量管理策略。对505及NEDC等标准工况进行了仿真,结果表明,猴群算法用很小的猴群就可以很快收敛到全局最优解,寻优能力强,可以实现低油耗。