副本放置中的更新策略及算法

副本技术广泛应用于云计算及分布式系统中,合理的数据副本放置是降低网络运行成本的重要手段,也是副本技术的核心问题。副本更新是针对网络中数据访问请求的动态变化而进行的副本添加与删除。针对副本放置问题,提出了一种基于多访问策略的副本动态更新算法MPFSF(min_placement far servers first)。该算法在引入通信距离限制的同时,尽可能多地重用网络中已存在的副本,并根据需要实施必要的副本更新,最大使用每个副本的处理能力,以便降低数据访问的时延,提高数据访问效率。最后通过实验结果和分析证明,该算法在不同的通信距离限制下,网络的运行成本得到了明显的降低,对原有算法的改进最高可达84.6%。     

FC-SAN中的数据放置和访问路径选择的代价模型

网络化存储通过引入网络的概念将存储独立于服务器甚至通信网络,已经成为传统存储方式的有力替代者.然而,FC-SAN虚拟存储方式的存储性能依赖于存储对象的某些属性,在某些情况下,其性能甚至不如传统的LAN数据共享方式.就FC-SAN虚拟存储方式中的数据放置和访问路径选择对这一问题进行了研究.首先通过分析虚拟存储原理提出了一个数据访问耗时的线性模型;然后,就数据放置和访问路径选择提出了一个决策方法;并在进一步探讨这一方法的过程中，定义了“虚拟存储代价当量”的概念，用以评价FC-SAN虚拟存储环境中的数据放置的代价，从而为评价以及如何选择数据放置和访问路径提供了一种定量的手段.最后，在数字图书馆的一个海量存储原型系统中对上述的理论分析、各种条件进行了实验验证，并结合实际给出了“虚拟存储代价当量”的计算方法，验证了所提出的方法的有效性.     

分布式计算中可靠的数据放置方法

数据放置活动在以计算为主的分布式计算中被看作是次要的任务。文章将数据放置工作与计算工作区别对待,定义分布式计算过程中的数据放置模型,给出数据放置协议和可靠的数据传输算法,使得数据放置活动在分布式计算中像计算工作一样被排列、调度、监控、管理以及检测。对数据放置方法进行了系统的评价,取得了较好的效果。     

数据网格中服务质量感知的副本放置方法

可靠的服务质量是数据网格应用的关键因素之一.服务质量感知的副本放置问题在传统模型中加入个体服务质量约束,可满足QoS严格的数据网格应用需求.针对现有副本放置算法不支持多属性约束、可扩展性不高等缺点,提出一种基于矩阵操作加速的3阶段副本放置算法TP-GABMAC算法,并引入副本环处理副本更新和一致性维护问题.分析和实验表明,TP-GABMAC算法具有稳定性好和可扩展性强的特点,在多种网络拓扑、访问模式和负载条件下均能获得合理的副本策略.     

云存储智能多数据副本放置机制

数据副本管理机制是云存储系统的重要组成部分。为了提高云存储系统的可伸缩性、可靠性,同时改善用户访问时间,通常采用多数据副本机制,并且需要解决数据副本放置问题。为此,提出了一种用于云存储系统的智能多数据副本放置机制。该机制基于p-中心模型,以最小化访问代价为优化目标,基于遗传算法（genetic algorithm,GA）确定优化的数据副本放置方案,基于生物地理学优化（biogeography-based optimization,BBO）算法确定用户访问请求对数据副本的优化分配。基于CloudSim进行了仿真实现和性能评价,结果表明,云存储智能多数据副本放置机制是可行和有效的。     

云环境下副本优化放置策略研究

为了提高云计算数据调度和副本访问的效率,对副本策略中的副本放置问题进行研究,提出一种基于蚁群算法的副本放置策略。根据自然界中蚁群觅食的原理,把蚁群算法应用于副本放置的整个过程; 利用信息素的动态更新以及拉普拉斯概率分布改进的蚁群算法得出一组最优解进行副本放置。在CloudSim平台上进行了仿真模拟,实验结果表明,提出的方案在平均作业完成时间、网络利用率和负载均衡度上均优于原始蚁群算法,并在一定程度上降低了副本放置的时间消耗和网络负载。     

内容分发网络中带容量和能力约束的副本放置问题研究

副本放置问题是内容分发网络中的一项关键技术,已有的副本放置模型未考虑服务器的负载能力,本文研究考虑了基于内容分发网络服务器存储容量约束与服务能力约束的副本放置问题,建立了双约束的副本放置模型,设计了贪婪算法,把两阶段的模型求解转化成求解一系列的单服务器节点的最小费用流模型,获得了副本放置策略和用户请求重定向策略,并分析了算法的复杂性。     

基于萤火虫优化的副本放置方法

在云计算环境下分布式存储系统中,通常采用副本技术保证存储系统的可用性和可靠性,放置策略是副本技术的一个关键问题。针对现有副本放置策略中存在的副本访问开销大的问题,提出一种基于离散型萤火虫优化的副本放置算法。考虑副本放置对用户访问性能的影响,对其建立数学模型,计算萤火虫位置的适应度函数,并朝着荧光素值最大即最优值移动,进而得到合适的副本放置节点。通过仿真实验评估提出的方法,并与基于蚁群算法的副本放置策略进行比较。实验结果证明该算法能够选择合适的副本放置节点,具有较好的收敛性,并有效地降低存储系统的副本访问开销。     

数据网格中请求呈现分组特性的副本管理策略研究

在数据网格中,数据使用模式将影响系统性能.根据一些实际系统的测试结果,数据请求呈现出分组特性.为研究当数据请求呈现分组特性时请求分布与副本分布的关系,首先定义了数据网格中副本复制策略的模型,然后研究在数据请求呈现分组特性时平均访问延迟最小的最优策略.采用拉格朗日乘子法以及二分法对上述模型进行求解,得到了一个在请求分组模式下的最优下载副本策略.通过模拟实验对最优策略以及均匀复制策略、比例复制策略、平方根复制策略、LRU缓存策略的性能进行了比较.结果表明,最优策略所需广域网带宽最少,平均访问延迟最小.     

HDFS数据副本均衡放置策略的改进

HDFS默认的数据副本放置策略仅仅只根据磁盘空间使用单个指标进行负载衡量,无法实现各节点真正的负载均衡。提出了一种基于性能的副本负载均衡放置改进策略,从磁盘空间负载能力、CPU处理能力、内存处理能力、磁盘读写处理能力、带宽等5个方面考究节点实际工作负载,并定义了一个负载能力模型。实验结果表明,该改进策略比默认策略能更好地实现副本的均衡放置。     

一种优化MapReduce系统能耗的数据布局算法

在云计算技术和大数据技术的推动下,IT资源的规模不断扩大,其能耗问题日益显著.研究表明:节点资源利用率不高、资源空闲导致的能源浪费,是目前大规模分布式系统的主要问题之一.研究了MapReduce系统的能耗优化.传统的基于软件技术的能耗优化方法多采用负载集中和节点开关算法,但由于MapReduce任务的特点,集群节点不仅要完成运算,还需要存储数据,因此,传统方法难以应用到MapReduce集群.提出了良好的数据布局可以优化集群能耗.基于此,首先定义了数据布局的能耗优化目标,并提出相应的数据布局算法;接着,从理论上证明该算法能够实现数据布局的能耗优化目标;最后,在异构集群中部署3种数据布局不同的MapReduce系统,通过对比三者在执行CPU密集型、I/O密集型和交互型这3种典型运算时的集群能耗,验证了所提出的数据布局算法的能耗优化效果.理论和实验结果均表明,所提出的布局算法能够有效地降低MapReduce集群的能耗.上述工作都将促进高能耗计算和大数据分析的应用.     

大规模网络存储系统的数据布局策略研究

如何有效地对数据进行布局是大规模网络存储系统面临的重大挑战,需要公平、冗余、自适应、高可靠以及高可用的数据布局策略.根据大规模网络存储系统体系结构的发展,详细介绍了P2P系统、SAN存储系统以及对象存储系统的数据布局策略,最后总结和比较了各种布局策略的优缺点,并指出基于数据重要性以及访问热度的数据布局策略等是未来可能的研究方向.     

大规模网络存储系统的数据布局算法研究

可扩展和可靠的数据管理是实现大规模网络存储系统的关键技术,需要一个能够自适应存储规模变化、公平、冗余、高可用的数据布局算法。本文根据不同的设计目标以及存储环境的同构和异构特性,分析了四类布局算法:同构的布局算法、非冗余的异构布局算法、冗余的异构布局算法和高可用的布局算法。对现有布局算法存在的问题进行了讨论,并指出了未来的研究方向。     

一种灵活可扩展的跨洲际数据放置实验床

随着大数据时代的到来,不同领域的科研人员往往需要跨科研机构甚至是跨国家地域的移动大规模科学数据,从而更好的共享科研数据并促成跨学科协同分析,加速观测数据向科学发现的转化。然而,现有的研究工作缺乏对广域网环境下影响数据放置性能、开销和资源消耗等因素的深入分析,这些因素包括数据集中文件的数量和大小分布、源和目的节点文件系统的性能特性、各节点间网络性能的波动以及 IPv4/IPv6 网络协议的可用性等。为了更好的研究广域网环境下影响科学数据放置性能的多种因素,本文在中美真实网络环境下搭建了一种灵活可扩展的跨洲际数据放置实验床,并将其作为基础设施开放给科研人员用于运行多种类型的数据放置实验。     

实现能量均衡消耗的传感器网络节点摆放策略

在传感器网络技术应用的民用领域中,采集信息的传感器节点位置固定,并且有些距离汇聚节点太远,需要加入中继节点转发数据。一些中继节点由于承担了过多的数据量而过早耗尽能量,影响了网络的生存周期。该文针对该种情况,提出了一种实现各节点能量均衡消耗的中继节点多级摆放策略,研究了如何通过调整中继节点的摆放位置和转发数据量,使传感器节点和中继节点在每一轮的数据传输中消耗相同的能量。基于该策略,还研究了中继节点数目与网络生存周期之间的关系,为延长网络生命周期和减小中继节点数目的折中提供了一种参考。     

基于水印与属性筛选的用电数据泄露溯源方法

用电数据涉及客户隐私,在分发共享过程中存在泄露风险,数字水印是实现泄露溯源追责的有效手段。而水印植入将导致数据偏移,影响数据分析可用性,且部分数据泄漏时溯源效果不够理想。本文提出一种基于子水印和属性筛选的用电数据泄露溯源算法WRTA,该方法通过利用信息增益率和基尼系数计算数据属性的重要程度,通过密钥和主键随机选择非重要属性来构建子水印,并且兼顾数据分析可用性和安全性,实现部分数据泄露的溯源。     

实时低功耗飞行器神经网络

为了满足飞行器实时飞行过程中对大量异构输入数据的信息处理需求,文中提出了一种神经网络,其包括卷积定点滑动核、池化压缩量化核以及全连接压缩融合核,将飞行器异构传感器多路并行数据作为系统的输入,将辨识结果作为系统的输出.卷积滑动窗口核通过排除冗余数据的滑动窗快速实现数据特征的提取;池化压缩量化核使用压缩量化技术来提高系统的...     

云计算中的数据放置与任务调度算法

在海量数据的云计算中,通常面临着数据传输时间长的问题.针对目前大多数数据放置与任务调度算法存在的副本静态性和传输标准精确度的不足,提出了一种动态调整副本个数、以时间作为衡量数据传输标准的数据放置与任务调度算法.该算法根据数据访问频率和存储大小,动态地调整副本个数,一方面减少了低访问率副本对存储空间的浪费;另一方面也减少了高访问率副本所需跨节点传输次数.考虑到节点间网络带宽的差异性,确定以数据传输时间作为传输衡量标准,提高了传输标准的精确度.实验结果表明,除了任务集和网络节点均较少的情况外,该算法均能有效地减少数据传输时间,甚至在任务集合和网络节点较多的情况下,能减少近50%的传输时间.     

基于Orbital Shrinking的数据中心虚拟机最优放置算法

摘要：虚拟机放置技术能够控制智能电网数据中心物理服务器的资源使用,将有效提升资源使用效率。虚拟机放置策略的思路主要基于时间、空间、计算资源和能耗的综合均衡,其主要面临的瓶颈包括鲁棒性和灵活性的平衡矛盾,以及有限资源的非均衡分配问题。根据当前电力数据中心结构复杂和资源利用率低的问题,本文提出一种基于Orbital Shrinking的数据中心虚拟机最优放置算法,首先研究虚拟机放置的数据中心适用性问题,有效地从多维目标优化和边界动态约束这2方面分析数据中心的资源状态。基于Orbital Shrinking模型,建立计算资源、时空状态和能耗条件的多维背包模型,实现虚拟机放置策略的整体平衡。通过实验仿真表明,新算法能够有效提升数据中心服务器的计算资源利用效率9.8%,降低数据处理时延10.3 s。