一类精确修复多个节点的简单再生码

海量数据环境下要求存储系统具有高扩展性、高可靠性和低成本等特点。大规模存储系统的节点因数目巨大而易频繁失效,为保证节点的可用性,系统会利用冗余数据对失效节点进行修复。作为一种新的容错技术,再生码可有效降低分布式存储系统中失效节点修复时需要的下载数据量。基于简单再生码,为分布式存储系统设计一种新的编码方式。它不仅可容忍多个节点同时出错并进行修复,而且编码形式简单并具有较高的码率。     

面向云端Key/Value存储系统的开销敏感的数据迁移方法

Key/Value存储系统在大规模、高性能云应用支撑方面扮演了重要的角色,对云端Key/Value存储系统而言,数据迁移是实现节点动态扩展与弹性负载均衡的关键技术.如何降低迁移开销,是云服务提供商需着力解决的问题.已有研究工作大多针对非虚拟化环境下的数据迁移问题,这些方法对于云端Key/Value存储系统而言往往并不适用.为应对上述挑战,将数据迁移问题纳入负载均衡场景解决.提出一种基于面积的迁移开销模型,该模型可以有效感知底层VM性能干扰状况,权衡迁移时间与性能衰减值.进一步提出一种开销敏感的数据迁移算法,该算法基于开销模型与均衡度制订数据迁移计划,选取最优的迁移操作.基于雅虎的云服务基准测试工具YCSB验证了该方法的有效性.     

自治分布式视频服务器中动态数据迁移研究

通过对VoD服务器扩展性的分析，提出了一种并行视频服务器结构——自治分布式视频服务器，它的结构是在不断扩展的过程中形成的。分析了它的数据迁移特点，提出了一种动态数据迁移算法，实验结果表明该算法是有效的。     

基于扩展属性的元数据管理算法

元数据的管理效率对大规模存储系统性能具有重要影响.在深入研究现有元数据管理算法的基础上,提出了一种基于扩展元数据属性的元数据分布算法.该算法通过对文件系统中目录进行编码并将编码作为Hash键值,有效解决了文件重命名导致的数据迁移问题,通过使用标志位,有效地解决了目前文件系统目录删除操作中使用递归遍历方式的低效问题,提升了大规模存储系统的元数据管理效率.     

基于Isolation Forest的并行化异常探测设计

异常探测具有广泛的应用,受到了工业界和学术界的共同关注。在众多异常探测方法中,Isolation Forest算法具有执行效率高、探测准确度好的特点,获得了众多应用。但是,传统Isolation Forest算法难以处理大规模数据。为解决此问题,设计了一种基于云计算平台的算法。具体地,使用Hadoop分布式存储系统和MapReduce分布式计算框架设计并实现了基于Isolation Forest的并行化异常探测算法PIFH。通过将探测模型构建和数据异常评价的过程并行化,提升了PIFH算法探测异常的执行效率,扩展了其应用范围。利用真实世界数据集验证了所提算法的执行效率和可扩展性。     

基于对象分组的集群存储系统可靠性分析模型

可靠性问题是研究大规模集群存储系统的一个重要方面。借鉴RAID的方法,提出基于对象分组在算法一级实现数据冗余分布的高可靠数据对象布局算法。在数据对象和存储节点失效时,利用冗余数据重构数据对象和存储节点,有效保证存储系统的高可用性。采用马尔可夫激励模型对存储系统进行定量的可用性分析,计算结果表明该方法是有效的。     

访问特征驱动的副本存储策略自动生成框架

大规模分布式数据存储是云计算和大数据时代的重要支撑技术.在分布式存储系统中,数据副本如何放置是一个基本问题.然而,现有可实用的算法或忽略应用具体的访问特征而牺牲效率,或拘泥于单一应用而不具备泛化能力.通过建立副本存储策略的统一描述模型以及提取应用的关键访问特征参数,定义出副本存储策略自动生成算法的输出和输入;通过机器学习的方法获得访问特征参数和最优副本存储策略参数之间的一般性关系,从而形成自动生成机制的核心算法.在提高存储系统访问性能及节约能耗等成本的同时,有效降低副本存储策略设计过程中的人工干预程度.     

基于存储熵的存储负载均衡算法

在分布式存储系统中,一般都是以磁盘空间利用率（DU）来判断各存储节点的负载均衡程度,当所有节点的磁盘空间利用率相等时,是整个分布式存储系统的存储负载均衡点。但是在实际的应用场景中,磁盘I/O速率比较低的存储节点和可靠性比较低的存储节点往往成为影响整个存储系统数据读写性能的瓶颈,因此在异构分布式存储系统中,特别是各存储节点磁盘I/O速率和可靠性差异较大的分布式存储系统中,如果仅仅以磁盘空间利用率作为存储负载均衡的判定条件,则其数据的读写效率必然受到限制。从读写效率的角度提出一种度量分布式存储系统中存储负载均衡的新思路。根据负载均衡理论和熵理论给出存储熵（SE）的定义,并提出一种基于存储熵的负载均衡算法,该算法通过系统负载判定、单节点负载判定和负载迁移实现了对分布式存储系统存储负载的量化调整,并通过实验与基于磁盘空间利用率的负载均衡算法进行了对比分析,验证了该算法对分布式存储系统中存储负载具有良好的均衡性,有效地控制了系统负载失衡的问题,提高了分布式存储系统的整体读写效率。     

一种基于条带的一致性散列数据放置算法

分布式存储系统作为数据存储的载体,广泛应用于大数据领域.纠删码存储方式相对副本方式,既具有较高的空间利用效率,又能保证数据存储的可靠性,因此被越来多的应用于存储系统当中.在EB级大规模纠删码分布式存储系统中,元数据管理成本较大,位置信息等元数据查询效率影响了I/O时延和吞吐量.基于位置信息记录的有中心数据放置算法需要频...     

基于HBase的大规模无线传感网络数据存储系统

无线传感网络(WSN)存在分布的跨区域性,随着无线传感网络的扩张,传感器数目增多,将产生大规模的传感数据。针对存储大规模无线传感网络数据的问题,提出了一个两层分布式存储架构,使用分布式数据库HBase存储跨区域的无线传感网络数据和全局数据存储管理目录,实现一个近实时的存储系统。实验结果证明,该系统有良好的扩展性、存储和查询效率。     

多机群网格的数据负载均衡模型

在多个计算机机群构成的网格环境下,为了提高异构资源的利用率,提出了一个数据负载均衡模型。根据查询节点的计算能力、存储能力、通信能力,研究了查询节点的性能模型。利用数据饱和度、数据负载矩阵、数据迁移技术描述了系统的数据负载均衡机制。试验结果表明：该模型适合海量数据的查询。     

A Group-Based Load Balance Scheme for Software Distributed Shared Memory Systems

Load balance is an important issue for the performance of software distributed shared memory (DSM) systems. One solution of addressing this issue is exploiting dynamic thread migration. In order to reduce the data consistency communication increased by thread migration, an effective load balance scheme must carefully choose threads and destination nodes for workload migration. In this paper, a group-based load balance scheme is proposed to resolve this problem. The main characteristic of this scheme is to classify the overloaded nodes and the lightly loaded nodes into a sender group and a receiver group, and then consider all the threads of the sender group and all the nodes of the receiver group for each decision. The experimental results show that the group-based scheme reduces more communication than the previous schemes. Besides, this paper also resolves the problem of the high costs caused by group-based schemes. Therefore, the performance of the test programs is effectively enhanced after minimizing the communication increased by thread migration.     

DDE: A Modified Dimension Exchange Method for Load Balancing ink-aryn-cubes

The dimension exchange method (DEM) was initially proposed as a load-balancing algorithm for the hypercube structure. It has been generalized tok-aryn-cubes. However, thek-aryn-cube algorithm must take many iterations to converge to a balanced state. In this paper, we propose a new algorithm, theDirect Dimension Exchange(DDE) method, which takes load average in every dimension without iteratively exchanging the load. This global approach is able to balance the load more accurately and much faster.     

基于三支决策的虚拟机节能迁移策略

虚拟机迁移技术作为云计算中降低数据中心能耗的重要手段被广泛应用。结合三支决策的分、治、效模型提出一种基于三支决策的虚拟机迁移调度策略（TWD-VMM）。首先,通过建立层次阈值树搜索所有可能取到的阈值,由此以数据中心能耗为优化目标得到总能耗最低的一对阈值,从而实现三分区域,即高负载区域、中负载区域和低负载区域。其次,针对不同负载的主机采取不同的迁移策略：对于高负载主机,以主机预迁出后的多维资源均衡度和主机负载下降幅度为目标;对于低负载主机,主要考虑主机预放置后的多维资源均衡度;对于中等负载主机,如果迁移过来的虚拟机依旧满足中负载特性,则可以接受迁入。实验采用CloudSim模拟器进行,将TWD-VMM算法分别与基于阈值调度算法（TVMS）、基于虚拟机迁移节能调度算法（EEVS）、云计算中心节能调度算法（REVMS）算法在主机负载、主机多维资源利用均衡度、数据中心总能耗等方面进行比较,结果表明TWD-VMM算法在提高主机资源利用率、均衡主机负载等方面有明显效果,且能耗平均降低了27%。     

基于聚类分析分库策略的社交网络数据库查询性能与数据迁移

社交网络数据具有一定的聚合性,即特征上相近的用户之间更容易产生某种行为。依照常规的水平切分方法,在执行这些事件的信息查询时,将会耗费大量的时间和连接损耗去依次访问多个数据库。针对此问题,提出了基于聚类分析的社交网络数据库分库策略。将社交网络主体的特征标量进行聚类,使得聚集程度高的主体尽量分割到一个或尽可能少的几个分库中去,从而提高事件的查询效率,并在此基础上兼顾负载均衡与大数据迁移等问题。实验结果表明,该策略在社交网络的主流事件查询上都表现出不同程度的性能提升,最高提升程度达到23.4%,并且实现了局部最优负载均衡和零数据迁移。总的来说,基于聚类分析的社交网络数据库分库策略在提高查询效率、平衡负载以及大数据迁移可行性上,比传统水平切割分库有了相当的优势。     

基于TL_Sheduling的异构集群负载均衡算法的研究与应用

异构环境下"集群系统"负载均衡技术的关键是实现进程的跨平台迁移,对于进程的跨平台迁移所带来的困难和开销是巨大的.在传统进程迁移算法基础上,充分考虑节点对提交作业的适应性,提出一种新的TL-Scheduling负载均衡算法,能够控制作业提交到适合它执行的节点上,该算法可以有效提高系统负载均衡和作业执行效率.在其基础上,研究设计了基于XML业务流程模板的卫星作业调度系统,使得作业调度系统更加实用化.     

基于节点负载的数据动态分区

一种基于节点负载的数据动态分区系统,主要考虑节点CPU、内存、带宽负载情况,首先采用二次平滑法预测节点的负载,再结合AHP和熵值指标权重法得到每个节点的处理能力,最后针对不同应用场景动态地调整系统的负载均衡性,提高应用的响应速度;该系统主要包括负载监测采集、预测、数据预分区、数据迁移等模块.由于分布式环境存在节点资源的异构性,为了数据分析计算过程中减少节点之间数据的传输,充分利用节点计算资源,通过负载均衡性提高应用分析的并行计算速度.为此,本文提出一种基于节点负载的数据动态分区机制和策略来改善系统负载均衡性及提高应用的响应速度,辅助相关工作人员完成决策.本论文结合Spark和Elasticsearch集成的数据分析应用场景进行测试.     

国家级地质灾害气象预警服务模型设计与应用

国家级地质灾害气象预警服务模型是基于空间信息网格理念的六层结构模型,强调数据和计算统一抽象为资源,强调数据资源迁移和数据处理分析资源迁移的一致性。建立基于节点平均吞吐率、处理器利用率和内存占用率的节点负载指数概念,4节点负载指数样本独立性检验结果表明,节点负载差异性不显著,达到均衡目的。预警服务应用实例表明,预警服务比桌面预警系统时间效率提高40%。     

基于网格的分布式仿真系统负载平衡研究

对进程迁移的研究起源于分布式处理的出现，它使得分布式系统内动态负载平衡成为可能，并可显著提高系统的容错性和可用性；网格是新一代信息基础设施，其目的是实现资源共享利用网格提供的信息，将过载节点上的进程迁移到合适的其它节点上运行，就可以实现真正的负载平衡。该文首先简要介绍了进程迁移及网格的资源管理功能，根据现有的基于HLA构建的分布式仿真系统存在的缺陷，利用进程迁移、网格技术的优势研究并提出了分布式仿真系统负载平衡使能模块(LBEM)。现初步实现了网格环境中进程迁移的部分功能，该部分的研究工作是后续研究的基础。     

基于迁移技术的云资源动态调度策略研究

现有云资源管理平台存在着瞬时资源利用率峰值易引发迁移、动态负载效果不佳等问题。依据云资源动态调度模型,提出了有效的基于迁移技术的虚拟机动态调度算法。算法将物理节点负载与虚拟机迁移损耗评估、多次触发控制、目标节点定位三者有机结合,实现云计算数据中心高效的动态负载均衡。实验结果表明,该算法优于CloudSim的DVFS调度策略,在保证应用服务水平的同时能减少虚拟机迁移次数和物理机启用数量。