云计算中的数据放置与任务调度算法

在海量数据的云计算中,通常面临着数据传输时间长的问题.针对目前大多数数据放置与任务调度算法存在的副本静态性和传输标准精确度的不足,提出了一种动态调整副本个数、以时间作为衡量数据传输标准的数据放置与任务调度算法.该算法根据数据访问频率和存储大小,动态地调整副本个数,一方面减少了低访问率副本对存储空间的浪费;另一方面也减少了高访问率副本所需跨节点传输次数.考虑到节点间网络带宽的差异性,确定以数据传输时间作为传输衡量标准,提高了传输标准的精确度.实验结果表明,除了任务集和网络节点均较少的情况外,该算法均能有效地减少数据传输时间,甚至在任务集合和网络节点较多的情况下,能减少近50%的传输时间.     

可伸缩分布式动态区间映射算法

提出一种支持权重分布数据的可伸缩分布式动态区间映射算法.该算法能够在存储节点发生变化时,根据可用的资源情况立即重新均衡数据对象分布,从所有存储节点中并行迁移数据对象,且迁移的数据对象数目是最少的.在此基础上提出分布式节点地址计算算法,支持计算节点通过视图校正算法自主学习,自动适应新的系统规模,消除了现有的集中式访问性能瓶颈,使系统具有高可伸缩性.     

基于动态区间映射的数据对象布局算法

高效、可伸缩的数据管理在大规模分布存储系统中日益重要,关键是需要一种能够自动适应存储节点增加或减少的灵活、均衡和可伸缩的数据对象布局与定位方法.提出了一种基于动态区间映射的数据对象布局算法,在均衡数据分配和最少迁移数据方面都是统计意义上最优的,并且支持按照存储节点的权重分配数据和任意的数据对象副本.     

大数据交叉映射融合的逆向云算法仿真

大数据融合可以提升工作效率、保证数据安全。逆向云算法根据数据之间的关联性交叉映射,对不同类型数据执行逆向处理。而传统逆向云算法,分析大数据离散度的能力不强,致使计算结果的偏差较大,因此研究大数据交叉映射融合的逆向云算法。算法将原有算法作为基本理论,利用梯度联合函数反演,根据交叉梯度约束条件确定数据离散形式,捕捉数据交叉规则;依照已知节点数据的物理量,对未知节点数据插值,通过源数据项、目标数据项建立函数映射关系,得出隐含关联;按照关联度匹配数据特征,域隐含层特征函数对域网络参数反向微调,至此实现逆向云算法。实验结果可知:与传统的基于鲁棒性的大数据逆向云算法相比,上述算法分析大数据之间离散度的能力更强,得到的参数结果偏差极小。由此可见,所研究的逆向云算法的计算结果更加精确。     

一种基于条带的一致性散列数据放置算法

分布式存储系统作为数据存储的载体,广泛应用于大数据领域.纠删码存储方式相对副本方式,既具有较高的空间利用效率,又能保证数据存储的可靠性,因此被越来多的应用于存储系统当中.在EB级大规模纠删码分布式存储系统中,元数据管理成本较大,位置信息等元数据查询效率影响了I O时延和吞吐量.基于位置信息记录的有中心数据放置算法需要频繁访问元数据服务器,导致性能优化受限,基于Hash映射的无中心数据放置算法越来越多地得到应用.但面向纠删码的无中心放置算法,在节点变更和数据恢复过程中,存在位置变更困难、迁移数据量大、数据恢复和迁移并发度低等问题.提出了一种基于条带的一致性Hash数据放置算法(consistent Hash data placement algorithm based on stripe,SCHash),SCHash以条带为单位放置数据,通过把数据块到节点的映射转化为条带到节点组的映射过程,减少节点变动过程中的数据迁移量,从而在恢复过程中降低了变动数据的比例,加速了恢复带宽.并基于SCHash算法设计了一种基于条带的并发I O调度恢复策略,通过避免选取同一节点的数据块进行I O操作,提升了I O并行度,通过调度恢复I O和迁移I O的执行顺序,减少了数据恢复的执行时间.相比APHash数据放置算法,SCHash在数据恢复过程中,减少了46.71%~85.28%数据的迁移.在条带内重建时,恢复带宽提升了48.16%,在条带外节点重建时,恢复带宽提升了138.44%.     

海量存储系统的数据分布策略研究

针对海量存储系统中数据分布存在可扩展性以及灵活性的问题,提出一种高效的数据分布算法。该算法采用一致性哈希的存储思想,利用“二分”的映射方式映射物理存储节点,摒弃了Chord算法中每台节点对路由表维护的做法,实现O（1）时间内直接路由。该算法还采用了“微分逼近”的思想,实现数据的均匀分布性。实验结果证明, TTD算法具备数据分布无关性的特点,且当物理节点逼近2^N （N〉0）时,数据分布就会越均匀。反之,可以通过虚拟节点的引入,确保数据的均匀分布。算法改进了海量存储系统中数据分布的均匀程度,有效优化了系统的整体性能。     

基于行键的HBase大数据文件存储转换与快速检索研究

针对传统关系型数据库很难满足数据的快速存储与检索的问题,研究了基于数据文件字段映射表、文件对象字段、HBase列映射表和存储转换执行方案映射表解决文件对象的异构性和存储转换的通用性问题。提出了自定义RowKey行键的规则与生成算法;给出了基于映射表与行键的数据转换与存储流程及算法;最后基于行键前缀匹配或关键字匹配方式实现了不同需求的数据快速访问与检索,且具有较强的通用性。     

一种基于跳跃hash的对象分布算法

如何有效地将海量数据分布到存储节点是存储系统首要解决的问题.本文提出的MJHAR（Matrix-basedJump Hash Algorithm for Replication data）对象分布算法简洁高效,支持权值和数据冗余机制.本算法创造性的将节点映射到二维矩阵,对象的分布、定位只需从矩阵的行内、行间计算目标节点的行号和列号即可.理论证明本算法满足公平性、自适应性、紧凑性、节点变化对象迁移量较小的特点,同时实验结果表明本算法的计算时间比一致性hash算法快40%,比跳跃hash算法快23%.极大降低了计算时间,并且比一致性hash算法对象分布更加均匀.     

大规模存储中的一个有效的数据放置算法

存大规模存储中，经常面临组件的增加和失败。为了提高可用性和可管理性，研究和比较了不同的数据定位机制，设计了一个离散的、自适应的算法。这个算法保证任何一个特定的数据对象的副本不会被放置在同一个存储节点上。并且根据存储节点的能力公平地分布数据对象到存储节点上。当新的存储节点加入系统或已存在的节点退出系统时，需重新分布的数据对象被尽可能地减少。算法中没有集中控制点，保证了系统的可扩展性。     

一种应用于数据为中心存储无线传感器网络的低功耗路由算法

以数据为中心的存储是无线传感器网络一个热门的研究领域,包含了数据传播、数据存储和数据查询.地理路由协议GPSR(Greedy Perimeter Stateless Routing)是一种应用在数据为中心存储的经典路由算法,采用了贪心转递算法和周界转递算法来存储和查询数据.在数据为中心存储中,数据根据名称映射到地理位置上.因为目标位置上往往没有节点存在,GPSR采用周界转递算法进行数据包的存储或查询.本文定量的分析了数据为中心存储中周界转递造成的系统资源浪费,提出了一种逼近地理位置路由算法ALGPSR.并在NS2上进行了仿真与GPSR进行了比较,结果证明ALGPSR能有效地减少数据查询和存储的系统开销.     

针对高速数据流的大规模数据实时处理方法

以实时传感数据和历史感知数据为基础的各类计算需求逐渐成为当前物联网应用建设中的关键,如何实现基于高速数据流和大规模历史数据的实时计算成为数据处理领域的新挑战.现有批处理方式的MapReduce大规模数据处理技术难以满足此类计算的实时要求.文中结合城市车辆数据的实时采集与处理应用,在理论和实践分析的基础上,提出了一种针对高速数据流的大规模数据实时处理方法,并对方法中的本地阶段化流水线、中间结果缓存等关键技术瓶颈进行了改进.其中,根据系统参数控制阶段化流水线,使CPU得到了充分、有效利用;通过改造内外存数据结构、读写策略和替换算法,优化了本地中间结果的高并发读写性能.实验表明,上述方法可以显著提升大规模历史数据上数据流处理的实时性和可伸缩性.     

基于并行处理机制的数据复用策略研究

针对频繁出现的数据冗余、数据复用效率低下等问题,将列存储方式结合并行处理机制对数据复用策略进行优化。构建了基于MapReduce的数据复用并行化处理模型,利用改进型CSM模式匹配算法结合数据挖掘过程中的数据筛选算法,提出并行化数据复用算法。该算法利用数据属性的模式匹配确定属性列之间的对应关系,使用数据检测方式验证属性列数据复用的可行性,从而进行属性列数据筛选,实现并行化的数据复用策略。在大数据环境下的数据仓库中,对大规模基准数据属性集SSB和TPCH中提取的数据实证分析,实验结果分析中存储量和处理时间分别减少了17%和35%,实验结果验证了并行化数据复用策略在数据存储量、数据处理时间等方面比普通数据复用策略更具高效性。     

历史数据实时压缩方法研究

在开发实时数据库中,对历史数据的存储和管理非常重要,由于大量的数据存储,需要高效的历史数据压缩算法。文章基于均方误差的设计思想,提出了一种新的历史数据压缩算法、给出其详细步骤,并和OSI软件公司开发的旋转门算法进行比较。仿真结果表明,该文提出的新压缩算法具有更高的数据压缩率,降低了测量误差对数据压缩影响。     

多维数据的Z-Ordering存储映射算法及其缓存调度优化

多维数据以线性形式在存储系统中进行访问操作,二维及以上维度空间中的相邻节点被不同的映射算法映射到一维空间的不相邻位置。高维空间中进行相邻节点访问时,其一维存储映射位置有着不同的访问距离和访问延迟。提出了基于空间填充曲线Z-Ordering的存储映射方法及其访问距离的度量指标,并和常规优先算法进行了对比,发现能更好地将高维相邻的数据节点簇集到一维存储位置,加强了局部性。调整缓存空间中用于预取的空间大小,可以利用增强的局部性,提高了缓存命中率。实验结果表明,改善了多维数据的访问速度,优化了系统性能。     

基于多实体的矢量数据压缩改进算法

矢量数据压缩在地形环境仿真、制图综合、GIS等研究中具有重要作用,对增加移动设备的存储能力和提高矢量数据的网络传输效率来说是一项很重要的工作。根据动态规划算法理论、Douglas-Peucker算法和矢量数据的特点,提出了基于动态规划算法的矢量数据压缩的模型和改进方法,通过一条参考路径构造一条带形成最小误差搜索范围,同时条带宽度可自适应调整。并将单一实体的优化压缩算法扩展为基于多实体的压缩算法,解决了图层压缩的全局优化问题。实验结果表明,该方法具有较高的效率,能够得到较小的压缩误差。