基于AHP的云存储负载均衡研究

针对云存储系统节点在数据分布策略和系统响应时间方面的综合负载计算问题,提出了一种云存储系统的负载均衡算法,并对该算法进行了验证。算法基于层次分析法（Analytic Hierarchy Process,AHP）,通过建立综合评估指标体系,从可用存储空间、可用CPU、可用内存和访问热度四个方面,计算各个存储节点的综合负载,并据此对数据存取进行均衡调度。验证结果表明,通过调整不同指标的权重,算法能够很好地满足不同的应用需求,同时,该算法能够很好地反应各节点的综合负载,实现云存储系统整机性能的优化,尤其适用于一些高并发的大数据存储。     

云存储性能评测研究

大数据时代的到来,使得对云存储产生了强烈的需求。云存储性能评测一直是云存储系统研究的热点与难点。通过分析典型云存储平台数据访问的过程,建立云存储数据读写的模型,利用网络分析工具iptools获得云存储系统在处理用户访问请求的各个阶段的时间开销,从中排除网络干扰,反映真正云存储系统数据读写性能。实验结果表明,这种云存储系统数据读写模型是科学合理的,按照模型设计的云存储系统性能评测方法能够有效排除网络干扰,获取反映云存储系统真正读写性能的数据。     

限制解空间的PSO云存储任务调度算法

研究云存储系统中的任务调度算法。分析总结了任务调度在云存储和云计算系统中的不同,指出现有云计算中的PSO调度算法应用在云存储中时会产生对云存储系统来说无意义的解,即会要求系统节点提供它所不具有的数据。为解决此问题,改进现有的基于PSO的调度算法,引入存在矩阵的概念,将其初始化解和解的更新均限制于存在矩阵中,保证生成的解是有意义解。实验结果显示本调度算法可以节省约77%的迭代次数、缩短约4倍的执行时间,并保证产生对云存储系统有效的解。     

基于分数阶Fourier变换的云存储系统重复数据删除算法

云存储系统的重复数据作为大量冗余数据的一种,对其有效及时地删除能保证云存储系统的稳定与运行。由于云存储系统中的干扰数据较多,信噪比较低,传统的重删算法会在分数阶Fourier域出现伪峰峰值,不能有效地对重复数据进行检测滤波和删除处理,因此提出一种改进的基于分数阶Fourier变换累积量检测的云存储系统重复数据删除算法。首先分析云存储系统重复数据删除机制体系架构,定义数据存储点的适应度函数,得到云存储节点的系统子集随机概率分布;采用经验约束函数对存储节点中的校验数据块分存,通过分数阶Fourier变换对云存储系统中的幅度调制分量进行残差信号滤波预处理。采用4阶累积量切片后置算子,把每个文件分为若干个块,针对每个文件块进行重删,进行重复数据检测后置滤波处理,实现存储资源上的重复数据检测及其删除。仿真实验表明,该算法能提高集群云存储系统计算资源的利用率,重复数据准确删除率较高,有效避免了数据信息流的干扰特征造成的误删和漏删,性能优越。     

无人值守传感器网络的低通信成本存储算法

针对无人值守传感器网络的数据存储问题, 提出了一种低通信成本的分布式数据存储算法。算法采用步数为cn的定向随机游走机制, 将网络中的k个源数据包按照一定的接收概率分散存储到了网络中所有的n个节点, 在每个节点形成了一个存储数据包。实验表明, 基于该算法的存储过程完成之后, 即使有部分传感器节点损坏, sink节点只要随机收集到k+ε（ε≥10）个存储数据包, 就能成功计算出原来的k个源数据包。与具有代表性的基于LT码方法相比, 该算法在节约sink节点访问成本的同时, 也将网络的通信时间复杂度从O(n　ln　n)降到了O(n), 具有良好的应用潜质。     

一种基于纠删码的数据放置容错算法

在基于纠删码技术的云存储系统中,如何选择合适的存储节点来放置经编码生成的多个冗余数据块、有效保证数据的容错性是云存储系统面临的一大挑战.提出的CHGDPS (consistent hash and greedy data placement algorithm based on sets)算法在基于划分集合的思想上,将一致性hash方法与贪婪算法相结合,极大地减少了数据传输时间.实验结果表明,该算法具有更短的总体平均访问时间和更长的平均无故障时间,提高了数据的容错性.     

混合云存储中海洋大数据迁移算法的研究

海洋数据是一种典型的大数据,如何利用混合云存储架构存储海洋大数据是海洋数据管理面临的一个挑战.针对混合云存储架构中的关键问题——数据迁移,提出了海洋大数据的生命周期,并且基于此给出混合云存储中海洋大数据的迁移算法.在迁移算法中,将海洋数据的敏感度、数据访问频率、数据大小、数据时间长度等因素作为迁移因子.迁移算法兼顾考虑了数据存储容量、海洋数据本身的属性特征和数据访问过程中的动态变化.实验验证混合云存储模式能大大降低数据管理成本,同时,通过提出的迁移算法保证了数据的访问速度.     

云存储智能多数据副本放置机制

数据副本管理机制是云存储系统的重要组成部分。为了提高云存储系统的可伸缩性、可靠性,同时改善用户访问时间,通常采用多数据副本机制,并且需要解决数据副本放置问题。为此,提出了一种用于云存储系统的智能多数据副本放置机制。该机制基于p-中心模型,以最小化访问代价为优化目标,基于遗传算法（genetic algorithm,GA）确定优化的数据副本放置方案,基于生物地理学优化（biogeography-based optimization,BBO）算法确定用户访问请求对数据副本的优化分配。基于CloudSim进行了仿真实现和性能评价,结果表明,云存储智能多数据副本放置机制是可行和有效的。     

基于Gibbs采样与概率分布估计的移动云数据存储

为提高移动云数据存储远程服务器的计算和存储能力,提出一种改进的移动云数据存储算法。利用表决数据分配和表决数据处理框架,构建考虑节点失效概率的重采样期望传播时间计算模型,并建立整合能源效率和容错性的表决动态网络。采用概率分布估计对动态网络模型进行存储路径优化,应用Gibbs采样解决分布估计的样本数据高维耦合和无监督训练问题。实验结果表明,与贪心算法、随机放置算法和分布估计算法相比,该算法具有更高的能源效率和存储可靠性。     

图因子分解的故障节点快速修复

为了提高分布式存储系统中故障节点的修复效率, 提出一种新的部分重复(fractional repetition, FR)码的构造算法. 该算法利用完全图的因子分解进行构造, 称为CGFBFR (complete graph factorization based FR)码. 该算法首先对完全图进行因子分解, 分解完成以后确定完全图的因子分解个数, 根据需要存储数据块的重复度来选择完全图的因子个数, 将完全图选中的因子所有顶点当做分布式存储系统中需要存储的数据块, 然后对选中因子图的边进行标记, 标记的边当做分布式数据节点进行存储. 最后根据选中的因子的顶点和边生成编码矩阵, 在分布式存储系统中按照编码矩阵中的数据对数据块分别进行存储. 实验仿真结果显示, 本文提出的一种新的部分重复码构造算法, 与分布式存储系统中的里所(reed-solomon, RS)码、简单再生码(simple regenerating codes, SRC)以及最新的循环可变部分重复(variable fractional repetition, VFR)码相比, 在系统修复故障节点时, 能够快速地修复故障节点, 有效降低了故障节点的修复带宽开销、修复局部性、修复复杂度, 而且构造过程简单, 同时可以灵活选择构造参数, 广泛适用于分布式存储系统中.     

基于八叉树邻域分析光线跟踪的云三维模拟

针对目前三维云模拟绘制效率低、计算资源消耗大、绘制效果差等问题,提出基于八叉树邻域分析的光线跟踪算法,并用于WRF模式云数据的三维模拟。使用八叉树结构优化传统光线跟踪算法的数据存储结构,通过存储节点编码和划分层次改进邻域分析算法,通过简化光线的折射公式优化Whitted光照模型,借助OpenGL和Vapor工具实现云数据的三维可视化。实验结果表明,该方法降低了绘制时间,提高了渲染效率,更好体现了云的真实物理特征。     

云存储环境下副本选择策略研究

云存储服务提供商为了满足各类云用户的存储需求,一般采用划分固定大小的数据块、冗余备份等技术来存储数据,关于块放置、最佳副本选择、副本粒度等存储机制的研究一直是加快大文件存取速度的重要内容。面向云存储系统中存储节点的异构性,设计了一种采用层次分析法对节点性能指标加权并依据加权指标改进粒子群算法的策略(AHPPSO)。通过引入与存储节点性能相关的加权评价矩阵,使得粒子群算法向综合性能较高的节点进化,在不增加存储空间成本的基础上,加快了存取数据的速度。在自主搭建的云存储系统中实现了该策略,实验结果显示该策略能够适应多种用户需求,并且在一定程度上实现系统负载均衡。     

云存储中动态副本放置机制研究

数据副本管理是云计算系统管理的重要组成部分,在云计算系统的海量数据处理过程中,针对目前已知的数据存放与资源调度算法存在考虑副本动态性和可靠性的不足,提出了一种动态的副本放置机制。该机制基于区域结构,考虑数据处理时其副本的数量和放置位置,以及副本的产生对于内存和带宽等系统资源的开销:首先根据云存储中的副本信息,对被访问频率高且访问平均响应时间长的数据信息进行复制,并给出副本数量的计算方法;考虑缩小副本分布的节点选择范围,提出动态的副本放置算法——DRA,将一定范围内的节点根据提出的域的划分,进行放置筛选,以存放数据副本。实验结果表明,提出的动态放置机制不仅减少了低访问率副本对系统存储空间的浪费;同时也减少了高访问率副本所需跨节点的传输延迟,有效提高了云存储系统中的数据文件的访问效率、负载的均衡水平,以及云存储系统的可靠性和可用性。     

多维数据的Z-Ordering存储映射算法及其缓存调度优化

多维数据以线性形式在存储系统中进行访问操作,二维及以上维度空间中的相邻节点被不同的映射算法映射到一维空间的不相邻位置。高维空间中进行相邻节点访问时,其一维存储映射位置有着不同的访问距离和访问延迟。提出了基于空间填充曲线Z-Ordering的存储映射方法及其访问距离的度量指标,并和常规优先算法进行了对比,发现能更好地将高维相邻的数据节点簇集到一维存储位置,加强了局部性。调整缓存空间中用于预取的空间大小,可以利用增强的局部性,提高了缓存命中率。实验结果表明,改善了多维数据的访问速度,优化了系统性能。     

存储中的副本分级存储调度策略

当集群中的部分节点是廉价主机时,采用HDFS的随机存储策略可能使访问频率高的数据存储在廉价节点上,受到廉价节点的性能影响,访问时间过长,降低了集群效率。为改善以上问题,提出一种改进的副本分级存储调度策略。为减少副本调度的次数,先根据节点的CPU、内存、网络、存储负载以及网络距离来评价节点的性能,再从中选取高性能节点进行存储。副本调度以节点中副本的访问频率为依据,结合硬件配置,把访问频率高的副本尽可能存储在高性能、高配置的节点中,以加快集群响应速度。实验结果表明,改进后的策略可以在异构集群中提高副本的访问效率,优化负载均衡。     

基于随机森林的高能物理数据放置策略

随着LHAASO高海拔宇宙线等高能物理实验规模的不断扩大,每年需要存储PB级的海量物理数据。高能物理海量存储系统一般采用随机的数据放置策略,没有考虑数据访问场景和服务器节点、存储设备的差异性。针对以上问题,提出一种异构存储环境下基于随机森林算法的数据放置策略,根据存储设备性能差异划分快慢存储池,同时对后期文件的读写访问场景进行预测和识别,综合考虑当前设备负载为数据找到最佳的放置位置。使用真实物理实验数据验证了算法的有效性。     

访问特征驱动的副本存储策略自动生成框架

大规模分布式数据存储是云计算和大数据时代的重要支撑技术.在分布式存储系统中,数据副本如何放置是一个基本问题.然而,现有可实用的算法或忽略应用具体的访问特征而牺牲效率,或拘泥于单一应用而不具备泛化能力.通过建立副本存储策略的统一描述模型以及提取应用的关键访问特征参数,定义出副本存储策略自动生成算法的输出和输入;通过机器学习的方法获得访问特征参数和最优副本存储策略参数之间的一般性关系,从而形成自动生成机制的核心算法.在提高存储系统访问性能及节约能耗等成本的同时,有效降低副本存储策略设计过程中的人工干预程度.     

云存储副本优化选择策略

为了提高云计算环境中系统的整体数据调度效率,对云存储系统中的副本选择问题进行研究,提出一种基于蚁群觅食原理的云存储副本优化选择策略。该策略利用蚁群算法在解决优化问题上的优势,将自然环境中蚁群的觅食过程与云存储中的副本选择过程相结合;再充分应用信息素的动态变化规律以及高斯概率分布特性优化副本的选择方式,得出一组副本资源的最优解,从而为数据请求响应合适的副本。在OptorSim仿真平台上对该算法进行实现,实验结果表明该算法具有不错的表现,如在平均作业用时这一性能指标上相比原始蚁群算法提升了18.7%,从而在一定程度上减少了副本选择过程的时间消耗,降低了网络负载。     

区间微调分支界定混合P2P云存储喷泉编码优化 *

针对传统对等存储系统中,存在数据上载时间长,带宽控制不理想的问题,提出动态步长分支界定P2P存储及云存储混合喷泉编码优化算法。首先,根据P2P存储及云存储各自特点,构建混合式P2P存储及云存储网络系统,该系统通过喷泉编码、参数控制单元、节点管理器及上传调度程序构建;其次,针对存储编码符号上传过程中,存在参数控制不理想,数据传输效果差的问题,在分支界定算法基础上,设计区间点微调的动态分支界定算法,实现算法计算复杂度降低,并可有效对上载时间长和网络带宽显著下降问题进行处理;最后,利用对比仿真显示,算法在数据上载时间及数据冗余度降低等指标上优于对比算法,验证了算法有效性。     

信息化技术在思政课资源存储与共享中的应用

为提升学生思政课程的学习质量与学习效率,以信息化为基础,提出思政课程存储与共享应用策略和评价方法。将课程资源网络抽象分成二维随机图,获取资源平均部署覆盖时间;根据定向随机游走规则,确定网络访问和备用节点;凭借监测点、动态散列坐标以及散列坐标,挑选思政课程资源整合储存节点,优化改进储存机制;同时对所有用户进行博弈论操作,直至搜索到资源共享的纳什均衡点为止,利用层次分析矩阵和权值系数实现效果评价。仿真结果证明：所提策略在面对大量数据时共享效果较好,且层次分析权重值较高,提升学生满意程度。