基于预测的云计算热点数据副本因子决策算法

为了提高数据的可用性和集群的整体性能,目前的HDFS(Hadoop Distributed File System)采用了副本数目固定的副本放置技术,然而由于文件热度存在较大差异,对那些具有较高热度文件的访问将影响作业的执行。为克服上述问题,本文提出一种基于预测的热点数据副本因子决策算法。根据数据的最近访问特征,基于灰色预测技术,采用马尔科夫预测模型修正因数据波动和突发访问造成的预测偏差,获取文件的未来访问热度,并基于预测值建立有限通道服务模型,寻找满足用户需求的最小副本因子。实验表明,较之现有的副本管理策略和基于实时热度调整副本因子策略,本策略可以有效减少热点数据的访问冲突,减少热点数据作业的执行时间和网络负载。     

云存储中副本自适应一致性研究

在云存储系统中,为了保证系统可用性的同时尽可能提高系统性能,降低副本同步过程中网络带宽等资源的消耗。提出了基于文件热度的副本自适应一致性方法。该方法根据文件的热度不同,动态调整副本同步的一致性策略,对于热度高的文件在副本同步过程中采用强一致性,对于热度低的文件在副本同步过程中采用最终一致性。在计算文件热度时,考虑了文件访问的时间序列并结合LRFU算法,该热度值表示了文件将来可能的访问情况,并与文件的实际访问情况一致。实验表明该方法在保证系统可用性的同时显著降低了网络带宽资源的消耗,有效地平衡了系统的可用性和性能。     

异构环境下云计算数据副本动态管理研究

针对现有HDFS(Hadoop Distributed File System)数据副本数目固定,副本放置时未考虑节点异构性问题,本文提出一种异构环境下云计算数据副本动态管理模型DMDR.在副本创建时,DMDR根据节点性能选择最优副本放置节点;在系统运行过程中,基于灰色预测技术,DMDR根据数据的最近访问特征预测数据访问热度,并动态调整副本数目.实验表明,在异构环境下,较之现有HDFS副本管理机制,DMDR可有效减少节点之间数据传输,提高负载均衡,降低作业执行时间.     

基于热度分析的动态副本创建算法

在分布式文件系统（ DFS）中,副本的数量通常预先配置,不能适应文件访问需求的动态变化。针对该问题,提出了基于热度分析的动态副本创建算法（ DRCA）,优化副本的管理方式。动态副本创建算法通过分析文件在给定时间内的访问频率,推算文件的访问热度,并综合考虑统计周期、文件大小、工作环境等多种因素,按需动态地调整文件副本的数量,以减少文件访问的平均响应时间,提高数据服务性能。基于Hadoop的分布式文件系统（ HDFS）开发了DRCA模块,并进行了性能测试,结果表明DRCA提供数据服务的性能优于HDFS自带的副本创建算法。     

基于竞标模式和访问热度的副本创建策略

研究典型数据副本创建策略,提出一种以节点在线率和节点存储能力作为价格的竞标模型副本创建策略。根据对基于访问热度的典型副本创建策略和基于竞标模型的典型副本创建策略的具体分析,改进典型副本创建策略对节点性能考虑的单一性,综合考虑节点的访问热度和负载等性能,实现基于竞标模式和访问热度相结合的副本创建策略。并通过基于网络带宽利用率和系统响应时间的实验,将该副本创建策略与两种典型副本创建策略进行实验对比,验证提出的基于竞标模式和访问热度的副本创建策略具有较好的性能。     

基于纠删码的动态副本冗余存储研究

为保证数据的完整性和可靠性,云存储中主要采用多副本和纠删码两种存储策略对数据进行冗余保存.针对单一冗余存储策略的不足,考虑存储开销和访问质量等方面因素,根据用户访问数据的规律,提出一种基于纠删码的动态副本冗余存储方案.采用RC纠删码来存储云中海量数据,使用曲线拟合预测访问热度,适时调整副本的数量.实验结果表明,该方案空间利用率高,能有效减小用户访问的平均延迟,提高用户访问的成功率.     

优化SVR的加权马尔可夫链用电量预测

研究电力系统中用电量的准确预测问题.由于影响用电量的因素众多,并且用电量数据与相关因素之间呈现高度的非线性关系,传统的预测方法很难捕捉用电量的变化趋势,预测精度较低.为了提高预测的精度,提出了一种马尔可夫链优化的SVR模型.上述模型根据支持向量回归机原理,以网络搜索交叉验证的思想优化模型参数,通过加权马尔可夫链原理优化预测结果,将原来的数值预测转化为概率区间上的预测.同时,在利用加权马尔可夫链的预测信息之后,也提高了预测的精度.最后,将改进模型应用于江苏省全社会用电量的预测分析,实验结果表明优化的支持向量模型优于其它对比模型,有较高的泛化能力和预测精度.     

基于动态副本技术的云存储负载均衡研究

以系统总响应时间最小化为目标,以文件热度为依据,提出了一种多时间窗负载均衡策略。在计算文件热度时,不仅考虑了访问的次数和大小,还将I/O访问时序引入到文件热度统计中,该方法能有效控制短时间突发性数据访问导致的不必要副本创建。在多时间窗负载均衡策略中,设置了三种不同大小的时间窗口,分别实现了存储节点负载均衡、文件副本的负载均衡以及低热度文件多余副本的删除工作。实验数据表明,多时间窗负载均衡策略能显著降低I/O访问响应时间。     

基于灰色马尔可夫Verhulst模型的因特网访问人数预测分析

为了科学准确地预测近几年因特网访问人数,提出了应用灰色马尔可夫Verhulst模型进行预测的方法。首先,利用历史数据建立灰色Verhulst模型,通过确定系数可获得因特网访问人数的时间响应序列的表达式,从而可获得未来年份因特网访问人数的发展序列值。然后,结合马尔可夫链过程将序列状态划分为三类,通过确定状态转移矩阵可获得序列处于各状态的概率值及与各状态对应的预测中值,最终求得各序列的修正值。最后,通过2006/12~2012/6期间我国互联网上网人数的历史数据,预测了最近四个统计时段的访问人数。实例表明,该模型预测结果的误差更小、精度更高,还能提供预测结果的波动范围及出现概率,能够为网络建设及管理提供决策依据。     

基于马尔可夫链的电子商店顾客行为预测模型

针对当前顾客行为预测主要集中在单个顾客,尚未考虑顾客群体的影响,提出了采用马尔可夫链模型.通过结合顾客的访问日志数据和网站后台记录的交易数据确保预测数据的完整性和真实性,这样能够更准确的预测顾客未来的访问状态,然后求得商品在该时间段的访问情况,以此电子商店经营者可以采取相应的对策来优化商品达到网站效益的最大化.通过实例应用表明,预测结果与实际情况吻合较好,对提高电子商店的效益具有很重要的实用价值.