基于Hopfield神经网络的云存储负载均衡策略

针对当前Hadoop存储效率不高,且副本故障后恢复成本较高的问题,提出一种基于Hopfield神经网络（HNN）的存储策略。为了实现系统整体性能的提升,首先分析影响存储效率的资源特征;然后建立资源约束模型,设计Hopfield能量函数,并化简该能量函数;最后,通过标准用例Wordcount测试,分析8个节点的平均利用率,并与三个常用算法包括基于资源的动态调用算法、基于能耗的算法和Hadoop默认存储策略进行性能和资源利用方面的比较。实验表明,与对比算法相比,基于HNN的存储策略在效率上分别平均提升15.63%、32.92%和55.92%。因此,该方法在应用中可以更好地实现资源负载平衡,将有助于改善Hadoop的存储能力,并可以加快检索。     

基于HDFS的云存储安全技术研究

针对目前云存储技术存在的数据泄露和数据篡改等安全问题,结合HDFS数据完整性校验机制的特点,设计并实现了一种基于HDFS的数据传输存储安全技术方案.对用户上传至HDFS中的数据文件实施AES加密,文件以密文形式存储,同时应用RSA算法保障AES密钥的安全,可有效防止数据在传输和存储过程中被泄露.设计了基于HDFS的文件密文和文件明文两种存储格式,用户可自主选择是否进行加密.通过安全性分析和性能测试,验证了方案的安全性和可行性.     

基于灰色马尔可夫链预测模型的HDFS云存储副本选择策略

在Hadoop分布式文件系统(HDFS)云存储环境下,网络带宽和节点性能有限且动态变化,现有的副本选择策略无法根据环境的变化选择最合适副本.针对这一问题,提出一种综合考虑了网络带宽、节点I/O性能以及节点存储空间等因素,基于灰色马尔可夫链预测模型的副本选择策略,以此在系统可用性和负载均衡性之间寻求一个平衡.最后通过仿真实验,验证了该策略的可行性与有效性.     

面向费用优化的云存储缓存策略

为提高云存储的访问速率并降低费用,提出了一种面向费用优化的云存储缓存策略。利用几乎免费的局域网环境下的多台桌面计算机,在本地建立一个分布式文件系统,并将其作为远端云存储的缓存。进行文件读取时,首先查找其是否在缓存中,若存在则直接从缓存读取;若不存在则从远端云存储读取。采用了最近最少使用(LRU)算法进行缓存替换,将冷门数据从缓存中替换掉。以亚马逊简单存储服务(S3)作为远端的云存储服务,对原型系统进行了简单的性能测试。测试结果表明,使用了所提出的缓存策略后,在降低费用的同时能够显著提高文件读取的速度。     

基于云的资源存储设计与应用

该文通过对云计算和云存储的概念的描述,分析了云存储的体系结构较之传统文件管理体系的优势,并针对档案管理的工作现状,提出了基于Hadoop构建的云存储系统模型的设计。     

一种基于Hadoop的Scool云存储平台

针对海量数据的指数级增长,现有的文件存储系统很难满足现有系统需求,提出基于Hadoop的Scool云存储平台,系统通过采用Linux集群技术、分布式文件系统和云计算框架等技术,来实现海量数据存储和高速数据处理。通过比较云存储和传统存储模式的区别,分析了云存储技术优势和可行性,介绍了云存储架构模型,设计了基于Hadoop的Scool云存储文件管理系统,为今后深入研究云计算和云存储提供了一定的基础。     

基于Hadoop的学习行为数据云存储平台的设计与实现

文中设计一个用于存储的平台,通过虚拟化技术实现了服务器,规划了平台的存储集群规模及服务;对存储集群架构、请求处理系统、数据库进行了设计;使用Spring Boot和Thymeleaf实现了前台用户功能模块,包括用户注册、用户登录、文件上传及文件相关操作、用户关注和用户分享等功能;最后对HBase库亿级大数据查询性能和Hadoop集群输入/输出(Input/Output,I/O)性能进行了测试。测试结果表明查询性能可以做到百毫秒级查询,写性能平均I/O速率为91.73 Mb/s,读性能平均I/O速率为348.56 Mb/s,能够满足用户需求。     

基于Hadoop的云存储实践

随着网络和服务器的迅速成长,数据的容量越来越大,数据的存储面临严峻的挑战,怎样有效地存储数量庞大的数据,云存储是个不错的选择。简要介绍云计算和云存储的概念,并以Hadoop为平台进行一个数据处理的实验,统计相同文件名的个数。     

一致性哈希的数据集群存储优化策略研究

结合虚拟节点技术和均分存储区域技术,提出了嵌套循环式数据一致性哈希优化分布式集群存储的多副本放置策略．按照此优化策略,能够有序选择数据副本机架,确定数据节点存储位置,保证数据存储的均衡性分布,可以针对集群的实际要求开展扩展,并按照扩展情况制定使数据存储完成自适应优化调整,加快数据处理的速度．有效实验表明存储优化后算例的执行速度得到很大提升,能够保证解决负载均衡问题;而针对实际情况中可能出现的扩展与删减问题进行测试后表明,使用优化存储策略处理此类问题时,振荡对整体负载均衡影响不大,且执行时间与负载占比变化趋势一致.     

面向云存储的非结构化数据存储研究

作为一种先进计算方式的云计算,不断在信息服务与科研领域升温,并且影响了存储和运算大规模数据。本文主要分析了云存储技术,非结构化数据存储方式,面向云存储的非结构化数据存储系统架构,面向云存储的非结构化数据存储结构设计和实现。     

基于遗传算法的QoS选播流路由优化算法

选播是一种网络通信服务,在视频流点播等领域发挥重要作用。该文提出QoS选播流路由优化的问题模型,给出选播流路由端到端时延、服务器负载、网络流量等优化目标和QoS约束的遗传算法表达式,说明了算法求解的关键步骤和实现过程。实验结果表明,该算法在满足QoS约束的前提下可以实现选播路由的多目标组合优化。     

基于遗传算法的云存储分类规则提取

针对云存储数据源分散、难于集中的特点,根据代理提取分类规则数与每个代理提取误差率以及整体提取误差率之间的关系,提出一种基于遗传算法的云存储分类规则提取方法.在代理端分布式提取分类规则后传输到中心数据库进行归并,从而达到分布式提取分类规则的目的,通过理论推导得出每个代理提取误差率和整体提取误差率的上限随着提取规则数的增加而递减.实验结果证明,在提取规则数足够多的情况下,分布式提取的回归准确率和集中式提取的回归准确率的差值趋于常数,保证了云存储分布式分类规则提取的可行性.     

基于纠删码和动态副本策略的HDFS改进系统

为了让Hadoop分布式文件系统(HDFS)达到更高的存储效率以及更加优化的负载均衡能力,针对HDFS的多副本存储技术提出了改进方案——Noah。Noah引入了编码和译码模块,对HDFS中的block进行编码分解,生成更多数量的数据分片(section),并随机地分散保存到集群当中,替代原有系统的多副本容灾策略;在集群出现节点失效的情况下,通过收集与失效block相关的任意70%左右的section进行原始数据的恢复;同时根据分布式集群运行情况以及对副本数目需求的不同采用动态副本策略。通过相关的集群实验,表明Noah在容灾效率、负载均衡、存储成本以及安全性上对HDFS作了相应的优化。     

基于校验编码备份的分布存储方案

传统的云计算存储系统为保障可用性,一般使用镜像冗余备份而产生大量冗余备份数据,影响了存储数据空间的利用效率。针对此情况,为减少备份数据对存储空间的占用,提出一种存储方案。放弃了镜像冗余备份,引入校验编码的方式进行备份,以减少备份数据;同时采用了冲突跳转的机制对备份进行验证,在保证备份数据有效性的前提下减少备份数量。通过模拟程序运行结果与主流云存储方案的对比表明,所提存储方案在保证数据可靠性的同时,显著地降低了分布存储对磁盘空间的占用。     

基于云遗传算法的图像相关匹配

针对图像相关匹配计算量大的问题,提出基于云遗传算法的图像相关匹配方法。考虑到图像平均量的存在会增加匹配的难度,对传统归一化相关测度进行修正。为寻找最佳匹配点,将修正后的相关测度作为适应度函数,采用云遗传算法进行寻优。由于云遗传算法具有收敛速度快、局部寻优能力强和不易产生早熟现象等优点,新方法的匹配精度和速度都得到提高,且抗噪声能力强。仿真实验结果表明,新方法对无噪声和有噪声图像都能实现高精度匹配,在匹配精度和速度上优于基于自适应遗传算法的匹配方法。     

一种基于佳点集遗传算法的QoS组播路由选择方法

QoS组播路由选择是通信网络多点路由优化问题的重要部分,已被证明是NP-complete问题。该文针对目前QoS路由算法中存在的一些问题提出了一种新的算法,其核心是佳点集遗传算法。该算法首先通过预处理简化问题,而后采用遗传算法求解:编码采用Prüfer树结构,变异和交叉概率自适应选择。仿真结果表明,该算法是有效的、稳定的,具有较强的实用性。     

基于元胞自动机遗传算法的云资源调度

针对传统遗传算法易陷入早熟收敛等问题,提出一种改进的元胞自动机遗传算法(CGA),并将其应用于云环境下的资源调度。分析云计算环境中处理用户群请求的庞大任务数及资源合理分配的问题,利用CGA算法寻求一组最优的资源调度方案。在CloudSim仿真平台上进行实验,结果表明,CGA算法能缩短任务完成时间,降低用户总成本,满足云环境下的资源调度要求。     

基于云控制的自适应遗传算法

遗传参数的自适应调整是一个复杂的不确定性过程。为此,利用云模型优良的不确定性知识表示能力,提出一种改进的自适应遗传算法。该算法以自然语言为切入点,用云模型表达先验规则知识,通过云控制器调整遗传参数。函数优化实验表明,该算法能够较好地模拟迭代中参数的自适应调整过程,算法性能是可行、有效的。     

云计算中基于遗传算法的数据布局策略

数据布局的合理性直接影响数据中心间的数据调度效率,进而提高对用户的数据采集效率。论文以数据中心之间数据调度为基础建立数学模型,利用分布式云计算技术处理用户的海量数据,并提供高性能计算资源和海量存储资源模式。在分布式云计算系统中,数据密集型计算可以有效处理数据中心之间的数据调度,通过遗传算法的全局优化能力产生最佳的近似解,并最终获得数据布局的最佳近似结果。实验结果表明,遗传算法可以有效地计算出最优数据布局的近似结果,并使数据中心之间的数据调度最小化。