基于分布式环境的存储负载均衡算法研究

随着网络的高速发展以及海量数据的扩充,云存储技术得到广泛的应用,分布式存储中动态负载均衡策略也逐渐为人们所重视。本文在已有的负载均衡策略基础上,提出了一种加权轮询负载算法,通过阀值的设置划分节点,并查询负载表轮询分配存储任务,保证分布式系统能够合理的提高资源利用率,动态调整存储节点的工作负载。     

异构Hadoop集群下自适应平衡数据存储的大数据放置策略

Hadoop是一种处理和存储大数据的平台,针对异构Hadoop集群下采用均等数据分配方法易降低系统计算性能的问题,提出一种自适应平衡数据存储的大数据放置策略。根据异构集群中各节点的计算能力比例,将数据分配到节点中。在任务处理过程中,根据反馈的任务完成时间信息,动态更新节点的能力比例,自适应调整数据分配,从而使异构Hadoop集群中各节点处理数据的时间大致相同,降低节点之间的数据移动量,提高了节点利用率。实验结果表明,该策略能够有效缩减任务完成时间,提高了系统的整体性能。     

软件定义存储技术研究

软件定义存储是一种数据存储方式,所有存储相关的控制工作都仅在相对于物理存储硬件的外部软件中,目标是把存储应用程序与物理的数据存储基础设施分离.本文阐述了软件定义存储技术的发展现状,探讨了其在电信运营商领域的应用场景与发展方向,并结合实际业务场景分析,模拟实现了相关测试,并根据测试情况进行了分析总结.     

基于行列混合存储的大数据存储方法研究与实现

主要研究了基于行列的混合数据处理方法,通过行列混合存储布局提供一种混合搭配的物理存储格式,不仅可实现实体的行式存储或列式存储,同时在一个实体内部,可针对不同字段的稀疏、稠密等数据特征,选择适合的行存储或列存储格式,从而实现动态的数据存储,为大数据处理提供一种动态的数据存储方法。     

云计算环境下基于用户体验的成本最优存储策略研究

为了提高大数据文件的存取效率,满足各类用户的需求,通常采用对该文件进行分块、冗余副本等机制进行存储,关于设置块大小、副本个数和块部署等存储机制的研究一直是该领域研究重点.根据用户对内容块兴趣需求,我们定义了数据块的热度并提出了一种满足用户需求的存储数据块的最小服务成本策略(MCSB).在成本矩阵的基础上,通过引入与数据块热度相关的成本矩阵调整因子,使得热度较低的数据块被优先部署,实现了在不改变存储数据块的最小服务总成本的情况下,内容存取服务性能的提高.基于该策略,以Hadoop中的缺省数据块存储策略为控制组,通过在HDFS系统中实现MCSB,并对MCSB进行了较为详细的分析.实验结果显示MCSB策略能够在满足最小服务成本的情况下,具有更短的系统平均响应时间.进一步考虑到数据存储节点由服务器集群承担的事实,对基于不同负载下的数据存储策略进行了深入探讨,在分析现有机制对性能影响的基础上,给出了一种自适应的数据节点内的存储数据块的最小服务成本策略AMCSB,实验表明,本文所提出的AMCSB策略能够在降低服务成本的同时,有利于系统的负载均衡,并提高该系统的服务性能.     

两级网管系统的数据存储备份

介绍了长途电话网网管系统的构架 ,并说明了如何根据三期网管两级系统的不同需求 ,制定适当的数据存储备份策略并予以实现。     

云计算环境下基于用户体验的成本最优存储策略研究

为了提高大数据文件的存取效率,满足各类用户的需求,通常采用对该文件进行分块、冗余副本等机制进行存储,关于设置块大小、副本个数和块部署等存储机制的研究一直是该领域研究重点.根据用户对内容块兴趣需求,我们定义了数据块的热度并提出了一种满足用户需求的存储数据块的最小服务成本策略（MCSB）.在成本矩阵的基础上,通过引入与数据块热度相关的成本矩阵调整因子,使得热度较低的数据块被优先部署,实现了在不改变存储数据块的最小服务总成本的情况下,内容存取服务性能的提高.基于该策略,以Hadoop中的缺省数据块存储策略为控制组,通过在HDFS系统中实现MCSB,并对MCSB进行了较为详细的分析.实验结果显示MCSB策略能够在满足最小服务成本的情况下,具有更短的系统平均响应时间.进一步考虑到数据存储节点由服务器集群承担的事实,对基于不同负载下的数据存储策略进行了深入探讨,在分析现有机制对性能影响的基础上,给出了一种自适应的数据节点内的存储数据块的最小服务成本策略AMCSB,实验表明,本文所提出的AMCSB策略能够在降低服务成本的同时,有利于系统的负载均衡,并提高该系统的服务性能.     

基于SAN的网络存储共享系统

随着网络的发展,数据量快速增长,如何有效地进行数据存储共享已经越显重要。分析了传统SCSI数据存储与NAS进行数据存储的不足及SAN架构的优良特性,并基于SAN架构设计了一种网络存储共享系统,他克服了SCSI存储方案中管理困难不利于共享,存储容量有限的缺点,也克服了NAS存储的因网络带宽对其性能的影响,具有很好的应用前景。     

存储性能瓶颈及优化研究

信息化数据在大规模增长,从而带来了存储设备不断增加,存储运维工作量不断增加的困境,因此存储性能瓶颈的优化成为当务之急。进行存储资源池的建设,评析存储设备及其网络、服务器等设备,从多方面分析提高存储性能,为企业的海量数据存储运维提供新的思路和策略。     

动态导航电子地图的存储和组织模型

电子地图数据的存储和组织机制,是实现“动态导航”的基础,本文通过对对动态导航电子地图的差分更新技术的深入研究,总结出一套对动态民航电子地数据进行有效存储和组织的解决方案。     

基于分级密钥管理的安全组播方案

该文提出了一个新的适用于大型动态组播群组的密钥管理方案,在分级结构中采用Hash链作 为数据传递密钥来实现层与层之间的数据传递,在子组内利用数字信封来实现密钥管理。此方案具有良好的计算、存储性能及动态安全性,为进一步研究提供了一个有价值的参考。     

一种适于云存储的数据确定性删除方法

 为保护云存储模式下数据的机密性,本文提出了一种适于云存储系统的数据确定性删除方法.该方法通过密钥派生树组织管理密钥,将密钥经秘密共享方案处理后分发到DHT网络中,利用DHT网络的动态特性实现密钥的定期删除,使得在非授权时间内密文数据不能被解密和访问,从而实现云存储系统中数据的确定性删除.实验结果表明,该方法能够有效地删除密钥,且性能开销低,满足云存储系统中过期数据或备份文件的确定性删除要求.     

数据网格虚拟机动态存储层次的研究

 数据网格作为数据密集型计算环境,不仅需要高性能的计算资源,也需要拥有能够及时、高速访问的数据资源.数据网格中存储访问的性能是影响数据网格平台性能的关键因素.本文从网格虚拟机视角研究提高数据网格的存储访问性能,提出了针对数据网格环境的动态存储体系思想,动态K聚类实现网格局部性汇聚,构建数据网格动态存储体系.通过对动态存储体系性能的分析以及测试表明,具有动态存储体系的数据网格平台的任务处理性能得到了明显的改善.     

面向云存储安全的可自愈拜占庭Quorum系统

针对云存储系统中的数据安全问题,提出了一种面向云存储安全的可自愈拜占庭Quorum系统.该系统以虚拟机作为后端存储设备构建虚拟存储节点,利用虚拟机多样化操作系统,以及动态迁移、快速部署等机制构建动态异构的存储系统架构.在拜占庭容错门限的基础上,提出自愈门限的概念,并设计相应系统安全协议,实现存储节点的自动化异常检测和状态复原.实验结果表明,提出的云存储系统具有较高的鲁棒性,能有效提高存储数据的安全性.     

海上测控任务数据中心一体化管理平台设计

根据海上测控任务数据和信息分布的特点,设计了海上测控任务数据中心的一体化管理平台.首先,平台设计采用基于无共享存储的高性能集群模式数据库架构,具备统一的计算与存储系统能力以及良好的动态可扩展性;其次,平台采用层次化设计,包括数据采集与处理、数据存储、数据管理和数据应用4层,实现统一的数据中心管理和应用.根据应用需求,重点设计了航天器遥测故障预警与诊断、测控设备远程监控与故障诊断、外测数据精度分析与数据挖掘等典型数据应用模块,实现数据核心价值.     

基于． Net动态监管信息系统

为提高企业生产经营动态监管水平,进一步规范企业标准化管理,设计研发动态监管系统。采用。 Net技术,实现动态监管系统界面设置以及基础数据的采集／录入、查询功能;利用结构化查询语句,实现对基础数据存储、处理;设置阈值,对各种隐患进行预警、报警;引入先进算法,提取直观、有用的信息。应用结果表明,该系统对促进企业生产经营状态的监管和标准化管理起到较好的推动作用。     

一种基于内容分块的层次化去冗优化策略

在过去的数十年中,信息数据量呈现指数级增长,如何存储和保护这些大量信息数据成为一个难题.云存储和冗余去重技术成为解决上述难题的主要技术.去冗技术在云存储系统中得到广泛应用,但主流的云存储系统存在索引信息的膨胀以及数据分块的不确定性等不足,而这些弊端会导致内存空间的浪费和数据分块的不可预知性.针对这些问题,提出了一种基于内容分块的层次化去冗优化策略,并构建了对应的算法,解决了云存储系统中索引信息表过大和数据分块过大或过小的问题.并且选取CNN新闻的页面内容作为测试集进行实际测试,通过比较去冗比和去冗时间可以看出,相比于目前主流的去冗策略,本文提出的基于内容分块的层次化去冗优化策略能够提升3%左右的去冗比,同时降低2%左右的去冗时间.     

ACDAS: Authenticated controlled data access and sharing scheme for cloud storage

Cloud storage services require cost‐effective, scalable, and self‐managed secure data management functionality. Public cloud storage always enforces users to adopt the restricted generic security consideration provided by the cloud service provider. On the contrary, private cloud storage gives users the opportunity to configure a self‐managed and controlled authenticated data security model to control the accessing and sharing of data in a private cloud. However, this introduces several new challenges to data security. One critical issue is how to enable a secure, authenticated data storage model for data access with controlled data accessibility. In this paper, we propose an authenticated controlled data access and sharing scheme called ACDAS to address this issue. In our proposed scheme, we employ a biometric‐based authentication model for secure access to data storage and sharing. To provide flexible data sharing under the control of a data owner, we propose a variant of a proxy reencryption scheme where the cloud server uses a proxy reencryption key and the data owner generates a credential token during decryption to control the accessibility of the users. The security analysis shows that our proposed scheme is resistant to various attacks, including a stolen verifier attack, a replay attack, a password guessing attack, and a stolen mobile device attack. Further, our proposed scheme satisfies the considered security requirements of a data storage and sharing system. The experimental results demonstrate that ACDAS can achieve the security goals together with the practical efficiency of storage, computation, and communication compared with other related schemes.     

在数据网格环境中可靠获取分布式数据的方法

为了保证数据密集型网格中的数据的可获取性，采用对数据资源增加存储副本的方法，提出了一种数据密集型网格环境下的大数据分片存储及散发方法，并设计了一种数据自动复制及散发模型。初步实验表明该方法能够以较小的系统代价大幅度提高数据的可获取性。     

移动低占空比传感网中基于分段拟合压缩的数据容灾存储算法

数据存储是无线传感器网络中数据管理的基础操作.在移动低占空比传感网中,由于节点的移动性,每个节点需要频繁更新邻居节点集合,使得节点能量消耗过大;同时,节点大部分时间处于睡眠状态,仅在少部分时间内苏醒工作,造成数据备份的通信延迟过大.提出一种快速的低能耗数据保存机制.首先,源节点基于连续时间序列对感知数据进行分段线性拟合压缩;接着,节点根据预估故障概率和存储空间大小,计算出合理的压缩数据备份数量.在此基础上,设计一种动态自适应传输协议.实验仿真表明,与已有存储算法比较,该机制具有更低的传输能耗和通信延迟.