应用于SAN的自动精简配置架构设计与实现

自动精简配置是一种先进的存储虚拟化技术,能够提高存储系统资源利用率,满足信息系统建设的需求。针对传统存储系统资源利用率低下的问题,对自动精简配置技术的原理及实现方式进行分析,采用模块化、分层的设计思想,设计并实现一种应用于存储区域网络(SAN)的高效I_THINP自动精简配置架构,将池组织模块、精简分配模块、精简回收模块、动态扩容模块和容量预警模块有机结合,使其具备比较完善的自动精简配置功能。实验结果表明,I_THINP架构能够使存储系统资源利用率提升至98%以上,相比传统存储系统提高了2倍,适用于真实的SAN环境。     

基于人工免疫安全存储区域网系统的研究

安全存储区域网系统需要保护海量数据,使用现有安全技术存在安全开销过大和存储空间浪费较多等问题,使得现有安全存储区域网系统I/O性能较低,无法使用.人工免疫算法能高效地识别异常数据,为了使安全存储区域网系统能保持较高的I/O性能,本文引入人工免疫算法,研究安全存储区域网系统.给出安全存储区域网中安全结点和基于博弈安全优化模块的结构;再针对安全存储区域网系统的特点,设计结点安全模块中的主要算法,并引入博弈论设计安全存储区域网系统优化算法.实现了结点安全模块的原型系统,测试安全模块的检测效率,验证了结点安全模块在具有较好安全性能的同时,具有安全开销较小且稳定的特点.最后在Lustre上实现了安全存储区域网原型系统,使用通用工具测试的系统I/O性能,结果表明所实现的安全存储区域网原型系统具有能保持较高I/O性能的特性.     

NTFS文件系统空间回收方法的研究

传统配置技术中配置容量往往得不到充分利用,并且已经分配的存储资源占用的存储空间即使被释放了也无法再次使用。为此,应用自动精简配置(TP)技术按需分配存储资源,解决存储资源的浪费问题。针对一般文件系统中空闲空间回收方法均需要占用额外的系统资源问题,提出SAN环境下基于NTFS文件系统簇位示图的空间智能回收方法。实验结果表明,NTFS文件系统的空间回收方法可有效回收空闲空间,当TP页大小设置在KB级时,回收效率可达90%以上,同时该方法推迟了容量预警和在线扩容的时间,提高了存储利用率。     

冗余I/O模块切换方法的设计与实现

在工业过程控制领域,为了提高系统的可靠性与稳定性,一般都进行冗余设计。因此,设计了一种动态可配置的冗余I/O模块系统,包括控制器、I/O底座、I/O模块和通信总线。其中,冗余通信总线集成在I/O底座中,I/O模块可通过热插拔插入I/O底座。控制器对I/O模块进行配置,可设置成单模块运行或冗余模块运行,并把设置模式下发给I/O模块。I/O模块初始化为"初始化"运行方式。当接收到控制器下发的是冗余运行方式时,I/O模块进行状态决策,决策出主I/O模块和备I/O模块,并把决策结果反馈给控制器。备I/O模块周期性地监视主I/O模块状态,当发现主I/O模块丢失或故障等级高于本身时,则发送命令给对方,让其切换为备I/O模块,当前备I/O模块主动升级为主I/O模块。该方法通过高速通信的方式,实现了主备I/O模块的决策。     

自动精简配置技术中空间回收方法的研究

自动精简配置(Thin-Provisioning)技术通过按需分配存储资源,可有效提高存储利用率。然而,在应用释放申请的空间后,存储系统难以及时回收这些被释放的空间。为此,提出一种存储区域网络(SAN)环境下针对自动精简配置的空间回收方法:存储系统识别文件系统格式并监视其元数据IO;当检测到文件系统空间释放行为时,计算对应可回收的区域;在通过数据一致性分析之后,对其进行回收。针对NTFS文件系统的原型实验证明,该方法确实能够进行有效的空间回收,且对主机应用影响较小。     

面向云存储的I/O资源效用优化调度算法研究

随着云计算的普及,越来越多的客户选择使用基于云的服务,以避免冗余的设施购买费用和繁杂的系统设计与维护,从而将精力集中在自己的专业领域.通常,云服务的客户从云服务供应商购买虚拟机,并根据双方商定达成的服务水平目标(service level objective,SLO)约束购买到的计算资源.分布式存储中大量的文件分布在不同的存储节点上,现有的CPU、内存以及带宽等资源的分配调度算法并不适用磁盘I/O资源.从云服务提供商的角度来说,高效用的I/O资源调度算法有利于提高其系统的利用率,节约资源开销并增加企业收益率.从云存储提供商为获取高效率高收益率的角度考虑,通过对用户的虚拟机在不同存储节点上的访问特性建模,提出了一个新的自适应分布式I/O资源调度算法,简称为PC算法.PC算法能够:1)根据用户与服务商之间制定的SLO,动态地在各个存储节点中为每个虚拟机制定适当的局部SLO,满足虚拟机对个体节点的访问需求;2)为各虚拟机提供高效健壮的资源分配策略,既能尽可能利用I/O资源,又避免由无序的I/O资源竞争导致的虚拟机I/O资源饥饿.PC算法能够根据不同的I/O资源供应状况在两种调度策略间自动切换,当系统I/O资源充足时,算法采用最早截止时间优先算法(earliest deadline first,EDF)方式提高I/O资源使用率;反之则根据每个I/O请求的预计效益来提高总收益率.实验结果表明,在不采用预先设定虚拟机对各个节点访问量的前提下,PC算法能根据访问模式制定合理的资源分配,提高系统的I/O资源利用率和收益.     

动态大容量影像数据实时存储的研究

通过对单驱动器磁盘系统和由多驱动器配置构成的磁盘阵列系统存储性能的对比研究发现，多驱动器配置的磁盘阵列系统是解决动态大容量影像数据实时存储的有效解决方案。在多驱动器配置中应尽量使用具有异步I/O功能的SCSI磁盘以降低I/O系统对CPU的占用率，同时尽可能采用多个SCSI通道以进一步提高I/O性能。     

3PAR精简配置技术首次为ORACLE数据库提升精简配置的存储效率

全球领先的公用存储供应商3PAR近日宣布，3PAR与Oracle公司携手首次成功地实现了在Oracle 10g和11g数据库环境下，通过3PAR的精简持续（Thin Persistence）和Oracle新的自动存储管理（ASM）存储回收设施对未使用空间进行回收,从而大幅提高了用户的存储效率。     

多驱动器实现动态大容量影像实时存储

通过对单驱动器磁盘系统和由多驱动器配置构成的磁盘阵列系统存储性能的对比研究发现，多驱动器配置的磁盘阵列系统是解决动态大容量影像数据实时存储的有效解决方案。在多驱动器配置中应尽量使用具有异步I/O功能的SCSI磁盘以降低I/O系统对CPU的占用率，同时尽可能采用多个SCSI通道以进一步提高I/O性能。     

云存储上的I/O特征获取机制

为有效地获取云存储系统上的I/O特征,从云存储的体系结构出发,根据不同层面的结构特征提出一种层次化的I/O特征获取机制。该机制从全局云平台、集群和局部物理节点两个方面收集和分析云存储系统上的I/O特征数据,通过在云存储虚拟层嵌入监听模块来采集I/O特征,并通过统计分析模块对收集的数据做在线的分析。实验结果表明,该机制能够有效获取云存储系统的I/O特征,为云存储系统性能优化提供参考。     

云环境下P2P流媒体传输关键技术

随着流媒体应用需求的日益增加,不断改进和完善现有流媒体系统性能势在必行,将云计算引入流媒体系统成为未来流媒体系统的一大趋势．本文简单分析了云计算、CDN（ContentDeliveryNetwork）St]P2P（PeertoPeer）网络的优缺点和研究现状．主要讨论并分析了云环境下的P2P流媒体传输系统所面临的带宽问题、流媒体数据处理、服务质量问题和系统中的关键技术——虚拟化技术、存储管理技术、调度技术和复制技术．此外,从搭建云计算实验环境角度。本文列举了目前比较流行的5种仿真实验手段．     

A cost‐efficient resource provisioning algorithm for DHT‐based cloud storage systems

Personal cloud storage provides users with convenient data access services. Service providers build distributed storage systems by utilizing cloud resources with distributed hash table (DHT), so as to enhance system scalability. Efficient resource provisioning could not only guarantee service performance, but help providers to save cost. However, the interactions among servers in a DHT‐based cloud storage system depend on the routing process, which makes its execution logic more complicated than traditional multi‐tier applications. In addition, production data centers often comprise heterogeneous machines with different capacities. Few studies have fully considered the heterogeneity of cloud resources, which brings new challenges to resource provisioning. To address these challenges, this paper presents a novel resource provisioning model for service providers. The model utilizes queuing network for analysis of both service performance and cost estimation. Then, the problem is defined as a cost optimization with performance constraints. We propose a cost‐efficient algorithm to decompose the original problem into a sub‐optimization one. Furthermore, we implement a prototype system on top of an infrastructure platform built with OpenStack. It has been deployed in our campus network. Based on real‐world traces collected from our system and Dropbox, we validate the efficiency of our proposed algorithms by extensive experiments. Copyright © 2016 John Wiley & Sons, Ltd.     

云存储系统可扩展性评测研究

当云存储系统容量增大时,其是否具有管理如此大规模数据的能力,是云存储系统可扩展性的重要组成部分,而测试环境无法达到所需求的容量是云存储系统可扩展性评测的难点。针对此问题,文章分别在水平扩展和垂直扩展两个层面提出可扩展性评测方案,设计并实现了可扩展性评测工具---Thin Provisioning File System(即自动精简配置文件系统,简称tpfs)。tpfs运行在云存储系统中的数据节点上,提供一定容量的实际存储空间和特定大小的元数据空间,并提供文件系统级别的自动精简配置,以此对云存储系统进行可扩展性评估。实验结果表明,在实际空间仅为40GB的情况下, tpfs文件系统可以达到8TB规模的扩展性。     

网络新媒体的典型应用场景

随着网络流媒体服务的蓬勃发展,内容存诸和网络传输都面临着新的问题。本文重点分析了网络流媒体的存储需求和发展方向,并剖析了业界传统的内容存储方式困境。最后通过蓝鲸文件系统领域的应用,笔者尝试提供一种解决方案。     

Elastic resource provisioning in hybrid mobile cloud for computationally intensive mobile applications

The paper addresses the integration of hybrid cloud with mobile applications. The challenge about hybrid mobile cloud resource provisioning is the trade-offs between energy consumption, performance provided to users and how resources, such as processing power and network, are being utilized. The proposed elastic hybrid mobile cloud resource provisioning model is jointly optimized to improve mobile user experience within the constraints of available resources and user QoS requirement. The paper presents the system utility of hybrid cloud system involving local cloud and public cloud infrastructure. From the perspectives of both mobile applications and cloud providers, the proposed system utility is optimized to improve the performance of mobile applications and the utilization of cloud resources. The proposed elastic hybrid mobile cloud resource provisioning algorithm includes two sub-algorithms. To evaluate and validate performance of the proposed algorithm, a series of experiments are conducted. The comparison results and analyses are discussed. The experimental results show the improvement to previous works.     

CBC: Caching for cloud-based VOD systems

Cloud-based video on demand (VOD) service is a promising next-generation media streaming service paradigm. Being a resource-intensive application, how to maximize resource utilization is a key issue of designing such an application. Due to the special cloud-based VOD system architecture consisting of cloud storage cluster and media server cluster, existing techniques such as traditional caching strategies are inappropriate to be adopted by a cloud-based VOD system directly in practice. Therefore, in this study, we have proposed a systemic caching scheme, which seamlessly integrates a caching algorithm and a cache deployment algorithm together to maximize the resources utilization of cloud-based VOD system. Firstly, we have proposed a cloud-based caching algorithm. The algorithm models the cloud-based VOD system as a multi-constraint optimization problem, so as to balance the resource utilization between cloud storage cluster and media server cluster. Secondly, we have proposed a cache deployment algorithm. The algorithm further manages the bandwidth and cache space resource utilization inside the media server cluster in a more fine-grained manner, and achieves load balancing performance. Our evaluation results show that the proposed scheme enhances the resource utilization of the cloud-based VOD system under resource-constrained situation, and cuts down the reject ratio of user requests.     

一种高效存储解决方案的分析与研究

企业的关键信息以几何级速度增长,更多的数据需要保存更长的时间,面对TB甚至是PB级海量数据如何进行高效存储成为研究的重点.伴随着云计算和云存储的发展,对后端的高效存储和管理成为存储方面的重点研究问题,高效存储和管理不仅为用户提供更高质量的服务,而且还可以降低用户成本,实现高效低碳的环保型存储,这其中主要用到了多协议访问、存储虚拟化、自动精简配置、重复数据删除等关键技术.     

Matrix based proactive resource provisioning in mobile cloud environment

Mobile cloud computing is a dynamic, virtually scalable and network based computing environment where mobile device acts as a thin client and applications run on remote cloud servers. Mobile cloud computing resources required by different users depend on their respective personalized applications. Therefore, efficient resource provisioning in mobile clouds is an important aspect that needs special attention in order to make the mobile cloud computing a highly optimized entity. This paper proposes an adaptive model for efficient resource provisioning in mobile clouds by predicting and storing resource usages in a two dimensional matrix termed as resource provisioning matrix. These resource provisioning matrices are further used by an independent authority to predict future required resources using artificial neural network. Independent authority also checks and verifies resource usage bill computed by cloud service provider using resource provisioning matrices. It provides cost computation reliability for mobile customers in mobile cloud environment. Proposed model is implemented on Hadoop using three different applications. Results indicate that proposed model provides better mobile cloud resources utilization as well as maintains quality of service for mobile customer. Proposed model increases battery life of mobile device and decreases data usage cost for mobile customer.     

流媒体视频存储服务器设计与研究

详细分析了在视频监控系统中流媒体视频存储服务器的作用和功能,针对传统的流媒体定时长存储方式的不足提出了"固定空间存储"的新策略.该存储策略将总空间初始化为多个固定大小的数据文件,每个数据文件中存储的流媒体时长可能是不相同的.针对新存储策略下出现的"1秒尾巴","事件尾巴"等新问题,提出了解决方案."固定空间存储"策略虽然增加了索引的复杂度,但是有效避免了磁盘碎片的产生,对于改善流媒体视频存储服务器性能具有重要作用.