混合云存储中海洋大数据迁移算法的研究

海洋数据是一种典型的大数据,如何利用混合云存储架构存储海洋大数据是海洋数据管理面临的一个挑战.针对混合云存储架构中的关键问题——数据迁移,提出了海洋大数据的生命周期,并且基于此给出混合云存储中海洋大数据的迁移算法.在迁移算法中,将海洋数据的敏感度、数据访问频率、数据大小、数据时间长度等因素作为迁移因子.迁移算法兼顾考虑了数据存储容量、海洋数据本身的属性特征和数据访问过程中的动态变化.实验验证混合云存储模式能大大降低数据管理成本,同时,通过提出的迁移算法保证了数据的访问速度.     

云计算环境下动态数据聚集算法研究

云计算技术的普及带动了数据的增长,为了对云环境下动态数据进行管理,防止数据损坏甚至丢失,方便后续利用,需要对云计算环境下动态数据进行聚集。但目前大多数算法都是基于线性时间概率计数的数据聚集算法,通过数据聚集操作在中间节点预先对数据进行处理,去除数据冗余,减少数据传输,实现节能,对于云计算环境下数据聚集操作存在的重复计数问题,通过研究对副本不敏感的概要结构并优化某些特性,从而完成数据聚集,但这种方法存在占用的存储空间较大,且不能保证动态数据聚集的准确性的问题。为此,提出一种基于粒子群优化算法的云计算环境下动态数据聚集算法,该算法通过对云计算环境下动态数据聚集算法数学模型进行分析,在此基础上,提出基于粒子群优化算法的云计算环境下动态数据聚集算法。首先对云计算环境中的动态数据结构模型进行分析,完成对云计算环境下动态数据的离散样本频谱特征的计算,实现云计算环境下动态数据聚集样本的特征提取和信息模型构建。针对粒子群算法收敛速度慢的问题,本文通过混沌映射方法对其进行优化,通过生成混沌序列,解决粒子群算法存在的问题,利用粒子群优化算法进行特征聚集,从而完成云计算环境下动态数据聚集算法。实验结果表明,本文所提算法能够有效提高动态数据聚集的可靠性和稳定性,降低聚集时间,减少所占内存空间,具有较强的实践性,为该领域的发展创造了条件。     

自治分布式视频服务器中动态数据迁移研究

通过对VoD服务器扩展性的分析，提出了一种并行视频服务器结构——自治分布式视频服务器，它的结构是在不断扩展的过程中形成的。分析了它的数据迁移特点，提出了一种动态数据迁移算法，实验结果表明该算法是有效的。     

扩散涌现的增量聚类算法

为了有效聚类动态数据,妥善处理已存在的类簇与新增数据的关系,高效利用计算资源,提高聚类的效率,扩散涌现的增量聚类算法被提出.该算法在扩散涌现聚类算法的基础上,利用近邻传播算法完善了算法的分裂机制,实现了新旧数据的有效聚合.实验结果表明,该算法有效实现了动态数据的聚类,提高了聚合动态数据的效率和资源的利用率.     

面向开放大数据环境的动态数据保护系统

大数据成为国家基础性战略资源,数据的开放共享是我国大数据战略的核心.云原生技术和湖仓一体架构正在重构大数据基础设施,并推动数据共享和价值传播.大数据产业和技术的发展都需要更强的数据安全和数据共享能力.然而,开放环境下数据的安全问题已成为制约大数据技术发展与利用的瓶颈.无论开源大数据生态还是商业大数据系统,所引发的数据安全及隐私保护问题都日益凸显.开放大数据环境下的动态数据保护系统面临着数据可用性、处理高效性和系统可扩展性等方面的挑战.提出了面向开放大数据环境的动态数据保护系统BDMasker,通过一种基于查询依赖模型(querydependencymodel)的精准查询分析及查询改写技术,能够精准感知但不改变原始业务请求,实现动态脱敏全过程对业务零影响;通过面向多引擎的统一安全策略框架,实现了动态数据保护能力的纵向扩展和在多种计算引擎中的横向扩展;利用大数据执行引擎的分布式计算能力,提升系统的数据保护处理性能.实验结果表明, BDMasker提出的精准SQL分析及改写技术是有效的,系统具有良好的扩展能力和性能表现,在TPC-DS和YCSB基准测试中,整体性能波动在3%之内.     

基于PB数据管道的异构数据库转换系统设计与实现

数据管道是完成数据转换与迁移的有效工具.结合ODBC API编程和动态数据窗口技术,探讨了通过程序动态创建数据管道对象,利用数据管道实现异构数据库通用数据转换与迁移的关键技术与实现方法.     

自动分层系统帮助云存储迈入主流

自动分层系统（Automated Tiering System,ATS）可以在不同存储层之间迁移数据。如果数据是动态的就会被迁移到靠上的存储层,最终保存在某种固态盘（SSD）中。自动分层系统有很多种,其中影响最小也是最安全的使用方式就是将其作为保存动态数据的缓存。特别是,这些系统将帮助云存储迈向主流。     

基于SM2和SM4的TEE下任务数据迁移方案北大核心CSCD

可信执行环境(Trusted Execution Environment,TEE)技术常用于保证云服务器上用户关键任务数据的机密性和完整性,考虑云服务器的负载均衡以及服务响应延迟,往往需要对TEE下的用户关键任务数据进行迁移。为了解决TEE下任务数据迁移中如何确认迁移双方身份可信性、保证迁移数据传输安全性和提高迁移速度等问题,文章提出一种高效的TEE下任务数据安全迁移方案。该方案使用软件防护扩展(Software Guard Extension,SGX)远程认证功能对迁移双方进行身份可信性验证,并基于SM2密钥协商算法和SM4分组密码算法保证迁移数据安全传输。安全性分析表明,该方案可以确保迁移双方身份可信性和迁移数据传输安全性;仿真实验结果表明,该迁移方案能够提高TEE下任务数据迁移速度。     

一种求解动态数据集中k-支配轮廓的算法

在对高维数据集进行轮廓查询时,K-支配轮廓查询算法能够返回较少的轮廓点,有利于用户的决策,但目前的算法都是针对静态数据集设计,无法对动态数据集进行处理.动态数据可分为非数据流数据和数据流数据,本文针对这两种情况提出了相应的增量求解算法,即当数据集发生变化时,以现有的K-支配轮廓为基础,通过对部分数据点进行计算得到新的K-支配轮廓.证明了算法的正确性和有效性,并通过实验对算法进行了分析和验证.     

面向云端Key/Value存储系统的开销敏感的数据迁移方法

Key/Value存储系统在大规模、高性能云应用支撑方面扮演了重要的角色,对云端Key/Value存储系统而言,数据迁移是实现节点动态扩展与弹性负载均衡的关键技术.如何降低迁移开销,是云服务提供商需着力解决的问题.已有研究工作大多针对非虚拟化环境下的数据迁移问题,这些方法对于云端Key/Value存储系统而言往往并不适用.为应对上述挑战,将数据迁移问题纳入负载均衡场景解决.提出一种基于面积的迁移开销模型,该模型可以有效感知底层VM性能干扰状况,权衡迁移时间与性能衰减值.进一步提出一种开销敏感的数据迁移算法,该算法基于开销模型与均衡度制订数据迁移计划,选取最优的迁移操作.基于雅虎的云服务基准测试工具YCSB验证了该方法的有效性.     

基于云计算服务质量感知的虚拟机节能管理研究

云计算是大量的虚拟化的计算机资源的服务节点,如何管理基于节能型和服务型的动态可扩展资源已成为一个重要的问题。针对这一目的,综合大量前期工作,提出了一种改进的遗传算法,并构造系统模型,通过使用CloudSim（云计算仿真软件）和CloudAnalyst（云分析软件）进行定性和定量的数据分析。同时也与传统的动态电压和频率缩放 (DVFS) 做了比较,通过数据验证证明出利用服务质量感知对虚拟机的节能管理在响应时间、能源消耗、虚拟机迁移数量及合并适应性方面都起到改进作用。表现为在相同功率条件下,新方法能降低用户请求的响应时间,进而提高了用户的服务质量;在相同的响应时间内,新方法又能有效的降低能量功耗。这些改进都能提高用户对服务质量的满意度,同时也为未来使用并行计算技术打下了基础。     

Power‐aware provisioning of virtual machines for real‐time Cloud services

Reducing power consumption has been an essential requirement for Cloud resource providers not only to decrease operating costs, but also to improve the system reliability. As Cloud computing becomes emergent for the Anything as a Service (XaaS) paradigm, modern real‐time services also become available through Cloud computing. In this work, we investigate power‐aware provisioning of virtual machines for real‐time services. Our approach is (i) to model a real‐time service as a real‐time virtual machine request; and (ii) to provision virtual machines in Cloud data centers using dynamic voltage frequency scaling schemes. We propose several schemes to reduce power consumption by hard real‐time services and power‐aware profitable provisioning of soft real‐time services. Copyright © 2011 John Wiley & Sons, Ltd.     

基于阈值滑动窗口机制的虚拟机迁移判决算法

数据中心是云计算中数据运算、交换、存储的中心。近年来以虚拟机为粒度的虚拟机放置管理成为云数据中心能耗管理、实现动态可伸缩资源提供的重要支撑技术。在虚拟机放置的动态管理阶段,虚拟机迁移触发机制主要是根据物理主机中资源利用率的变化情况,决定是否需要将虚拟机迁移到其它主机。迁移时机判决准确能够有效地平衡过热点并关掉过冷点。当前的迁移时机缺乏对整个数据中心负载变化行为趋势的反映,也因为静态的阈值设定容易发生频繁的迁移,造成不必要的迁移代价和传输开销。提出了基于阈值滑动窗口机制的虚拟机迁移判决算法(iWnd),其能够根据整个数据中心任务量的多少动态调整高低阈值间窗口的大小,减少了任务量满负荷时期需要迁移虚拟机的数量,从而避免不必要的迁移开销和传输代价,有效地实现节能。在云计算平台Cloudsim上进行了仿真实验。结果表明,提出的iWnd算法在减少虚拟机迁移数量、降低迁移失败率上有良好的效果,同时并未产生过多额外的功耗。     

云计算中负载优化模型及算法研究

云计算环境的动态性和异构性,使得云计算很容易出现负载失衡现象,严重影响了云计算的整体性能和用户体验.论文提出了基于改进遗传算法的负载均衡优化模型,兼顾资源需求动态变化和虚拟机的计算能力,建立相应的资源调度模型,运用改进遗传算法实现资源负载均衡.验证表明,该算法能很好满足云环境下数据中心的使用要求,提高资源利用率和负载均衡度.     

Operation analysis of massively multiplayer online games on unreliable resources

We investigate the use of a new Massively Multiplayer Online Gaming (MMOG) ecosystem consisting of end-users, game providers, game operators, and Cloud resource providers, for autonomous, self-adaptive hosting and operation of MMOGs on unreliable resources. For this purpose, we developed an MMOG simulator compliant with our ecosystem, supported by a dynamic resource provisioning and load balancing algorithm. Using our simulator in which we inject traces collected from a real-world MMOG and resource characteristics from 16 Cloud providers, we study the impact on the involved actors by considering different resource availability levels. We highlight the advantages of dynamic resource allocation over the static overprovisioning with respect to two types of metrics: QoS offered to the clients and financial profit of game providers and operators.     

A green energy-efficient scheduling algorithm using the DVFS technique for cloud datacenters

Information and communication technology (ICT) has a profound impact on environment because of its large amount of CO₂ emissions. In the past years, the research field of “green” and low power consumption networking infrastructures is of great importance for both service/network providers and equipment manufacturers. An emerging technology called Cloud computing can increase the utilization and efficiency of hardware equipment. The job scheduler is needed by a cloud datacenter to arrange resources for executing jobs. In this paper, we propose a scheduling algorithm for the cloud datacenter with a dynamic voltage frequency scaling technique. Our scheduling algorithm can efficiently increase resource utilization; hence, it can decrease the energy consumption for executing jobs. Experimental results show that our scheme can reduce more energy consumption than other schemes do. The performance of executing jobs is not sacrificed in our scheme. We provide a green energy-efficient scheduling algorithm using the DVFS technique for Cloud computing datacenters.     

基于模糊动态阈值机制的能效虚拟机合并决策方法

动态虚拟机合并是云数据中心改善功耗和资源利用率的有效方法,但负载变化使数据中心较难维持服务等级协议SLA和最优能效.针对该问题,提出一种模糊动态阈值方法对虚拟机合并过程进行决策,在动态负载环境下实现最小化的虚拟机迁移量.该算法利用模糊推理系统动态调整主机资源利用阈值,使得超载主机上的虚拟机迁移大幅降低,并可以满足服务等...     

基于迁移技术的云资源动态调度策略研究

现有云资源管理平台存在着瞬时资源利用率峰值易引发迁移、动态负载效果不佳等问题。依据云资源动态调度模型,提出了有效的基于迁移技术的虚拟机动态调度算法。算法将物理节点负载与虚拟机迁移损耗评估、多次触发控制、目标节点定位三者有机结合,实现云计算数据中心高效的动态负载均衡。实验结果表明,该算法优于CloudSim的DVFS调度策略,在保证应用服务水平的同时能减少虚拟机迁移次数和物理机启用数量。     

A secure re‐encryption scheme for data services in a cloud computing environment

Cloud computing as a promising technology and paradigm can provide various data services, such as data sharing and distribution, which allows users to derive benefits without the need for deep knowledge about them. However, the popular cloud data services also bring forth many new data security and privacy challenges. Cloud service provider untrusted, outsourced data security, hence collusion attacks from cloud service providers and data users become extremely challenging issues. To resolve these issues, we design the basic parts of secure re‐encryption scheme for data services in a cloud computing environment, and further propose an efficient and secure re‐encryption algorithm based on the EIGamal algorithm, to satisfy basic security requirements. The proposed scheme not only makes full use of the powerful processing ability of cloud computing but also can effectively ensure cloud data security. Extensive analysis shows that our proposed scheme is highly efficient and provably secure under existing security model. Copyright © 2015 John Wiley & Sons, Ltd.