云中面向图像并行计算的数据分布策略

有效地减少云计算系统中对计算任务的处理响应时间,并使各计算机节点负载均衡,数据分布算法是相当重要的.提出了一种面向图像并行计算的适用于主从类型云计算系统结构的数据分布策略,设计节点性能函数来表示节点的处理能力,根据节点间的性能比率进行任务数据量的分布,结合链路带宽制定数据发送的顺序.模拟实验结果表明,该算法适用于云计算环境,能明显提高系统的数据处理效率.     

关联数据分布树在分布式查询中的应用

连接操作是影响分布式查询性能的关键因素,数据存储是影响连接操作的重要因素.为了提高分布式系统的查询性能,通过研究数据之间的关系,提出一个关联数据分布树.利用该关联数据分布树来构造一系列的关联元组集合,然后按照各个站点的负载能力,把这些关联数据集合分配给相关站点.实验结果表明,当多个关系频繁的进行连接操作时,关联数据分布树能有效地提高整个分布式系统的查询性能.     

Ceph云存储中基于强化学习的QoS优化

针对Ceph云存储的数据分布算法CRUSH存在数据在各存储节点上分布不均衡而影响读写QoS性能问题,提出一种基于强化学习的数据分布方法.从算法本身的数据分布过程分析得出PG在OSD间分布不够均衡是造成数据分布不均的原因;在此基础上建立强化学习模型,训练调整PG在分布过程中的OSD权重,使PG更加均衡分布到各个OSD节点,数据在各设备上分布得更加均衡.实验结果表明,该算法与原有CRUSH算法相比,能使数据在各存储设备上分布更加均衡,消除系统"热点"和瓶颈,提高云存储系统的Qo S性能.     

海量结构化数据查询系统的研究与实现

随着电子商务和信息技术的飞速发展,企业需要存储和处理的数据量正在以惊人的速度增长,而传统的关系型数据库管理系统已无法满足企业对大规模数据的处理需求,因此,基于云计算的海量结构化数据处理日益成为人们关注的热点。针对Hadoop云计算平台在处理结构化数据方面的不足,给出一种以异构的数据库集群作为底层的数据存储系统,以扩展的MapReduce框架作为任务的管理和执行容器的查询系统。为提高查询的效率,给出一种优化的查询和数据分布策略。实验表明,该查询系统的执行效率较Hive有很大的提升。     

基于Hadoop 的高效连接查询处理算法CHMJ

提出了一种并行连接查询处理算法CoLocationHashMapJoin(CHMJ).首先,设计了多副本一致性哈希算法,将具有连接关系的表根据其连接属性的哈希值在机群中进行分布,在提升了连接查询处理中数据本地性的同时,保证了数据的可用性;其次,基于多副本一致性哈希数据分布,提出了HashMapJoin并行连接查询处理算法,有效地提高了连接查询的处理效率.CHMJ算法在腾讯公司的数据仓库系统中进行了应用,结果表明,CHMJ连接查询的处理效率比Hive系统提高了近5倍.     

海量结构化数据存储检索系统

Big Data是近年在云计算领域中出现的一种新型数据,传统关系型数据库系统在数据存储规模、检索效率等方面不再适用.目前的分布式No-SQL数据库可以提供分布式数据存储环境,但是无法支持多列查询.设计并实现分布式海量结构化数据存储检索系统(MDSS).系统采用列存储结构,采用集中分布式B+Tree索引和局部索引相结合的方法提高检索效率.在此基础上讨论复杂查询条件的任务分解机制,支持大数据的多属性检索、模糊检索以及统计分析等查询功能.实验结果表明,提出的分布式结构化数据管理技术和查询任务分解机制可以显著提高分布式条件下大数据集的查询效率,适合应用在日志类数据、流记录数据等海量结构化数据的存储应用场合.     

分布式关系数据库系统的数据分布与查询处理

本文讨论了分布式关系数据库系统设计的两个主要问题——数据分布和在分布的数据之上的查询处理,提出了适于处理复杂数据分布的方法和相应的数据结构——分解树,并在分解树的基础上对查询处理进行了讨论。     

一种高效的移动对象连续多范围查询处理框架

针对连续多范围查询处理,结合多核多线程技术和大容量内存技术,通过将移动对象和查询放在内存中处理,提出了一种基于多线程的连续多范围查询处理框架.该框架基于多核处理器平台采用多线程技术周期性地处理查询和移动对象的更新,并周期性地计算多范围查询的结果.提出了基于移动对象数据均匀划分的多线程连续多范围查询处理算法,该算法以为查询建立的格网索引为基础.给出了该索引的构建思想和更新算法.考虑到基于内存的算法受Cache访问性能影响,提出了基于空间填充曲线的移动对象存储优化方法.实验证明,基于多核平台的多线程处理能够高效地处理连续多范围查询,同时通过移动对象存储优化能够提高算法运行中Cache访问命中率,进而提高算法性能.     

一种有效的并行数据库数据分布方法RCMD

在并行数据库中,数据的分布方法是影响系统查询处理性能的主要因素。目前已有的几种数据分布方法都只适用于某一类查询,而处理其它类型的查询则效率较低。本文提出了一种新的数据分布方法RCMD,可以高效地支持多种查询类型。理论分析和试验结果表明本文提出的RCMD方法优于现有的数据分布方法,具有最好的查询处理性能。     

人工智能赋能的数据管理技术研究

大数据时代,数据规模庞大、数据管理应用场景复杂,传统数据库和数据管理技术面临很大的挑战.人工智能技术因其强大的学习、推理、规划能力,为数据库系统提供了新的发展机遇.人工智能赋能的数据库系统通过对数据分布、查询负载、性能表现等特征进行建模和学习,自动地进行查询负载预测、数据库配置参数调优、数据分区、索引维护、查询优化、查询调度等,以不断提高数据库针对特定硬件、数据和负载的性能.同时,一些机器学习模型可以替代数据库系统中的部分组件,有效减少开销,如学习型索引结构等.分析了人工智能赋能的数据管理新技术的研究进展,总结了现有方法的问题和解决思路,并对未来研究方向进行了展望.     

云环境下绿色任务调度策略

针对云计算数据中心的能耗问题,提出了绿色云计算体系理论,设计了绿色云系统架构;基于该架构,将能量作为一种系统资源进行分配,提出了三种绿色任务调度算法分别是STF-OS、LTF-OS和RT-OS算法;对三种绿色任务调度算法可行性做了相关的理论分析,三种算法可以有效地减少能源消耗;通过扩展云计算仿真平台CloudSim实现了模拟实验,结果表明STF-OS算法降低数据中心能耗的能力最优。     

云计算任务冗余调度优化模型

为了解决现有云计算平台的高度动态性和异构性带来的可靠性低的问题,提出了一种基于冗余调度的可靠云计算模型。针对云计算按需付费的特点,基于该可靠模型,建立了基于服务费用约束的冗余调度优化模型,以保证在该费用约束下获得最大的云计算服务可靠性。最后,用遗传算法解决该最优冗余分配问题。     

浅析云计算在故障诊断中的应用

云计算是科技业的一次新革命,本文对云计算进行了简要介绍,介绍了云计算的定义和发展历史。在介绍云计算概念、概括云计算主要特点的基础上,探讨了云计算在故障诊断工作中的应用并给出了基本结构。在基本结构当中,核心部分是由多台计算机组成的“云”,它将故障诊断工作所需的资源聚集起来,形成一个数据存储和处理中心,服务器根据用户客户端提交的数据请求,来处理数据、返回结果。     

基于等级保护基本要求的云计算安全研究

随着云计算的进一步推进和发展,云计算面临的安全问题变得越来越突出,特别是在云计算安全中的用户数据机密性、完整性和可用性方面尤为突出,云计算安全已经成为云计算推进过程中的首要障碍和难题。从云计算应用安全和系统安全两个层面,提出了云计算安全中应用安全和系统安全的威胁所在以及相应的基本保护要求。     

网络技术云计算研究

通过对目前常用的云计算进行研究,将其与网络技术结合实现应用,并对云计算的无线通信技术的基础架构、云计算在企业中的应用实例和虚拟机的云计算平台实现等几个问题进行了研究。     

基于知识粒度的不完备决策表的属性约简的矩阵算法

通过考虑云计算环境下的服务器资源负载严重、资源描述方式单一以及资源配置方法效率不高的问题以及云计算本身的特点,根据本体论和多代理机制提出一种高效实用的基于域(DOMAIN)和虚拟组织(Virtual Organiza-tion i.e.VO)的完全分布的、高效的资源配置策略。在这个策略中,每个节点都采用CCSM(Cloud Computing SystemModel)体系结构,该体系结构根据本体论引入了多代理的分层结构,并利用本体论表达语义信息来对资源进行管理,根据分层结构可以减少远程访问的时间,提高访问效率。根据语义信息来获得对概念的统一理解形式,过滤掉无关信息以缩小查询范围,并利用概念关联进行推理以实现对查询请求的泛化,由此可以提高查询过程中的查全率和查准率。     

Architectural Requirements for Cloud Computing Systems: An Enterprise Cloud Approach

Cloud Computing is a model of service delivery and access where dynamically scalable and virtualized resources are provided as a service over the Internet. This model creates a new horizon of opportunity for enterprises. It introduces new operating and business models that allow customers to pay for the resources they effectively use, instead of making heavy upfront investments. The biggest challenge in Cloud Computing is the lack of a de facto standard or single architectural method, which can meet the requirements of an enterprise cloud approach. In this paper, we explore the architectural features of Cloud Computing and classify them according to the requirements of end-users, enterprises that use the cloud as a platform, and cloud providers themselves. We show that several architectural features will play a major role in the adoption of the Cloud Computing paradigm as a mainstream commodity in the enterprise world. This paper also provides key guidelines to software architects and Cloud Computing application developers for creating future architectures.     

云计算安全研究

云计算代表IT领域向集约化、规模化与专业化道路发展的趋势,是IT领域正在发生的深刻变革.但它在提高使用效率的同时,为实现用户信息资产安全与隐私保护带来极大的冲击与挑战.当前,安全成为云计算领域亟待突破的重要问题,其重要性与紧迫性已不容忽视.分析了云计算对信息安全领域中技术、标准、监管等各方面带来的挑战;提出云计算安全参考框架及该框架下的主要研究内容;指出云计算的普及与应用是近年来信息安全领域的重大挑战与发展契机,将引发信息安全领域又一次重要的技术变革.     

面向云计算的工作流技术

云计算的发展,对提高服务质量与压缩运行成本提出了新的要求.在此背景下,工作流技术被认为是一种较为优越的解决方案:从云计算用户的角度看,工作流提供了对复杂应用的抽象定义、灵活配置和自动化运行;从云计算服务提供者的角度看,工作流实现了任务的自动调度、资源的优化和管理.文章介绍工作流技术与云计算;阐述了云工作流产生的背景;深入剖析了云工作流的技术特征以及与其他工作流(业务工作流、网格工作流)的异同;列举了云工作流的4个实现案例,并对其进行比较.最后,在总结全文的同时,展望了云工作流技术的发展前景.     

云计算与高校教育信息化

高校教育信息化是目前我国高校的发展趋势,也是实现高校教育现代化的必由之路。而作为计算机网络发展趋势的云计算是目前加快高校教育信息化的重要技术。云计算,是一种新的数据处理方式的代表,它为高校教育提供了一个广阔的学习空间,并为高校教育信息化提供了全新的环境。