首页 | 本学科首页   官方微博 | 高级检索  
相似文献
 共查询到20条相似文献,搜索用时 72 毫秒
1.
云数据管理系统中查询技术研究综述   总被引:8,自引:0,他引:8  
作为一种全新的互联网应用模式,云计算在工业界和学术界备受关注.人们可以通过终端设备便捷地获取云端服务,并以按需使用的方式获得存储资源、计算资源以及软硬件资源.云计算的发展带来了一系列挑战性问题,而云数据的管理问题首当其冲.文中结合云数据的特点提出了一个云数据管理系统的框架,并在此基础上从索引管理、查询处理、查询优化以及在线聚集等几个方面对云数据管理系统中查询技术的研究工作进行了总结分析,指明了该领域面临的挑战和未来的研究工作.  相似文献   

2.
宋磊  陈虹  夏芳  张侠 《计算机应用》2003,23(Z2):251-253
科学数据管理在高性能计算中发挥着越来越重要的作用,作为构建科学数据管理的关键支撑部分,数据库应用的性能和对它的测试评估显得尤为重要.科学数据管理系统是一种新的数据库应用,目前尚没有一个针对科学数据管理应用提出的基准测试程序.文中对数据库性能测试技术和基准测试标准进行了研究,针对面向科学数据管理的数据库应用的特点,采用Set Query Benchmark对支持平台的性能作了测试.最后基于此测试案例研究,提出了一个对Set Query Benchmark改进的基于用户需求的基准测试方法--用户可定制的基准测试方法(User-defined Benchmark),对面向科学数据管理的数据库应用可以提供较好的性能度量.  相似文献   

3.
随着新型数据应用的不断出现,针对流形态数据的数据流管理系统已经成为数据管理领域研究的新热点。针对目前通用数据流管理系统只支持基于操作符流图的查询表达方式这一不足,设计了一种新的持续型数据流查询语言,并在通用数据流处理系统Aurora上进行了实现。为验证新语言的表达能力,该系统使用新语言定义了数据流基准测试Linear Road Benchmark的查询集,在Aurora系统上部署运行。测试结果表明针对Linear Road Benchmark的测试用例,新语言具有较完备的语义和良好的表达能力。  相似文献   

4.
语义Web数据管理研究进展   总被引:2,自引:0,他引:2  
杜小勇  王琰  吕彬 《软件学报》2009,20(11):2950-2964
从数据存储组织、查询优化和处理、原型系统和基准测试等方面介绍当前RDF数据管理的研究进展和比较分析,讨论存在的问题并给出未来的研究方向.  相似文献   

5.
云计算,就是指通过互联网利用可伸缩的一种虚拟化资源进行数据存取的计算模式。利用云计算可以实现终端之间数据的随意存取,为计算机硬件存储空间短缺这一问题带来了新的解决方案。云计算的强大运算功能背后是需要一个系统的云数据管理系统来支撑的。其数据查找技术,则是保证用户能够在庞大的云数据库中快速找到自己所需的数据的基础技术。与传统的计算机查找技术不同,云数据管理系统中的查询技术更加先进高端,技术性更强。该文中首先分析了云数据管理系统的基本框架和云数据查询查询处理的目标特性,继而详细介绍了目前常用的两种云数据管理系统查询技术:BigTable技术和Dynamo技术。  相似文献   

6.
为了使海量商务数据得到高效、稳定、安全的处理,提出了一种针对基于并行数据流技术的海量数据管理系统,详细探讨了该系统中并行数据加载模块和并行数据查询模块的关键技术及具体体系结构,并对其中的并行查询技术提出相关的优化方案。  相似文献   

7.
屠要峰  牛家浩  王德政  高洪  徐进  洪科  阳方 《软件学报》2023,34(3):1213-1235
大数据成为国家基础性战略资源,数据的开放共享是我国大数据战略的核心.云原生技术和湖仓一体架构正在重构大数据基础设施,并推动数据共享和价值传播.大数据产业和技术的发展都需要更强的数据安全和数据共享能力.然而,开放环境下数据的安全问题已成为制约大数据技术发展与利用的瓶颈.无论开源大数据生态还是商业大数据系统,所引发的数据安全及隐私保护问题都日益凸显.开放大数据环境下的动态数据保护系统面临着数据可用性、处理高效性和系统可扩展性等方面的挑战.提出了面向开放大数据环境的动态数据保护系统BDMasker,通过一种基于查询依赖模型(querydependencymodel)的精准查询分析及查询改写技术,能够精准感知但不改变原始业务请求,实现动态脱敏全过程对业务零影响;通过面向多引擎的统一安全策略框架,实现了动态数据保护能力的纵向扩展和在多种计算引擎中的横向扩展;利用大数据执行引擎的分布式计算能力,提升系统的数据保护处理性能.实验结果表明, BDMasker提出的精准SQL分析及改写技术是有效的,系统具有良好的扩展能力和性能表现,在TPC-DS和YCSB基准测试中,整体性能波动在3%之内.  相似文献   

8.
宋杰  王智  李甜甜  于戈 《软件学报》2015,26(8):2091-2110
在云计算技术和大数据技术的推动下,IT资源的规模不断扩大,其能耗问题日益显著.研究表明:节点资源利用率不高、资源空闲导致的能源浪费,是目前大规模分布式系统的主要问题之一.研究了MapReduce系统的能耗优化.传统的基于软件技术的能耗优化方法多采用负载集中和节点开关算法,但由于MapReduce任务的特点,集群节点不仅要完成运算,还需要存储数据,因此,传统方法难以应用到MapReduce集群.提出了良好的数据布局可以优化集群能耗.基于此,首先定义了数据布局的能耗优化目标,并提出相应的数据布局算法;接着,从理论上证明该算法能够实现数据布局的能耗优化目标;最后,在异构集群中部署3种数据布局不同的MapReduce系统,通过对比三者在执行CPU密集型、I/O密集型和交互型这3种典型运算时的集群能耗,验证了所提出的数据布局算法的能耗优化效果.理论和实验结果均表明,所提出的布局算法能够有效地降低MapReduce集群的能耗.上述工作都将促进高能耗计算和大数据分析的应用.  相似文献   

9.
为解决大数据环境下信息整合效率低下、管理混乱,数据结构复杂、检测效率低以及精度适应能力差等问题,提出一种基于数据挖掘技术的自然资源大数据整合优化方法.针对自然资源整合内容,开发基于数据挖掘的整合分析平台,使用优化后Apriori算法处理多通道数据,利用Web技术建立单一数据管理系统,对目标数据优化和查询,度量自然资源目标数据质量,同时通过计算获取出列间数据的灰色关联度,赋值函数求出目标数据贡献值和相似度判别阈值,计算其总值完成目标数据整合优化.仿真结果表明,所提方法能有效简化数据结构、加强数据精度和质量,提升查询效率,具有较高适用性以及优质的鲁棒性.  相似文献   

10.
能耗问题是当前信息系统发展根本性挑战之一.云计算系统作为未来信息通信系统中内容与服务的源头与处理核心业已成为信息通信系统的能耗大户.能耗模型作为能效优化研究的基础,目前已有云计算系统能耗模型大多从宏观角度粗糙的衡量云计算系统能耗,无法对真正有效的指导能效优化方法研究.针对这一问题,本文首先在综合考虑云计算系统微观到宏观能耗多个角度的基础上给出了绿色指数的定义;然后,探讨了绿色指数能耗模型中的多元、多时间、多空间尺度的感知方法;最后,给出了微观能耗建模方法与基于非线性积分的宏观能耗模型形式化描述方法.文中所提出的绿色指数能耗建模方法可以从多角度有效体现能耗,指导真正有效的云计算系统能效优化方法研究.  相似文献   

11.
云计算和云数据管理技术   总被引:7,自引:0,他引:7  
随着各种新技术的发展,企业的关键信息以几何级速度增长,更多的数据需要保存更长的时间.伴随着云计算技术的发展,云计算已经成为一种全新的互联网应用模式.而在云计算对海量的数据高效管理,云端数据精确精准快速查询成为越来越重要的问题.一个新的面向云计算的数据管理研究领域正逐渐形成,在云计算技术的基础上,提出了云数据管理的概念.分析GFS,BigTable,Dynamo等当前互联网主流云数据管理系统的基本原理,并针对未来云数据管理架构进行分析,最后指出了云数据管理领域的主要研究方向.  相似文献   

12.
云计算和云存储正在替代以前的网站和应用空间,而手机APP正比桌面软件占用人们更多的访问数据和信息的时间,现在有不同的云服务和手机应用平台。微软公司的云服务平台为Windows Azure,其手机操作系统为Windows Phone,探讨了如何用Windows Azure Blob Storage来存储Windows Phone App的数据。  相似文献   

13.
云计算技术是计算机技术未来发展趋势,云计算技术基于Internet技术,现在是网络时代,数据在网络上传播,保护数据的安全性是迫在眉睫,在云计算技术开发大数据的平台下,如何保护数据的安全是学者广泛研究的范畴.本论文从基于云计算环境下对开发数据的安全性进行研究,从不同层面阐述数据安全性的重要,希望本论文能为研究元计算技术安全性的学者提供理论参考依据.  相似文献   

14.
与公有云计算相比,针对数据与计算双重密集型任务的私有云计算系统对计算效率和系统管理效率提出了更高的要求,目前的公有云计算系统显得过于复杂和繁琐,因此需要一种简便易用的能够适应数据与计算密集型任务的私有云计算系统实现。借鉴公有云计算的相关理论和实现方法,提出了一种针对数据与计算双重密集型任务的私有云计算系统实现方案。该方案通过作业文件描述用户的计算任务,确定计算任务的计算模型和计算的输入输出文件;针对私有云的特点,简化Google云计算系统的MapReduce并行处理框架,得到更加直观的数据计算模型;自动连  相似文献   

15.
云计算是当前信息产业中研究与应用的热点.云计算在快速发展的同时,也存在着很多的安全隐患,安全是云计算领域亟待解决的主要问题之一.当今各种云计算安全技术尚未十分成熟,对于普通用户来说,还不能完全依赖服务商和利用既有的安全技术来保障自己的数据安全.文章介绍了云计算安全的现状,根据云计算的特点分析了其主要的安全风险,并提出了降低安全风险的主要思路,使云计算用户能积极部署风险管理措施,在享受云计算的诸多好处的同时,把安全风险尽量降低.  相似文献   

16.
由于云计算环境下不可靠数据中包含有利用价值的信息,但直接使用可能会给计算机带来负担,所以需要对云计算环境下不可靠数据进行恢复;当前大多数方法对不可靠数据进行复写时,利用地址映射层分配新的写入地址,因此不可靠的数据在一段时间内仍存在于云存储中,在这样的系统上实现对其的保护,不需额外保存数据的更新信息;通过FLASH的带外区记录时间戳,在FTL的映射项中增加时间戳信息,在不跟踪映射表每次更新的情况下,达到数据快速恢复的目的;但这种方法对云存储系统性能产生不利影响;为此,提出一种基于张量Tucker阈值的云计算环境下不可靠数据恢复方法,首先利用云计算环境下节点自身的随机秘钥生成器产生随机会话密钥,并对不可靠数据HMAC报文鉴别码进行计算,从而实现保护和重构;在此基础上,将不可靠数据的阈值分解过程与奇异阈值方法相结合,从而得到Tncker阈值算子,实现动态的数据恢复,恢复过程中利用Tucker阈值算子与增广拉格朗日乘子方法相结合的方式选择n-秩相似张量,提出基于增广拉格朗日乘子方法的不可靠数据Tucker阈值恢复方法,完成云计算环境下不可靠数据恢复;实验证明,所提方法能够有效提高不可靠数据恢复的准确性,降低数据恢复的能耗和时间,具有较强的可行性,为该课题的应用研究提供理论依据。  相似文献   

17.
大数据概念辨析及应对措施   总被引:1,自引:0,他引:1  
首先介绍大数据的概念及其意义,指出大数据会给未来的社会生活带来深远影响。接着对大数据涉及的相关技术进行详细分析,指出需要解决的问题。然后对大数据与云计算进行比较分析,指出两者的异同,同时对如何应对大数据进行探讨,提出相关建议。  相似文献   

18.
数据安全问题是困扰云计算发展的主要问题之一,针对目前云计算应用中用户数据安全存储需求提高,需要极大提高数据读写效率的问题,提出采用对称加密算法与非对称加密算法相结合的加密、解密方案,利用对称密钥适合对大规模数据加密,而非对称密钥本身安全性较高的特点,充分发挥了两者在云计算环境下的优点,实现了一种存储安全性好而且读写效率高的数据存储策略;力图在数据安全性达到非对称密钥加密体制的前提下,使算法效率接近对称密钥加密体制的水平。  相似文献   

19.
目前,PACS系统已经日益成为各级医院实现信息化建设的重要组成部分,在网络应用越来越广泛的今天,异地多院区联接形成医院PACS系统对存储应用有更高的要求。文章从医院PACS系统存储的实例出发,探讨了基于云存储的PACS系统存储设计。  相似文献   

20.
云计算是当前信息技术领域的热门话题之一,越来越多的用户将存储和计算付诸云端。但是,随之而来的安全问题却成为了制约其发展的瓶颈。在分析云计算安全问题的基础上,利用各种技术手段,给出了云计算的安全防范策略。  相似文献   

设为首页 | 免责声明 | 关于勤云 | 加入收藏

Copyright©北京勤云科技发展有限公司  京ICP备09084417号