FSbench:一个机群文件系统基准程序

FSbcnch是一种通用的基于Unix平台的机群文件系统基准程序,它使用独特的时间同步机制来测试文件系统真实并发时的性能,扩展了SPEC SFS的负载测试方法并用来测试多种机群文件系统,提供了多种测试共享文件的模式,可以测试共享文件的并行存取性能。     

云数据库应用研究

在信息大爆炸时代,每天产生着海量的数据,并且由这些数据产生更大规模的管理操作记录文件和系统日志文件,传统数据库已经不能满足如此庞大的数据管理要求。文中从实际出发分析了传统数据库面临的问题,提出用云数据库来解决问题。对云数据库技术的发展和现状进行了阐述,分析了当前主流云数据库的特点和优势,并采用HBase作为云数据库平台进行了实验研究。实验表明云数据库具有很好的可扩展性和容灾性,并且具有较高的读写性能,能满足海量数据的分布式应用需求。     

云数据管理索引技术研究

数据的爆炸式增长给传统的关系型数据库带来了巨大的挑战,使其在扩展性、容错性等方面遇到了瓶颈.而云计算技术依靠其高扩展性、高可用性、容错性等特点,成为大规模数据管理的有效方案.然而现有的云数据管理系统也存在不足之处,其只能支持基于主键的快速查询,因缺乏索引、视图等机制,所以不能提供高效的多维查询、join等操作,这限制了云计算在很多方面的应用.主要对云数据管理中的索引技术的相关工作进行了深入调研,并作了对比分析,指出了其各自的优点和不足;对在云计算环境下针对海量物联网数据的多维索引技术研究工作进行了简单介绍;最后指出了在云计算环境下针对大数据索引技术的若干挑战性问题.     

基于流程管控的数据管理系统设计

在信息化时代背景下,数据已成为组织运作的关键要素,但传统数据管理系统在流程管控、安全防护及数据分析方面存在诸多局限。设计一套基于流程管控的数据管理系统,包括数据采集与录入、处理与整合、存储与备份、查询与分析四大功能模块,以及用户身份认证与权限管理、数据加密与安全传输、安全审计与日志管理、系统入侵检测与防护四大安全模块,并进行功能和性能测试,验证系统设计的有效性和稳定性,为构建高效、安全的数据管理平台提供了新的思路与实践方案。     

基于云存储的井下人员定位数据处理

鉴于国内目前各大煤矿企业的实际情况,对井下人员定位系统进行研究,为了改进定位产生的海量数据所存在的不安全、不完整等弊端,采用云存储代替原有的存储模式。利用云存储量身定制这一特性,在企业内部搭建私有云,以Hadoop为技术架构,运用HBase的RowKey确定检索的主键,HDFS的NameNode与DataNode完成数据间的交互,快速、高效的查找数据。将云存储应用于企业中,帮助企业顺应时代的脚步,有利于企业的发展,具有一定的价值。     

云存储性能评测技术研究

随着网络和存储技术的发展, 提供可共享和便捷使用云存储服务已成为互联网的一种重大新型应用模式和发展趋势。但由于系统规模巨大且存储内容多变, 传统的性能评价及测试方法已不适用于云存储平台。提供云存储系统性能评测的思路, 建立面向不同用户、适用于不同阶段的多指标三维评测体系, 采用云测试云的方案测试不同物理位置上的节点访问性能。     

区块链测试基准综述

近年来, 区块链技术已经广泛应用到数据要素流通、金融、物流、政务以及司法等领域. 随之也出现了若干区块链测试基准, 以评测不同区块链系统的性能. 然而, 现有区块链测试基准内容差异较大, 缺少统一的区块链测试基准框架来规范基准的内容, 也缺失统一的指标体系来明确区块链系统在性能和安全性方面应具备的能力. 从数据库发展历程来看, 统一的、可重复的、公平的测试基准规范可以更好地引导行业发展. 区块链本身也是一种特殊的分布式数据库管理系统, 应该借鉴数据库技术在发展过程中积累的宝贵经验. 参考数据库测试基准的内容, 针对区块链系统所特有的去中心化、不可篡改、可信等特点, 提出一个区块链测试基准参考框架UFBCB. 该参考框架定义了区块链测试基准的5个核心要素: 应用模型、数据模型、负载、指标和执行规则, 并阐明5个要素相互之间的关系, 为区块链性能评测提供了一个统一的参考标准. 提出一个全面衡量区块链系统各项关键能力的测试指标体系, 包含性能、能耗、扩展性和安全性这4个方面的指标, 基本覆盖了已有的区块链测试指标. 在此基础上, 将UFBCB框架与现有区块链测试基准进行详尽的对比分析, 指出目前区块链测试基准存在的普遍问题. 最后, 对区块链测试基准未来的发展方向进行了讨论.     

基于云数据库的高校学生网络党建管理系统设计

在传统的高校党建宣传过程中,存在一种应付式学习方式,导致学习积极性较低.通过建立云数据库的高校党建管理平台,将大学生党建管理、信息、知识、新闻整合一起,建立高校党建工作的学习、交流平台,实现对大学生党务工作的管理.系统基于云数据库的SOA服务架构机制,采用键/值数据模型的HBase体系架构,基于应用层、任务调度层、云数...     

云计算和云数据管理技术

随着各种新技术的发展,企业的关键信息以几何级速度增长,更多的数据需要保存更长的时间.伴随着云计算技术的发展,云计算已经成为一种全新的互联网应用模式.而在云计算对海量的数据高效管理,云端数据精确精准快速查询成为越来越重要的问题.一个新的面向云计算的数据管理研究领域正逐渐形成,在云计算技术的基础上,提出了云数据管理的概念.分析GFS,BigTable,Dynamo等当前互联网主流云数据管理系统的基本原理,并针对未来云数据管理架构进行分析,最后指出了云数据管理领域的主要研究方向.     

基于云存储的井下人员定位数据处理

鉴于国内目前各大煤矿企业的实际情况,对井下人员定位系统进行研究,为了改进定位产生的海量数据所存在的不安全、不完整等弊端,采用云存储代替原有的存储模式。利用云存储量身定制这一特性,在企业内部搭建私有云,以Ha-doop为技术架构,运用HBase的RowKey确定检索的主键,HDFS的NameNode与DataNode完成数据间的交互,快速、高效的查找数据。将云存储应用于企业中,帮助企业顺应时代的脚步,有利于企业的发展,具有一定的价值。     

云数据管理系统能耗基准测试与分析

云数据管理系统是一种新兴的数据管理系统.为了研究云数据管理系统的能耗优化,实现"绿色计算",首先要定义能耗的度量模型和基准测试方法,分析系统的能耗特点.目前云数据管理系统的基准测试主要集中在性能方面,对能耗方面的评估和优化工作很少;对测量仪器、测试手段、测试用例以及能耗基本规律的研究存在空白.文中提出了一种能耗的度量模型和数学表达;定义了一组数据装载、查询和分析用例来测试云数据管理系统的能耗;设计了系统能耗的测量方法;分析了若干云数据管理系统在执行数据装载、读取、查询、聚集和连接等操作时的能耗特征,提出了通过降低"等待能耗"而进行云数据管理系统的能耗优化.大量实验数据证明,尽管云计算被认为是一种绿色计算,但文中测试的云数据管理系统在能耗方面差异较大,需要对部分系统进行进一步的优化.     

数据管理系统评测基准:从传统数据库到新兴大数据

大数据时代的到来意味着新技术、新系统和新产品的出现.如何客观地比较和评价不同系统之间的优劣自然成为一个热门研究课题,这种情形与三十多年前数据库系统蓬勃发展时期甚为相似.众所周知,在数据库系统取得辉煌成就的发展道路上,基准评测研究一直扮演着重要角色,极大推进了数据库技术和系统的长足发展.数据管理系统评测基准是指一套可用于评测、比较不同数据库系统性能的规范,以客观、全面反映具有类似功能的数据库系统之间的性能差距,从而推动技术进步、引导行业健康发展.数据管理系统评测基准与应用息息相关:应用发展产生新的数据管理需求,继而引发数据管理技术革新,再催生多个数据管理系统/平台,进而产生新的数据管理系统评测基准.数据管理系统评测基准种类多样,不仅包括面向关系型数据的基准评测,还包括面向半结构化数据、对象数据、流数据、空间数据等非关系型数据的评测基准.在当今新的数据系统发展中,面向大数据管理系统的评测基准的研究热潮也如期而至.大数据评测基准研究与应用密切相关.总体而言,尽管已有的数据管理系统评测基准未能充分体现大数据的特征,但是从方法学层面而言,三十多年来数据管理系统评测基准的发展经验是开展大数据系统研发最值得借鉴和参考的,这也是该文的主要动机.该文系统地回顾了数据管理系统评测基准的发展历程,分析了取得的成就,并展望了未来的发展方向.     

基于比较策略的嵌入式系统性能基准测试研究

嵌入式系统受成本、功耗、芯片体积和开发周期等多种因素的制约,其性能往往难以满足应用需求,充分发挥嵌入式系统的潜能对嵌入式系统设计尤为重要。为此,需要对嵌入式系统进行性能基准测试,指导嵌入式系统设计的技术选型和决策,在满足应用需求的前提下,达到最佳性能/价格比。该文分析了嵌入式系统性能基准测试的基本原理和性能指标,介绍了几种常用的嵌入式系统性能评测基准及其适用范围,提出了一种运用对比策略进行嵌入式系统性能测试的测试方法和测试环境的构成,实现了一种嵌入式性能测试工具,并对相关的嵌入式系统及构件进行了性能测试。最后对嵌入式系统性能基准测试研究存在的主要问题进行了评价。     

网站云的数据管理技术与实现

网站云为同行业同性质的网站提供一种集群统一的管理方式,通过SaaS多租户技术网站云可以为租户提供良好的数据安全与个性化定制,因此它需要一种动态可管理的数据存储方式作为支撑。本文从平台内部数据管理与平台外部数据的迁移方式这两部分进行阐述,提出使用枢轴表与XML结合的数据管理方式,并结合实际应用的案例进行说明。实践证明,这种高效的动态管理方式能够支持网站云的实现,满足多租户网站云平台的需要。     

DDBS:云数据中心基于数据依赖的虚拟机选择策略

提出了一种云数据中心基于数据依赖的虚拟机选择算法DDBS(data dependency based VM selection).参考Cloudsim项目中方法,将虚拟机迁移过程划分为虚拟机选择操作(VM selection)和虚拟机放置(VM placement)操作.DDBS在虚拟机选择过程中考虑虚拟机之间的数据依...     

一种面向云的大数据完整性检测协议

云计算的出现为计算机的发展提出了一个新的发展方向,但是其中的很多安全问题一直限制着云计算的发展,其中云存储的完整性检测问题最为突出。由于大数据的特性,现有的关于数据完整性检测的协议并不适合大数据的检测。通过对Juels协议的改进,文中提出一种新的更加适合大数据存储的数据完整性检测协议,改进了原有协议只能进行有限次数检测的缺陷,引入了纠删码技术,使得数据的可恢复性得到大幅提升。通过理论分析表明该协议在数据的计算量和用户数据存储量上都有明显优势。     

海量测量数据简化技术研究

随着坐标测量设备的发展,快速方便地获取包含被测物体更多细节的海量数据成为可能,但由于其数据量非常庞大,会严重影响模型重建算法的效率。文中提出了3种海量数据简化准则：简化后数据集中点的个数、数据集中点的密度阈值及删除一点引起的法向误差的阈值。根据这些准则,分别给出了相应的数据简化算法。该算法的核心是用Riemann图建立散乱测点间的领接关系,在此基础上进行Riemann图的最优遍历并计算测点处的最小二乘拟合平面,从而近似计算删除一点引起的误差。文中提出的对一海量数据进行空间划分的算法,提高了数据简化的效率,应用实例表明本文提出的算法达到了预期的效果。     

多云工作流优化传输费用的数据布局策略

科学工作流应用是一种复杂且数据密集型的应用,常应用于结构生物学、高能物理学和神经学等涉及分布式数据源的学科。数据分散存储在基于互联网的云计算平台上,致使科学工作流在执行时伴随着大量的数据传输。云计算是一种按使用量付费的模式,数据传输产生传输费用,尤其在多个工作流相互协同的情况下,将产生更高的传输成本。该文从全局的角度建立基于多工作流数据依赖图的传输成本模型,研究基于二进制粒子群算法（BPSO）的数据布局优化策略,从而减少对云计算传输资源的租赁费用。