OCFS：一种基于对象存储结构的可伸缩高性能集群文件系统

提出了一种基于确定性随机分布算法分布元数据和数据对象的可伸缩集群文件系统结构。其中目录路径属性与目录对象分离的元数据管理方法，在提高系统性能、均衡元数据分布和减少元数据迁移等方面具有明显优势。提出的基于动态区间映射的数据对象布局算法，支持权重分布和副本，在均衡数据分布和最少迁移数据方面都具有统计意义上的最优性，有效解决了动态存储系统的数据均衡分布与可伸缩性问题。     

基于动态区间映射的数据对象布局算法

高效、可伸缩的数据管理在大规模分布存储系统中日益重要,关键是需要一种能够自动适应存储节点增加或减少的灵活、均衡和可伸缩的数据对象布局与定位方法.提出了一种基于动态区间映射的数据对象布局算法,在均衡数据分配和最少迁移数据方面都是统计意义上最优的,并且支持按照存储节点的权重分配数据和任意的数据对象副本.     

一种面向大规模副本存储系统的可靠性模型

可靠性对大规模存储系统至关重要,在大规模存储系统中设备失效日趋频繁,副本技术成为提高系统可靠性的主流技术之一.基于Markov模型,针对多副本存储系统建立了度量系统可靠性的理论模型.该模型能够反应失效检测延迟对系统可靠性的影响.通过该模型还可以度量存储系统关键参数如系统规模、副本阶数、单节点容量、单节点平均失效时间、数据对象平均大小、平均修复带宽等对系统可靠性的影响,从而为存储系统的设计提供理论基础.     

面向海量非结构化数据的非关系型存储管理机制

针对传统的关系数据存储系统性能不足、容错性差,无法适应海量非结构化数据管理的问题,提出一种高性能、高可用非关系型存储管理机制。首先,设计了良好的用户访问服务接口,通过高效的一致性哈希算法支持数据分发到多个存储节点;其次,采用可配置的数据副本机制改善存储系统的可用性;最后,提出查询故障处理机制,用以提升存储系统的容错性,避免节点失效导致服务中断问题。实验结果表明,在不同规模用户负载下,新的存储系统的并发访问请求能力和传统的文件系统、关系数据库相比,分别提升了30%和50%;同时,在合理响应时间内,故障状态下的存储系统的可用性损失小于14%。因此,该机制适用于海量非结构化数据的高效存储管理。     

基于对等网数据副本间消息传输的PBMB算法

在基于对等网技术构建的广域网存储系统中,保存数据的多份副本可有效地提高整个存储系统的性能与可靠性,为了使更新数据在副本间有效地进行传输,该文提出适用于广域网存储系统副本间数据传输的PBMB算法,通过广播位将系统中的节点划分为不同组,并使用一种新颖的方式在组间进行数据传输,与传统方法相比,降低了节点负担,提高了数据传输效率。模拟实验表明,PBMB算法降低了节点连接出入度,具有较好的数据传输效率,适用于实际系统的需求。     

多层一致性哈希的HDFS副本放置策略

分布式文件系统HDFS采用机架感知的副本放置策略在一定程度上保证了数据的可靠性,但系统运行一段时间后会出现数据分布不均衡的情况.虽然使用Balancer程序可以对数据进行重分布,但对数据存储不均衡处理的后置性影响了系统的数据读取速率和可靠性.采用多层一致性哈希的副本放置策略,首先通过一致性哈希算法获得数据副本对应的机架位置,再通过一致性哈希算法获得该机架下对应的数据节点位置并最终成为存储位置.一致性哈希算法在查找对应位置的过程中采用地址等分和虚拟节点的技术,提高了查找的效率和分布的均衡性.该策略在数据均衡存储、上传速率方面较原有策略都有很大的提高,并且具有数据自适应性的能力.     

海量存储系统的数据分布策略研究

针对海量存储系统中数据分布存在可扩展性以及灵活性的问题,提出一种高效的数据分布算法。该算法采用一致性哈希的存储思想,利用“二分”的映射方式映射物理存储节点,摒弃了Chord算法中每台节点对路由表维护的做法,实现O（1）时间内直接路由。该算法还采用了“微分逼近”的思想,实现数据的均匀分布性。实验结果证明, TTD算法具备数据分布无关性的特点,且当物理节点逼近2^N （N〉0）时,数据分布就会越均匀。反之,可以通过虚拟节点的引入,确保数据的均匀分布。算法改进了海量存储系统中数据分布的均匀程度,有效优化了系统的整体性能。     

基于对象分组的集群存储系统可靠性分析模型

可靠性问题是研究大规模集群存储系统的一个重要方面。借鉴RAID的方法,提出基于对象分组在算法一级实现数据冗余分布的高可靠数据对象布局算法。在数据对象和存储节点失效时,利用冗余数据重构数据对象和存储节点,有效保证存储系统的高可用性。采用马尔可夫激励模型对存储系统进行定量的可用性分析,计算结果表明该方法是有效的。     

一种分布式非结构化数据副本管理模型

针对云存储系统中数据副本管理的延时响应等问题,提出一种面向非结构化数据的分布式副本管理模型.该模型采用机架选举算法,通过提高每个机架能源利用率的方法降低系统整体能耗,为绿色数据中心提供技术保障.运用多路线性散列算法,将数据副本动态均匀地分布到不同机架的不同节点中,以提高系统性能、平衡负载和资源利用率.仿真实验结果证明,与传统的全局映射法相比,该模型可以达到较高的存储与负载平衡,具有良好的扩展性和可用性.     

基于网格存储系统的自适应数据分配策略

在网格存储系统中通常包含各种异构的存储设备节点.基于同构系统的传统数据分配和放置策略并不能针对网格存储系统中异构存储设备的性能差异来进行数据分配,降低了网格存储系统的性能.提出一种自适应的数据分配策略(AD).通过运用基于虚拟磁盘性能的自适应分配策略和自适应的数据副本创建策略,AD能够根据存储设备节点的性能差异有效的进行数据分配.实验证明,自适应的数据分配策略能够充分发挥异构存储设备的性能,有效解决网格存储系统的数据放置不平衡问题,提高网格存储系统的利用率.     

数据仓库中ETL技术的探讨与实践

支持数据抽取、转换、清洗和装载的工具集对任何数据仓库工程都是一个必不可少的关键部件。本文重点探讨了ETL技术以及ETL工具的选择原则,并结合具体实例详细介绍了ETL过程的设计和实现方法。     

数据交换与共享技术在交通行业数据资源整合中的应用研究

从交通行业信息化的实际需求出发,论述了分布式异构数据环境下不同数据业务节点间的信息交互与数据共享平台构建方案,从整体设计思路、系统逻辑结构和工作机制三个方面对该数据交换与共享平台作了详述,探讨了分布式异源数据访问、数据整合与集成、数据同步复制乃至分布式协同工作等各类场景下的工作实现机制.并以此应用于交通行业数据资源整合平台环境中,产生了分布式应用间的调用规范、分布式数据源的接入规范、数据传递的格式规范等自主设计的技术成果.上述成果已应用于浙江交通数据中心的建设中,并作为交通部信息化示范工程的核心组成部分,在交通数据资源整合应用中取得实际成效.     

企业应用集成(EAI)中数据集成技术的应用

根据实施某大型散货港口信息化的企业应用集成（EAI）项目的经验,从统一数据格式定义、数据转换标准和数据集成方式三方面论述了制定EAI数据集成技术规范标准的相关内容,提出了EAI数据集成技术应用的思路和方案。     

一种基于XML的异构数据集成平台研究

异构数据集成为不同自治、异构、分布的数据提供一个统一的全局数据视图。本文提出一种数据仓库-中介器数据集成方案，引入数据缓冲机制，将历史数据存入中心数据库中，频繁访问的静态数据写入数据缓冲区，提高了异构数据查询的效率。     

公共数据中心的ETL系统设计与实现

ETL过程是构建数据仓库的重要步骤。大多数现有ETL系统在数据量较大时处理效率偏低。根据ETL在公共数据中心的实际应用改进了原有的ETL结构。鉴于公共数据保密性的特点,设计了数据不同的获取方式;在设置数据转换规则的过程中结合相应领域知识,保证数据质量;前置机之间实行负载均衡,同时把数据转换的不同步骤分配到两台ETL服务器来完成,保证抽取和转换效率。通过实验证明了该ETL系统具有较好的效率。     

非确定性数据处理技术发展现状与挑战

介绍非确定性数据处理的几种主流技术,即数据流、移动数据、传感器网络和数据世系的管理技术,描述这些技术的内涵、发展现状和挑战．指出该技术在我国未来建设智慧城市作为基础性支撑技术的重要性。     

Data provenance in SOA: security, reliability, and integrity

Due to the dynamic nature, such as services composition and evaluation, it is critical for a Service-Oriented Architecture (SOA) system to consider its data provenance, which concerns security, reliability, and integrity of data as they are being routed in the system. In a traditional software system, one focuses on the software itself to determine the security, reliability, and integrity of the software. In an SOA system, however, one also needs to consider origins and routes of data and their impact, i.e., data provenance. This paper first analyzes the unique nature and characteristics of data provenance in an SOA system, particularly related to data security, reliability, and integrity. Then it proposes a new framework for data provenance analysis in an SOA system. Finally, this paper uses an example which illustrates these techniques.     

数据清理中几种解决数据冲突的方法

建立数据挖掘模型的基石是数据仓库,数据仓库的质量直接影响到数据挖掘模型的建立与执行效率,并有可能影响到数据挖掘模型的最终结果的准确度。数据清理就是发现数据中的错误和不一致并加以消除,以提高数据的质量,使得数据挖掘模型建立的过程更加快捷和简便,挖掘出来的模式和规则也就更加有效和适用。     

“电子作业发送和回收系统”应用软件的开发

为了提高信息技术类课程电子作业发布和收交的操作效率、网络系统传输效率和电子作业安全性,利用VB开发了“电子作业发送和回收系统”应用软件。文中介绍了“电子作业发送和回收系统”应用软件的开发意义、组成、使用环境、主要功能和实现技术。     

ECAS数据仓库中数据集成的相关问题

数据仓库越来越广泛地应用于企业决策分析 ,从传统的操作型数据库集成数据是创建数据仓库必不可少的一步。结合宝钢能源部能源分析及成本分析系统 (ECAS)数据仓库 ,介绍了建立数据仓库时从不同的数据源抽取数据、清洗数据的相关问题。