内存云分级存储架构下的数据迁移模型

为了实现在线海量数据的高效存储与访问,在内存云分级存储架构下,提出一种基于数据重要性的迁移模型(MMDS)。首先,通过数据本身的大小、时间重要性、用户访问总量等因素对数据本身的重要性进行计算;其次,采用推荐系统中相似用户和PageRank算法中的重要性排名思想对数据的潜在价值进行评估,数据重要性和潜在价值共同决定了数据的重要程度;然后基于数据的重要性,设计了数据迁移机制。实验结果表明:该模型能够识别出数据的重要程度并分级放置数据,相比最近最少使用(LRU)、最近最不常用(LFU)、基于价值评估的数据迁移(MSDV)等算法,提高了存储系统的数据访问命中率。该模型能够缓解部分存储压力,数据访问性能也有了一定的提高。     

基于海量数据存储系统多级存储介质的热点数据区分方法

海量数据的应用导致文件读写压力变大,必然需要考虑文件I/O带来的系统性能瓶颈.考虑到不同存储设备性能和成本不同,而且数据访问具有时间和空间局部性,因此需要进行分级存储.考虑到数据存在着周期性的变化规律,数据访问的热度是变化的,海量存储系统中相当大比例的数据静止不动,而且高性能存储设备有限,因此基于分级存储技术进行数据迁移,并且对常规价值评定模型进行改进后提出它所适用的基于文件级的数据迁移算法.针对并发访问读写压力变大之后对数据进行迁移的场景,用Web并发访问测试工具来对数据迁移之后的硬件读写进行评估,经过对Web服务器并发访问响应时间的测试验证,与常规迁移方法相比该算法的确改进了系统的性能.     

基于VC. NET的数据访问技术与实现

为了完成数据管理系统开发中专项数据的组织调用和管理,设计将数据存入到数据库表的结构化字段中,使用VC++程序开发语言和ADO数据访问技术,结合使用ActiveX控件对数据进行安全存储和组织访问,从而达到了简单、安全、快速操作数据库中的数据的目的.文中介绍了微软ADO数据访问技术体系结构、对象模型,以及存储访问数据的原理与方法,并在此基础上给出了基于VC++. NET和ADO数据访问技术存储访问SQL Server数据库数据的程序规划和详细程序代码,此方法已成功应用在数据管理系统的开发中     

基于VC＋＋．NET的数据访问技术与实现

为了完成数据管理系统开发中专项数据的组织调用和管理,设计将数据存人到数据库表的结构化字段中,使用VC＋＋程序开发语言和ADO数据访问技术,结合使用ActiveX控件对数据进行安全存储和组织访问,从而达到了简单、安全、快速操作数据库中的数据的目的。文中介绍了微软ADO数据访问技术体系结构、对象模型,以及存储访问数据的原理与方法,并在此基础上给出了基于VC＋＋．NET和ADO数据访问技术存储访问SQLServer数据库数据的程序规划和详细程序代码,此方法已成功应用在数据管理系统的开发中。     

面向云存储数据的四维安全防护体系

针对云存储中的数据安全问题,提出一个四维安全体系。基于机密性、完整性、可控性和可用性,把数据进行四维分类并提供给云端。根据访问数据的类别,用户需要进行不同等级的认证。给出数据存储和访问的架构,方案可以根据不同的应用场景进行扩展。     

适应冷热数据存储的多编码架构的设计与实证

随着互联网技术的发展,数据爆炸性增长,互联网的实际应用也已广泛依赖于海量数据的存储。实际的互联网应用往往需要存储多种类型数据,根据数据被访问频率差异可以将数据划分为冷热数据。然而,现有的编码存储机制往往只能采用固化的实现机制,无法适应多种数据类型的编码存储,导致存储系统性能(如数据访问时间)恶化。考虑到冷热存储数据的不同,提出一种基于多数据编码机制的存储系统框架。对于冷数据,该框架可以采用冗余度较低的编码,从而提高空间利用率;对于热数据,该框架可以采用解码速度较快的编码,从而提高数据访问速度。基于HDFS-RAID设计了这一框架并将之实现为真实系统,实际部署在一个Hadoop集群中。另外基于一个实际系统的用户数据轨迹,在搭建的集群中进行了试验,实验结果表明该框架可以满足不同类型数据同时高效存取的需求,并对编码机制具备高扩展性。     

多维数据的Z-Ordering存储映射算法及其缓存调度优化

多维数据以线性形式在存储系统中进行访问操作,二维及以上维度空间中的相邻节点被不同的映射算法映射到一维空间的不相邻位置。高维空间中进行相邻节点访问时,其一维存储映射位置有着不同的访问距离和访问延迟。提出了基于空间填充曲线Z-Ordering的存储映射方法及其访问距离的度量指标,并和常规优先算法进行了对比,发现能更好地将高维相邻的数据节点簇集到一维存储位置,加强了局部性。调整缓存空间中用于预取的空间大小,可以利用增强的局部性,提高了缓存命中率。实验结果表明,改善了多维数据的访问速度,优化了系统性能。     

大数据块的存储与访问方案

大数据块的存储与访问是数据采集与分析系统、多媒体应用、信息管理系统等许多应用中都会遇到的问题,针对不同的应用环境、总结了３种解决方案,并进行了对比分析。     

数据设计器扩展的研究与应用

DDEX把．NET数据提供者与Visual Studio 2005集成起来,使开发人员可在Visual Studio中以通用数据对象的形式(如表,视图,存储过程等)访问各种不同架构数据原的内容,对表中字段与数值进行设计时访问。本文对DDEX的概念及架构进行了讲解,并以实例阐述了如何实现一个DDEX provider。     

移动网络中心云计算存储数据访问安全自动监测系统设计

为了提高移动网络中心云计算存储数据访问和安全监测能力,提出一种基于深度学习和交叉编译控制的移动网络中心云计算存储数据访问安全自动监测系统设计方法。采用混合属性数据模糊加权聚类方法进行移动网络中心云计算存储数据的优化访问控制模型设计,根据云计算存储数据之间的属性相似度进行离散化数值属性分解,提取移动网络中心云计算存储数据的混合属性特征量,根据最小化云存储数据访问成本为代价进行移动网络中心云计算存储数据访问的安全监测。结合深度学习方法进行数据访问的自适应控制,在交叉编译环境下实现云计算存储数据访问安全自动监测系统开发设计。测试结果表明,采用该方法进行移动网络中心云计算存储数据访问的安全性较好,自动化控制能力较强。     

SOA中Data Service的分析与设计

针对当前分析与设计面向服务的架构（SOA）系统时面临的数据访问多样性问题,提出一种新的基于SOA的Data Service分析设计策略,该方法以数据实体为中心,以任务为向导,采用定位数据实体和分析数据操作相结合的方法,提供一套清晰的SOA系统数据访问层设计思路,从而实现Data Service的粒度和重用性之间的平衡。实验结果表明,该方法具有一定应用价值。     

黑河流域自动观测数据下载系统的改进与应用

黑河流域生态水文WSN观测数据自动综汇系统于2012年7月正式发布。随着数据申请人数骤增,之前采用的权限管理模式、下载流程已经无法满足需求。针对黑河流域自动观测数据共享应用过程中的具体需求,将黑河计划数据管理中心下载系统与黑河流域生态水文WSN观测数据自动综汇下载系统进行对接,对下载系统的权限粒度、授权方式、数据生成及获取方式进行优化改进,极大地提高了数据共享效率,对于自动观测数据的在线共享具有重要意义。     

Hadoop平台数据访问监控机制研究

针对Hadoop平台数据被任务调度感知,进行本地化处理的新特征,探索Haoop平台中Map任务数据访问监控机制。提出Hadoop平台数据访问监控不仅应服务于数据存取效率的提升,还应服务于Map/Reduce并行作业执行效率提升的基本思想,并增加对并行执行多Map任务数据访问开销均衡性的监控。基于该思想,定义Hadoop平台数据访问监控的粒度和监控信息组成;依托Hadoop平台现有结构,设计了基于master-slave的监控体系结构,并给出了监控主要功能模块的具体实现技术及测试结果。     

数据库管理系统中数据异常体系化定义与分类

数据异常尚没有统一的定义,其含义是指可能破坏数据库一致性状态的特定数据操作模式.已知的数据异常有脏写、脏读、不可重复读、幻读、丢失更新、读偏序和写偏序等.为了提高并发控制算法的效率,数据异常也被用于定义隔离级别,采用较弱的隔离级别以提高事务处理系统的效率.体系化地研究了数据异常以及对应的隔离级别,发现了22种未被其他文献报告过的新的数据异常,并对全部数据异常进行分类.基于数据异常的分类,提出了新的且不同粒度的隔离级别体系,揭示基于数据异常定义隔离级别的规律,使得对于数据异常和隔离级别等相关概念的认知可以更加简明.     

J2EE/EJB在产品数据共享中的应用研究

虚拟企业的应用环境对产品数据共享提出了更高的要求。标准数据访问接口SDAI(StandardDataAccessInterface)为应用系统提供了独立于数据存储系统的STEP数据访问接口。提出了基于J2EE的SDAI实现系统—EAST(EJBAc-cesstoSTEPdata)支持有效的产品数据共享。分析了基于EJB实现SDAI数据访问操作的技术。     

基于业务分割的并行式大数据迁移策略研究

 大数据处理是目前研究的一个热点问题,大数据给数据存储、数据管理、数据检索带来巨大的挑战,它对存储硬件、存储策略、检索方法等研究提出了更高的要求。针对大数据处理问题,提出基于业务分割的、并行式数据迁移策略,并在此基础上开发数据迁移平台。实验结果表明：该平台在数据访问速度、占用系统内存等方面,比传统的数据迁移方法拥有更大的优势。目前该平台已在某银行收支核查系统中取得了很好的使用效果。     

网格环境下的数据存储

数据存储可以使利用不同存储环境的用户有效地访问数据。本文对网格环境下的主要存储技术进行了介绍。讨论了在本地和远程存储数据时,存储方法要考虑的问题;数据存储的基本传输和存储单元及存储模式。     

网格环境下的数据存储

数据存储可以使利用不同存储环境的用户有效地访问数据。本文对网格环境下的主要存储技术进行了介绍。讨论了在本地和远程存储数据时，存储方法要考虑的问题；数据存储的基本传输和存储单元及存储模式。     

Data Transfer Over the Internet for Real Time Applications

Efficient real time data exchange over the Internet plays a crucial role in the successful application of web-based systems. In this paper, a data transfer mechanism over the Internet is proposed for real time web based applications. The mechanism incorporates the extensible Markup Language (XML) and Hierarchical Data Format (HDF) to provide a flexible and efficient data format. Heterogeneous transfer data is classified into light and heavy data, which are stored using XML and HDF respectively; the HDF data format is then mapped to Java Document Object Model (JDOM) objects in XML in the Java environment. These JDOM data objects are sent across computer networks with the support of the Java Remote Method Invocation (RMI) data transfer infrastructure. Client's defined data priority levels are implemented in RMI, which guides a server to transfer data objects at different priorities. A remote monitoring system for an industrial reactor process simulator is used as a case study to illustrate the proposed data transfer mechanism.     

基于WEBGIS技术的地质滑坡测量实时监测系统设计

传统地质滑坡测量实时监测系统滑坡位移差异率大,监测消耗时间长。基于WEBGIS技术设计一种新的地质滑坡测量实时监测系统,利用功能性存储器实现数据存储,选取KP24传输器构建传输模块,将监控元件与预警信号元件结合到一起,实现数据监控硬件设计。通过WEBGIS技术匹配相应的内部操作检验数据,降低内部滑坡数据的冗余度,并通过WEBGIS模式将不同区域的地质条件集中反映在地图模块中,检验属性数据库中的数据信息,执行数据库改造指令,完成软件设计。与传统质滑坡测量实时监测系统进行实验对比,结果表明,基于WEBGIS技术的地质滑坡测量实时监测系统系统滑坡位移差异率较小,监测消耗时间大幅缩短,实际应用效果更强。