分布式站点间的跨域文件系统

高能物理科学研究大多依托固定站点大科学装置,拥有海量实验数据。因此数据计算往往基于异地站点的海量实验数据。针对这些海量的分布式实验数据,传统的高能物理计算模式中采用了网格的方式进行跨域数据共享,但资源利用率低、响应时间长以及部署维护困难等问题,限制了网格技术在中小型站点间的数据共享。针对高能物理计算环境中,中小型站点间的数据共享问题,以Streaming & Cache为核心思想,设计一种远程文件系统,提出远程数据访问本地化,提供高实时性数据访问模式,实现基于HTTP协议的按需数据传输与管理,拥有数据块散列存储和文件统一化视图管理。与高能物理计算中常用分布式文件系统EOS、Lustre、GlusterFS相比,具有广域网可用性、网络时延不敏感性和高性能数据访问模式。     

决策支持系统中数据访问语言的研究

通过对目前面向问题求解的决策支持系统中数据访问机制的研究，设计了一种数据访问语言（DAL）及其解释模型，从而通过在数据需求和数据存储之间添加数据语义层，提供了统一的数据访问接口，提高了决策问题求解的有效性和EUD模式的可行性。     

基于XML的.NET通用数据访问模型的研究

.NET的数据访问模型利用通用数据接口,实现对异构数据库的管理和数据存储。但是,它缺乏对文件系统的集成,不能实现完全的信息共享。该模型实现文件系统和异构数据库系统的集成,在一定程度上能解决这一问题。     

面向列的内存访问研究综述

在大规模、数据量密集的特定应用场景下,以行存储访问数据的方式弊端日益凸显,逐渐不能满足数据高速访问的性能需求,数据亟需更加高效的传输和处理方式.因此,拓展新的内存访问方式,并且同时兼容行、列方向的访问对提升访问效率、降低整体功耗、节省内存空间有着重要意义.本文围绕动态随机存储和非易失性存储两个方面来详细介绍实现列方向的内存访问方式,重点分析了存储单元的结构设计以及实现列向存储访问过程.最后,对内存两种不同访问方式进行了比较和总结,并且对行列访问的内存数据库、数据挖掘、数据加密算法、实时系统的应用场景进行了展望.     

基于SQLite的LOD模式海量影像数据管理系统的设计与实现

如何实现海量影像数据的合理化存储、高效的访问是视景仿真领域的一个瓶颈问题。本文提出了一种运用SQLite数据库实现基于嵌入式数据库的集中式数据管理方法,将海量影像数据以数据库的形式进行管理,同时又以类似文件操作的方式实现快速访问,为解决基于LOD模式海量影像数据难以管理维护的问题提供了一种可行方案。本文方法有效而稳定地实现了海量影像数据的管理和调度,具有良好的实际应用价值。     

一种支持XML的文件系统构建模型

XML作为数据存储和传输的标准,已经广泛应用于网络和数据库等数据处理系统中.针对大量出现的XML数据,传统的基于字节流的文件系统因其不具备存储和管理语义结构的能力,只能将XML数据视为普通的文本文档进行存储和管理,因而不能充分利用XML的半结构化等优点进行高效的细粒度的信息管理.本文在研究基于XML的数据库系统和语义文件系统的基础上,提出一种新型的基于XML的文件系统模型,并在传统文件系统上利用目录和文件分别存储XML文件的元素和属性实现一种语义结构的存储,使文件系统具备对信息的细粒度控制.     

基于大数据的计算机数据库连接访问技术研究

随着社会经济水平的不断提高和大数据技术的不断发展,准确高效地处理海量数据已不再是难题,为促进各个行业的迅猛发展提供了重要的技术支持。为了紧跟大数据时代的发展步伐,满足海量数据的处理需求,加强对计算机数据库连接访问技术的研发和应用显得尤为重要。基于以上情况,本文在大数据时代背景下,介绍了计算机数据库的连接访问技术,最后从ADO.NET数据库连接访问技术、Java.Bean数据库连接访问技术两个方面研究了计算机数据库连接访问技术的应用,希望能够为相关技术人员提供借鉴。     

FC-SAN中的数据放置和访问路径选择的代价模型

网络化存储通过引入网络的概念将存储独立于服务器甚至通信网络,已经成为传统存储方式的有力替代者.然而,FC-SAN虚拟存储方式的存储性能依赖于存储对象的某些属性,在某些情况下,其性能甚至不如传统的LAN数据共享方式.就FC-SAN虚拟存储方式中的数据放置和访问路径选择对这一问题进行了研究.首先通过分析虚拟存储原理提出了一个数据访问耗时的线性模型;然后,就数据放置和访问路径选择提出了一个决策方法;并在进一步探讨这一方法的过程中，定义了“虚拟存储代价当量”的概念，用以评价FC-SAN虚拟存储环境中的数据放置的代价，从而为评价以及如何选择数据放置和访问路径提供了一种定量的手段.最后，在数字图书馆的一个海量存储原型系统中对上述的理论分析、各种条件进行了实验验证，并结合实际给出了“虚拟存储代价当量”的计算方法，验证了所提出的方法的有效性.     

基于Hadoop的矢量空间数据库技术

大型GIS系统中要存储海量的空间数据,需要面对大量用户高并发访问提供高效的服务,而传统的空间数据库设计方案难以满足需求。针对大型GIS系统中海量矢量数据存储组织,提出一种基于Hadoop的存储方案,并通过实验验证该方案的有效性。     

KingCloud:智能对象归档系统

随着信息化进程的不断推进,生产系统积累了大量的数据,形成了归档需求;与此同时,数据信息类型不断丰富,非结构化数据的处理是挖掘数据价值的关键。设计并实现了KingCloud智能对象归档系统,通过文档分类技术实现了文本文件的分类,并提供了文档逻辑视图;利用图像识别、视频关键帧提取等技术实现图片和视频文件的内容元数据获取,在整体存储结构上结合文件系统语义研究对文件预取、存储缓存、数据布局和策略感知等方面进行优化,能够对数据进行智能的分类、归纳总结、智能的发现和预测及智能的分析,有效提升了存储系统的服务能力、服务质量和服务性能。     

一种结构化文件的访问控制模型的设计和实现

随着控制的粒度要求越来越细,传统的文件访问控制和权限管理已经逐渐无法完全满足当前一些应用中控制的要求。文章给出了一种结构化文件访问控制和权限管理的模型和解决方案,使得控制的粒度达到文件内容和语义的层次,能和现有的文件访问控制兼容,同时具有可扩展、用户自定义的特点。     

一种高性能I／O方法

并存文伴系统是解决I／O瓶颈问题的重要途径。研究表明，科学应用中跨越式的文件访问模式与现存并行文件系统访问这些数据的方法的结合，对于大型数据集的访问其I／O性能是难以接受的。为了提高并行文件系统中对不连续数据的I／O性能，创建了一种新型高性能I／O方法：用户自定义文件视图结合合并I／O请求。并且在WPFS并行文件系统中实现了该方法。研究和实验结果表明，该方法具有增强科学应用性能的潜力。     

NTFS与EXT2文件系统互访探究

Windows和Linux是目前主流操作系统阵营中的两大主力。由于种种原因,这两种操作系统采用了各自独立的文件系统格式,WindowsNT系列采用NTFS文件系统,而GNU/Linux则为EXT2文件系统,两者互相不能访问。为了解决两者的互访问题,重点探讨了两种文件系统间的访问原理与方法,分析了不同操作系统平台下能够实现互访功能的应用程序。     

面向高效文件访问的目录结构优化研究

针对气象水文应用中,大量常规观探测报文批量访问出现的低效问题,研究文件存储特性,定量分析了目录级数和文件数量对访问性能的影响,发现文件数相对于文件大小,对于系统的访问效率影响更大,当单个目录下文件数目过大时,文件存取延时较大,严重影响用户体验与服务性能。根据NTFS下的实验数据,设计了一种高效的目录组织方法,优化用户态文件存储管理算法。实验表明,优化后的文件目录结构和组织形式,能极大地提高批量文件的读取效率,降低20%—73%的访问延时,改善网络环境下的大规模文件接收处理效率。     

一种面向HDFS的数据随机访问方法

为了简化文件系统的实现,支持超大规模数据集的流式访问,HDFS牺牲了文件的随机访问功能,而在实际场景中很多应用都需要对文件进行随机访问。在深入分析HDFS数据读写原理的基础上,提出了一种面向HDFS的数据随机访问方法。其设计思想是为Datanode添加本地数据访问接口,用户程序可以读取Datanode上存放的数据块文件以及把数据写入到Datanode上的数据块存放目录。文件的首副本由用户程序直接产生,其余副本在首副本写入完成之后采用数据复制的方式生成。此外,为数据块添加了权限管理功能,Datanode上的文件副本属于用户所有。若名字空间中文件权限发生变化,文件对应的数据块权限也会改变。测试表明,数据读取性能提升了约10%,数据写入性能提升了20%以上,在高并发下写入性能最大可提升2.5倍。     

基于Cache的数据挖掘专用数据访问组件

介绍了数据挖掘算法的两种传统数据访问方式及其缺点,提出了新的数据访问方式——基于Cache的数据挖掘算法的数据访问方法,该方法提供了三种模式缓存数据:单列模式、多列模式、混合模式,以适用多种数据挖掘算法的需要。设计实现了这种数据挖掘专用数据访问组件,该组件兼顾了传统访问方式的优点,实验证明在占用有限系统资源的情况下,保证了高效的数据访问效率并支持对海量数据的访问。     

一种性能优化的小文件存储访问策略的研究

在分布式文件系统中,小文件的管理一般存在访问性能较差和存储空间浪费较大等缺点.为了解决这些问题,提出了一种性能优化的小文件存储访问(SFSA)策略.SFSA将逻辑上连续的数据尽可能存储在物理磁盘的连续空间,使用Cache充当元数据服务器的角色并通过简化的文件信息节点提高Cache利用率,提高了小文件访问性能;写数据时聚合更新数据及其文件夹域中的相关数据为一次I/O请求写入,减少了文件碎片数量,提高了存储空间利用率;文件传输时利用局部性原理,提前发送批量的高访问率的小文件,降低了建立网络连接开销,提升了文件传输性能.理论分析和实验证明,SFSA的设计思想和方法能有效地优化小文件的存储访问性能.     

数据库中文件夹的整体存储与随机访问

当前的数据库系统不能提供对文件夹存取的直接支持。针对该问题,综合数据库二进制大对象(BLOB)技术、流技术和序列化技术,提出一种数据库中文件夹的整体存储和随机访问方法。将文件夹打包成连续的文件数据块和目录结构对象,序列化目录结构对象为目录结构数据块,保存文件数据块和目录结构数据块至数据库的BLOB列。访问数据库文件时,读取目录结构BLOB为目录结构数据块,通过反序列化将其恢复成目录结构对象。从目录结构对象中可选择欲访问的文件,确定其在文件数据BLOB中的位置和大小,读取其对应的数据,从而实现对数据库中文件夹的随机访问。     

在VB中存取SQL SERVER 2000二进制数据的方法

表加实体的间接存取方法应用广泛、易于理解,二进制数据以文件的形式存放在特定的目录下,数据表中字段值存储文件路径,此方法不能体现SQLSERVER2000管理数据的优势;直接存取将二进制数据直接存入数据库中,存取过程均以临时文件过渡,是数据库管理二进制数据的发展方向。     

基于混合策略的低成本云存储方案

为了保证云存储系统数据的高可用性、降低数据存储成本和带宽成本、缩短数据对象的访问时间,提出一种称为缓存大小自适应确定(CAROM)的新方案。CAROM结合传统的基于缓存策略的方法和纠错码方法来提高云文件系统的弹性和效率。另外,为了在缓存大小及其效益间实现平衡,提出一种基于总体成本凸函数特性的自适应方法来实现缓存大小的自适应选择。在基于现实世界文件系统数据的性能评估中,CAROM方案的存储成本和带宽成本分别比复制策略和纠错码策略下降60%和43%,同时访问延时与复制策略相当。结果表明,CAROM方案在支持当前云文件系统语义一致性的同时,兼具带宽成本低、存储成本低和访问成本低等特性。