图像数据库管理系统的关键技术研究综述*

综述了图像数据库的体系结构和框架,设计了一个图像数据库通用框架。围绕通用框架,综述了存储机制、数据模型、语义模型、图像检索和可视化等关键技术,分析了它们的研究现状和有待解决的问题。     

在线考试系统通用数据模型研究

数据模型是数据库设计的基础和核心,它的好坏直接关系到信息管理系统开发的成功与失败。本文研究了在线考试系统的数据模型构建,给出了在线考试系统的三个通用数据模型。对同类管理系统的通用数据建模有一定的参考价值。     

查询感知的关系-图数据库自适应存储技术研究

在大数据时代,针对不同场景下如何保持数据高效查询受到持续关注,但是对通过改进数据的存储管理技术来提高查询效率还有待进一步研究。因此,结合图数据结构类型多变、应用场景丰富、数据集价值高等优势,提出了一种利用关系-图数据模型协同存储数据的模式,并设计了用户查询感知的自适应存储优化技术来解决多数据模型的数据存储冗余优化问题。通过分析不同引擎处理不同的查询得出每种引擎对应的不同查询性能和多数据模型存储存在的数据冗余问题,提出用户查询感知的自适应存储技术。再结合用户历史查询及查询特点,利用基于启发式规则的优化算法完成多数据模型的数据存储优化。     

基于Neo4j的海量石油领域本体数据存储研究

语义网技术的发展促进了石油领域中多学科本体之间的整合技术的发展。随着数据的规模的增大,传统的基于关系型数据库的数据存储和信息检索等存在较多问题。对此,提出了一个基于Neo4j数据库的领域本体构建过程,专注于改进数据存储和信息检索两个方面。首先,提出了一种基于图形数据库Neo4j的大规模本体数据存储问题的解决方案,通过设计一种基于Neo4j的存储模型配合分布式存储机制,实现存储空间的高效利用。其次,在Neo4j数据模型的基础上,设计了一种两层索引结构的检索算法。实验评估表明, 提出的方法与基于关系数据库的方法相比,在数据存储方面可以节省10％以上的存储空间,在信息检索方面将检索效率提高了30多倍。     

云计算环境下的大数据可靠存储关键技术概述

呈指数级增长的大数据需要被可靠存储,而云计算环境下的大规模分布式存储节点和数据,极大地提升了数据丢失或失效的几率,该文从云端数据中心拓扑结构的设计、数据容灾技术的相关策略及系统节能减耗等三个方面进行了系统的阐述,为大数据的可靠存储技术研究提供了一定的参考依据。     

基于遗传算法的电力输变电工程数据存储框架与数据迁移仿真

由于电力输变电工程数据多源、异构、迭代更新,需巨大存储空间,且数据挖掘分析难度大,据此本文基于遗传算法设计了分布式数据存储框架与数据迁移.此框架以源数据模型为载体,详细划分电力输变电工程地理信息、三维设计模型、文档资料数据,基于不同数据存储模型,构建了分布式存储框架以进行不同类型数据处理.通过遗传算法可实现海量数据迁移,以不同配置的数据存储中心进行了仿真测试.结果表明,分布式数据存储框架不仅可保障存储效率,还可确保数据完整性与安全性;基于遗传算法的数据迁移可切实解决大量数据存储问题,优化工程数据存储框架综合性能.     

BIM 和GIS 的空间语义数据集成方法及应用研究

随着数字城市和智慧城市的建设发展,建筑信息模型(BIM)和地理信息系统(GIS) 的集成被广泛研究和应用。目前的集成研究主要是通用数据标准IFC 和CityGML 之间的空间和 语义转换,但由于应用领域和空间尺度等差异,存在信息错误和丢失、几何语义信息耦合度低、 应用拓展性差等问题。为此提出了一种兼顾三维实体对象和地理空间对象的三维城市数据模型, 研究了BIM 和GIS 的空间和语义数据的提取、处理和转换方法,设计了BIM 和三维GIS 的集 成应用框架并在三维可视化平台上进行验证和初步应用。该方法可实现BIM和GIS 信息在几何、 语义、精度上的完全融合,避免了传统的数据转换带来的信息缺失,在多尺度的空间和语义信 息分级存储和加载显示方面存在着优势,有利于实现大规模、高精度的建筑和城市信息的高效 集成。     

大数据背景下海洋数据管理的挑战与对策

空天地底海洋立体观测技术的飞速发展催生了呈指数级增长的多精度、多频度、大覆盖、多模态的海洋数据。然而,目前的研究主要集中于通用大数据,针对海洋数据的专门研究仍处于起步阶段。海洋数据的时空性、多源多类性、海量性、敏感性等特性为其管理带来了新的挑战。阐述了海洋数据的特点和海洋数据管理的基本架构,探讨了海洋数据在数据存储、数据质量、数据安全等环节面临的挑战,分析了相应的对策,为海洋科学与工程技术的研究提供了重要的参考与依据。     

多元地理数据管理技术研究

地理信息系统的迅速发展和广泛应用导致了地理数据多元性的产生,这对地理数据存储和管理技术提出了更高的要求.针对地理数据多元性的特点,提出了地理数据的管理和存储策略,设计了一种基于关系数据库的面向对象地理数据模型,从而实现了对矢量数据、影像数据、像素图数据、DEM数据、多媒体数据等各种数据的统一,灵活管理.     

武器装备测试数据立方体模型的构建

针对大规模、高频率数据交换的实际需求,结合武器装备测试数据的特点,构建了装备测试系统的数据立方体模型;首先介绍了数据立方体的基本概念以及常用的基本模型,之后分析了装备测试系统的实际需求,以概念模型、逻辑模型以及物理模型三级数据模型的方法实现整体设计;数据立方体为装备测试数据提供多维的观测角度,满足了实际任务对高效率数据交换的要求,为之后的数据分析应用提供了良好的数据基础平台.     

大规模空间矢量数据分布式存储与计算优化

针对海量空间矢量数据分布式存储与计算需求, 研究了基于四叉树格网编码建立要素索引的方法, 设计了HBase预分区优化策略, 提出了一种空间矢量数据分布式存储模型. 基于MapReduce计算框架, 构建了空间数据分布式计算与分析的优化流程. 最后, 针对空间叠加与统计场景, 采用一定规模的业务数据对所提的方法进行测试, 验证了设计方案的可行性和有效性.     

一种归档存储系统结构

针对归档数据的存储管理问题,提出一种归档存储体系结构AStore,采用数据指纹、数据压缩、数据分块和重复数据删除技术,设计归档存储系统的数据存储和管理策略。测试并分析不同参数设置下存储系统的性能,结果表明该策略能减少数据冗余,提高系统存储空间的利用率和访问性能。     

Massive Storage Systems

To accommodate the explosively increasing amount of data in many areas such as scientific computing and e-Business, physical storage devices and control components have been separated from traditional computing systems to become a scalable, intelligent storage subsystem that, when appropriately designed, should provide transparent storage interface, effective data allocation, flexible and efficient storage management, and other impressive features. The design goals and desirable features of such a storage subsystem include high performance, high scalability, high availability, high reliability and high security. Extensive research has been conducted in this field by researchers all over the world, yet many issues still remain open and challenging. This paper studies five different online massive storage systems and one offline storage system that we have developed with the research grant support from China. The storage pool with multiple network-attached RAIDs avoids expensive store-and-forward data copying between the server and storage system, improving data transfer rate by a factor of 2-3 over a traditional disk array. Two types of high performance distributed storage systems for local-area network storage are introduced in the paper. One of them is the Virtual Interface Storage Architecture (VISA) where VI as a communication protocol replaces the TCP/IP protocol in the system. VISA's performance is shown to achieve better than that of IP SAN by designing and implementing the vSCSI (Vl-attached SCSI) protocol to support SCSI commands in the VI network. The other is a fault-tolerant parallel virtual file system that is designed and implemented to provide high I/O performance and high reliability. A global distributed storage system for wide-area network storage is discussed in detail in the paper, where a Storage Service Provider is added to provide storage service and plays the role of user agent for the storage system. Object based Storage Systems not only store data but also adopt the attributes and methods of objects that encapsulate the data. The adaptive policy triggering mechanism (APTM), which borrows proven machine learning techniques to improve the scalability of object storage systems, is the embodiment of the idea about smart storage device and facilitates the self-management of massive storage systems. A typical offline massive storage system is used to backup data or store documents, for which the tape virtualization technology is discussed. Finally, a domain-based storage management framework for different types of storage systems is presented in the paper.     

民机运行大数据分析平台整体架构研究

针对日益增长的民用航空巨量数据,借助大数据存储和分析技术,构建民用航空运行大数据分析平台,可更有效支撑快速响应、航材管理、健康管理等各项民机运行业务。结合目前国内外民用航空领域大数据技术的应用现状,梳理民机运行的业务模式及数据类别,设计并构建民用航空大数据分析平台的整体架构。根据目前民用航空运行业务需求,对民用航空大数据平台的硬件平台的管理节点、数据节点的计算能力等功能性能进行设计,并对民用航空大数据平台的轻量级计算、离线数据计算、实时在线数据处理分析等计算需求进行研究,针对不同的计算方式,提供具体解决途径。最后对民机运行大数据分析平台的业务应用集成及接口技术进行研究。分析表明研究成果有助于提高我国民机运行效率,为民用飞机运行大数据平台提供支撑。     

基于纠删码技术的云存储数据块部署方案

针对云存储系统中因忽视集群中存储节点之间的差异而引起的存储代价过高、可靠性较低、节点负载能力不足等问题,提出了段排序交换算法（FSSA）.首先对数据块部署问题进行数学建模;然后根据各个节点的负载情况进行分段,并在各个分段中依据数据可靠性的需求对节点进行初步选择;最后根据数学模型中对目标函数的分析在分段选择的结果中选取适当的节点进行数据部署.仿真结果表明,采用FSSA算法可以在保证数据存储可靠性的基础之上,降低数据存储代价、增强系统负载均衡能力.     

DNA 存储技术的数据安全研究进展

随着现代科学技术的不断迭代升级,人类生产生活中产生的数据量呈爆炸式增长,传统的硅基存储介质(如硬盘、闪存等)逐渐无法满足全球范围内的数据存储需求。DNA 因其存储密度大、存储时间长、能源消耗低等颠覆性的优势被认为是新一代的理想存储介质。该文围绕 DNA 存储技术,首先阐述了其基本原理与流程;其次,在传统数据安全的范畴下,结合近期 DNA 存储领域的相关研究,归纳介绍了 DNA 存储技术的数据安全研究现状,包括数据加密、数据弹性、恶意攻击检测等;最后,讨论了现阶段 DNA 存储技术的数据安全所面临的挑战及发展趋势。随着多学科交叉协同发展,在广角度多层面的数据安全保护下,DNA 存储技术有望解决海量数据存储需求与有限存储资源间的供需不平衡问题,实现多场景的商业化应用。     

网络应用软件监控系统管理信息存储优化设计

对SNMP中MIB信息和协议数据单元扩充的基础上,设计并实现了面向应用软件的网络监控系统。该系统提供了对应用程序类中成员变量和成员函数的监控功能。论文详细介绍了其管理信息存储的优化设计过程。包括三种存储设计方案及其优缺点的比较、内存映射文件的存储数据结构设计、插入类节点、变量节点和删除节点等数据管理算法、数据刷新算法等。通过内存映射文件方式存储管理信息,高效地完成了收集各应用程序实例的监控信息任务并实现了监控信息的存储、共享和监控模块与管理代理间实时信息交换的功能。     

互动式游戏数据库的数据存储与管理

互动游戏的实时与动态交互性要求游戏能够快速调用存储介质中的图像、语音、动作等多媒体数据,作为游戏角色参与游戏。针对该特性,设计适合于互动游戏的专用数据库管理软件,构建能够存储和管理多媒体数据的基于关系的数据库模型,从物理存储和逻辑语义2个方面探讨基于Hash的多媒体数据的存储与管理方法。     

分布式并行网络数据存储技术

1 引言到目前为止的信息系统中,都是以服务器和客户端为中心,存贮系统被定位于周边设备。不过,近年来随着社会信息化进程的加快,信息量急剧增加,例如在因特网上存在着数以亿计的WWW网页,而著名的门户网站每个星期要制造出数以T(Tera)Byte计算的信息。此时因特网的心脏部已经不再是“服务器”,实际上已经成为“存贮系统”。与此同时,高速网络技术、数据库技术、人工智能、多媒体技术等的发展和彼此渗透结合,不断扩展着数据存储新的研究和应用领域,为新的     

面向分布对象存储结构的高性能计算系统资源管理方法

当前的高性能计算系统的资源管理和调度关注的焦点是计算资源,然而随着高性能计算系统的规模增大和计算能力增强,其I/O瓶颈问题日益突出.由于高性能计算系统的存储结构多样性带来了存储资源管理分配的难题,在目前主流的资源管理系统中尚未有针对I/O存储资源的调度和管理.随着对象存储结构的发展和广泛使用,大多数主流高性能系统采用分布对象存储系统,研究对分布对象存储系统的管理并结合资源管理系统,实现面向存储的作业优化调度,对提升高性能计算系统的实际性能有重要意义.针对具有分布对象存储结构的高性能计算系统,研究面向分布存储的资源管理方法,在作业调度和资源分配时考虑不同应用的I/O需求,通过建立分布对象存储资源模型和应用程序I/O能力需求模型,并在资源调度和分配上根据不同的I/O应用级别,为作业分配合适的存储资源,设计并实现基于I/O能力分级的作业调度和资源分配算法.系统测试表明:该方法可以显著提高多作业环境下应用的性能,保证应用程序的性能稳定性,提高系统的吞吐率.