海量气象水文数据存储结构的研究与实现

本文针对气象水文保障业务中数据的安全存储、快速读取等不同要求,对海量气象水文数据存储结构进行分析研究,提出了采用基于RAID-0／RAID-1／RAID-5组合的三级盘阵冗余技术的海量气象水文数据存储结构解决方案,为提高气象水文业务中数据的安全存储和快速读取模式提供了较为完整可行的设计思路。     

基于MPI的CAE分析数据并行读写研究

针对海量CAE分析数据无法流畅可视化处理的问题,介绍了一种适合于工程分析数据高效存储与并行读写的数据存储格式HDF5。在此基础上,基于MPI并行编程环境实现对海量CAE分析数据的并行读写访问。在SGI大型并行机上的实例验证表明,与传统的单进程串行读写过程相比,基于MPI对HDF5文件系统进行多进程并行访问,可以大大提高读写过程的速度与效率,特别适合于海量CAE分析数据的可视化处理。     

云计算环境下网格文件存储应用研究

针对互联网应用中不断增长的海量文件数据管理难题,提出网格存储层次结构并设计了网络文件存储系统原型。比较了云存储和网络存储异同,设计了基于安全认证的网格文件数据存储流程,应用名字服务解决网格文件的统一视图问题,采用了冗余存储策略解决数据存储可靠性问题。相对于传统数据中心模式存储结构,新系统的可用性较高。该存储应用可用于能源电力系统中的数据管理及互联网数据服务的后台存储。     

配用电云平台分布式实时数据处理技术研究

为解决配电网云平台大规模实时数据的处理问题,设计了一种分布式实时数据处理方法。集群分布式实时数据库可实现海量数据的分布式存储,而且具有统一访问和管理功能。提出了一种新型分布式SCADA系统,进一步提高实时数据的分布式处理能力。给出了新型分布式SCADA系统架构,包括基础设施、分布式资源与任务处理、分布式实时数据处理、分布式数据处理。在云计算环境下,讨论了弹性事件队列和弹性应用框架等关键技术,系统地建立同云计算相适应框架,全面提升系统的数据采集、存储、分析、计算、扩展等能力。     

面向云计算的制造业设计服务资源集聚方案设计

通过分析研究,构建了数据来源层、数据存储层与数据匹配层三层模式,通过网页分类算法、海量数据存储算法和语义匹配算法等实现对设计服务信息的搜集、处理和分析,大大提高了制造服务类企业的设计效率。     

大数据背景下基于分布式LDA算法的生产模式识别

结合大数据时代背景,在车间已经实现信息化的基础上,自行设计构建出了一种基于Hadoop框架的车间系统架构,用于车间海量数据的存储和分析。运用HDFS存储车间产生的海量数据;借鉴控制图识别不同生产模式的方法,将Mapreduce编程模型与LDA算法相结合对存储在HDFS上的数据进行分析,实现了对异常生产模式的快速识别和对生产过程的实时监控,从而解决了产品在生产过程中产生的海量数据存储难、分析难的问题,并为上层决策提供了支持。     

大规模装备监测数据的NoSQL存储方案EI北大核心CSCD

面向大规模机械装备监测数据管理中遇到的海量数据存储、快速读写响应、大规模数据分析等难题,提出使用基于NoSQL(Not only SQL)的LaUD-MS系统进行监测数据管理的存储架构。设计一种多列族自由表模型,并通过理论和实验对其读写性能进行分析对比,证明了本存储方案能够解决海量监测数据的存储难题,并满足面向维护、维修和大修服务的查询需求。     

基于NoSQL的文件型大数据存储技术研究

针对云计算中不断增长的文件数据存储需求,提出非关系数据库(Not Only SQL)中文件型大数据的存储技术。脱离传统的信息系统和文件系统混合存储文件数据方法,采用MongoDB数据库集群作为存储底层,将数据存储于分布各MongoDB结点中,且存储空间可自由扩展。采用数据分片的方法,实现了文件型大数据的均衡存储,并给出了存储文件数据一般算法。基于NoSQL技术的大数据存储是一种新型应用方式,该系统的负载均衡能力和可扩展度均优于传统技术。     

海量数据批量写库方法的研究与实现

本文研究了一种将海量数据写入数据库的方法,提出了一种数据处理及数据入库并行的方法,解决了海量数据写库效率较低的问题,提高了应用系统中海量数据的数据处理速度和写库速度,大幅度提高了系统的运行效率.     

基于云计算的面向智能交通海量信息的高性能计算支撑公共服务框架

当前智能交通领域的信息资源越来越庞大,用户的需求趋势越来越多样化,如何为用户提供高效的、实时的公共交通服务,显得越来越重要,论文提出了基于云计算的面向智能交通海量信息高性能计算支撑公共服务框架。该框架采用云计算的计算模式,处理多用户需求及大规模海量的交通信息,通过网络动态地、按需地提供个性化服务。研究海量信息的统一管理、共享的云存储方法。该框架以"数据融合、服务封装、流程驱动"的异构数据集成化机制为管理方法,构造出出行、驾车、天气、交通、诱导,管理,决策等全方位、多方式、更便捷的服务体系的云服务模式,追求优质,高效实时的服务。