分布式实时抽取计算框架设计与应用

针对任务类型的多样化、大量化、复杂化带来的数据源结构、数据类型的问题,文中提出了将Zookeeper消息调度和Redis内存计算相结合的方式,设计分布式实时抽取框架。利用Zookeeper消息通知,队列优先,共享锁等功能,结合Redis支持网络、可基于内存计算亦可持久化日志存储等特性,系统的吞吐量、执行效率、存储效率等都有显著提高。     

VMFS:一种持久性内存统一管理系统

针对当前持久性内存(PM,Persistent Memory)资源管理方案无法兼顾持久化特性和可字节寻址特性的问题,提出了一种融合Linux系统内核虚拟内存系统和文件系统的持久性内存统一管理系统VMFS(Virtual Memory File System).VMFS中的单个PM分区可同时提供内存分配和文件存储服务,并利用内外存统一管理的特性可实现内存到文件的重映射机制,避免了不必要的数据拷贝,提升了文件读写性能,且维持了原生编程接口.实验结果表明,对比内外存分别使用PM的方案,VMFS有效提升了文件读写性能.在两种实际工作负载下,VMFS相对于使用DRAM(Dynamic Random Access Memory)和PM分别作为内存和存储的方案具有成本优势和一定程度的持久化性能提升.     

基于分布式内存数据的数据同步设计与实现

在变电站综合自动化系统中,需要对遥测、脉冲、遥信等实时数据进行处理,由于电力系统对这些数据的存取具有较高的实时性,因此监控系统通常会采用实时数据库进行数据的存储管理。随着监控系统需要处理数据单元的增加和机器节点数的增长,监控系统普遍采用分布式内存数据库进行实时数据的存储。分布式内存数据库的一个重要问题就是如何实现多个机器节点之间的数据更新同步,提出了利用多播和TCP实现快速有效的数据同步方式,支持灵活的组网方式,并设计了一套稳定可靠的数据传输机制,使得分布式内存数据库的各个节点的数据保持良好的一致性。     

基于内存数据库的存储集群的关键技术研究

基于磁盘数据库的存储集群由于内外存交换开销过大,无法支撑数据的实时存储与处理,因此使用基于内存数据库的存储集群成为目前很多业务数据存储的设计方案。本文主要研究了基于内存数据库的存储集群中的数据库代理、单点故障恢复等关键技术。     

分布式数据库系统设计研究

基于Shared-Nothing并行计算架构,选取独立网络计算机、后台服务器、内存及磁盘等硬件,以及Segment Host、Master Host、PostgreSQL、WAN/LAN的软件技术,建构起面向OLAP数据处理的分布式数据库系统,开展SQL语义分析器、DDL语句处理、分布式查询与存储等的功能操作,完成用户数据处理请求、数据库表关联计算的响应执行,提升不同数据资源的分布式处理、存储与备份的工作成效。     

基于HADOOP的分布式详单系统设计和实现

采用传统的关系数据库进行详单存储和查询,存在大数据量高并发查询情况下性能下降明显、无法支持线性扩展和设备扩容成本高周期长等问题.通过提出一种基于HADOOP的分布式详单系统的设计和实现方案,实现了基于HADOOP的详单存储和基于Redis内存数据库的高效详单查询.     

内存数据库Redis在条件接收系统中的应用

Redis是一个作用于内存的数据结构存储系统,它可以作为数据库、缓存或者消息中间件,支持多种类型的数据结构.条件接收系统(Conditional Access System,CAS)是数字电视加密控制的核心付费数字电视的核心技术,是对数字电视内容的一种保护手段,保证用户只有在满足一定的条件下才能正常收看特定的内容.随着用户量的增长,条件接受系统对信息存储提出了更高的要求.目前系统提高性能的方法主要有存储虚拟化、存储内存化、多平台的互操作和数据共享等,因此条件接收系统采用加入内存数据库Redis这种新的存储技术来大幅度提高信息存储的速度.本文主要介绍Redis内存数据库的现状以及如何将Redis内存数据库与现有的条件接收系统相结合来提高条件接收系统性能.     

基于Hibernate的对象持久化技术的研究

当今大部分的应用系统需要处理持久化数据,而在使用面向对象技术开发系统时,会遇到对象持久化的问题.同时使用关系数据库存储数据,存在对象模型与关系模型之间的"阻抗不匹配"问题.对广泛使用的O/R映射框架Hiber-nate进行研究,使用Hibernate作为业务逻辑层和数据库层之间的持久层,实现对象到关系数据库的持久存储.结合实际应用系统分析对象/关系映射在Hibernate持久化解决方案中的体现.     

分布式数据库存储子系统设计

在当今这个网络信息化的时代,人们对数据库存储的需求随着互联网的广泛应用和飞速发展不断增强,结构化数据存储成为数据存储中必不可少的需求,给数据库存储技术带来了极大压力。分布式关系型数据库的系统架构上是分布式的,提供了基于关系模型的结构化数据存储,文章对分布式数据库存储子系统设计进行了理论分析。     

云计算环境下网络空间数据分布式存储方法研究

针对传统的网络空间数据分布式存储方法存储空间小的情况,提出云计算环境下网络空间数据分布式存储方法,首先对网络中的空间数据进行划分,在此基础上,建立网络空间分布式存储数据库,把基本的网络空间数据进行存储,为满足大数据的需要,最后对空间数据库存储空间容量进行设计,提高了网络空间数据分布式存储的存储量。并通过实验对比证明,此次设计的网络空间数据分布式存储方法比传统的存储方法的存储容量高,满足了大数据的存储需求,具有一定的实际应用意义。