基于MongoDB的分布式缓存

电力信息化的发展对传统电力信息系统的数据处理、并发请求及响应能力提出诸多挑战.针对电力信息系统数据处理的特点,提出一种基于MongoDB数据库的分布式缓存,并对该分布式缓存的运行机制、服务端架构和客户端功能模块的设计进行了分析与阐述.基于MongoDB的分布式缓存能够有效地降低电力信息系统数据库层的访问负载量,提高系统的整体性能,它采用分布式文件存储缓存数据,支持数据冗余备份和故障恢复功能,具有较高的可靠性和扩展性.基于MongoDB的分布式缓存已成功应用到电力某企业的项目管理系统中.     

基于一致性树分布的数据分布式存储方法

随着云计算和大数据技术的发展,传统的单一存储介质的数据存储方式已经不能满足大数据处理的需求,在这样的背景下,分布式数据存储得到了广泛的应用。然而,目前存在的几种分布式存储方式并不能够完美地满足分布系统的需求。为了更有效地实现数据的分布式存储和冗余备份,采用一种新的基于一致性树分布(CTD)的分布式存储方法,并提出基于该方法的备份策略,实现数据索引与存储位置的映射。该方案具有负载平衡、无单点故障问题、扩展性高且易于实现的优点。同时提出了基于一致性二叉树分布(CBTD)的应用方案。通过对应用系统实例的分析,验证该方法能够很好地满足分布式系统的数据平衡、负载均衡和扩展性需求。     

基于redis的分布式缓存系统架构研究

本文主要研究在redis基础上,从系统应用角度出发,研究包括key-value向关系统型数据库设计,数据一致性、系统可靠性、数据读写分离、数据切片原理,冗余备份热切换、系统高可扩展性等多维度的分布式缓存,并且构建并验证了redis集群的分布式缓存的系统架构.     

缓存解决应用的扩展性初探

该文主要就用分布式缓存解决扩展性瓶颈问题做了初步的分析,并提出了几个常见的觖方案,如用于实现服务扩展性的分布式缓存,使用缓存提高客户端性能,使用合适的协议,缓冲存储器中的数据的管理,用于实现SOA扩展性的企业服务总线等。     

基于Hadoop平台的分布式重删存储系统

针对数据中心存在大量数据冗余的问题,特别是备份数据造成的存储容量浪费,提出一种基于Hadoop平台的分布式重复数据删除解决方案。该方案通过检测并消除特定数据集内的冗余数据,来显著降低数据存储容量,优化存储空间利用率。利用Hadoop大数据处理平台下的分布式文件系统(HDFS)和非关系型数据库HBase两种数据管理模式,设计并实现一种可扩展分布式重删存储系统。其中,MapReduce并行编程框架实现分布式并行重删处理,HDFS负责重删后的数据存储,在HBase数据库中构建索引表,实现高效数据块索引查询。最后,利用虚拟机镜像文件数据集对系统进行了测试,基于Hadoop平台的分布式重删系统能在保证高重删率的同时,具有高吞吐率和良好的可扩展性。     

NoSQL非关系型数据库负载均衡的实现

NoSQL数据库以其支持数据高并发读写,海量数据高效率存储和访问,以及高扩展性和高可用行的特点在分布式存储系统中得到了广泛的应用。通过对分布式存储系统负载均衡的研究,提出了使用一致性哈希函数来实现系统负载均衡,并通过添加为集群节点添加虚拟节点的方式来增加缓存的命中率。     

基于分布式缓存的消息中间件存储模型

消息中间件的存储模型对中间件性能影响极大。基于此,分析消息中间件的多种存储模型原理,并通过性能测试对各种存储模型进行比对分析。分布式缓存在读写速度和扩展性上较传统存储方式有较大优势。在传统存储模型的基础上,提出一种基于分布式缓存的消息中间件存储模型。实现基于该模型的原型系统,并通过性能测试数据证明该模型的可行性。     

一种基于虚拟化缓存的备份／恢复系统的设计与实现

该文提出并实现了一种基于虚拟化缓存的远程备份/恢复系统。该系统对本地应用服务器上的数据变化进行截获,然后通过本地网关,发送到缓存队列之后再发送到Internet上,通过远程备份服务器的写重放,实现数据的备份和恢复。缓存队列利用了虚拟化存储思想,提供了更有效更方便的环境。整个过程可以在配置管理客户端实时监控和管理。     

基于Ice中间件的分布式测控网络

针对分布式测控系统的特点和要求,以靶场测控系统为例,提出了一种基于Ice分布式中间件的测控网络解决方案.该方案不仅能实现异构环境下高效的网络通信,还能实现测控网络中心节点服务器迁移、冗余备份,以及数据发布-定阅、网络信息安全等功能.     

一种实时数据库的分布式存储方法

随着网络技术迅速发展,各实时系统产生的数据量呈指数级增长,各业务应用对海量数据的管理和应用的实时性提出了越来越高的要求,现有的单机实时数据库技术已无法满足需求,将分布式思想引入实时数据库领域,主要从数据分布方式、数据冗余备份、数据一致性等方面做了研究,并提出一种实时数据系统中的数据分布式存储的设计.该设计可以为当前实时数据库扩展性及可靠性方面提供技术支撑.     

The distributed data center: front-end solutions

The need to provide reliable data availability has always driven data center design. Redundant storage systems and backup mechanisms are essential for enterprises to provide 24/7 data access. Using a redundant array of independent disks (RAID) and data server clusters helps prevent catastrophic data loss. However, redundancy within the data center itself represents only a partial solution. Although backup mechanisms preserve data, you have a high-availability solution only if redundancy also protects against a network failure between the center and the outside world. A distributed data center provides such a solution.     

基于校验编码备份的分布存储方案

传统的云计算存储系统为保障可用性,一般使用镜像冗余备份而产生大量冗余备份数据,影响了存储数据空间的利用效率。针对此情况,为减少备份数据对存储空间的占用,提出一种存储方案。放弃了镜像冗余备份,引入校验编码的方式进行备份,以减少备份数据;同时采用了冲突跳转的机制对备份进行验证,在保证备份数据有效性的前提下减少备份数量。通过模拟程序运行结果与主流云存储方案的对比表明,所提存储方案在保证数据可靠性的同时,显著地降低了分布存储对磁盘空间的占用。     

基于云存储的块级连续数据保护系统

提出了基于云存储的块级连续数据保护系统MYCDP。MYCDP利用灵活且性价比高的云资源存储业务数据,并采用全局数据去重技术压缩数据量,以取得更低的备份成本。使用针对性设计的版本索引结构和本地缓存机制优化低带宽、高延迟云环境下的数据恢复速度。给出了系统详细结构设计与具体流程描述,通过原型系统与其他方案系统的对比测试,验证了MYCDP能够取得比同样基于云存储的传统delta编码方案更低的备份成本和更快的恢复速度,且在多数实际恢复场景中具有与传统基于本地存储资源的方案相同甚至更好的数据恢复性能。     

A Lookahead Read Cache: Improving Read Performance for Deduplication Backup Storage

Data deduplication (dedupe for short) is a special data compression technique. It has been widely adopted to save backup time as well as storage space, particularly in backup storage systems. Therefore, most dedupe research has primarily focused on improving dedupe write performance. However, backup storage dedupe read performance is also a crucial problem for storage recovery. This paper designs a new dedupe storage read cache for backup applications that improves read performance by exploiting a special characteristic: the read sequence is the same as the write sequence. Consequently, for better cache utilization, by looking ahead for future references within a moving window, it evicts victims from the cache having the smallest future access. Moreover, to further improve read cache performance, it maintains a small log buffer to judiciously cache future access data chunks. Extensive experiments with real-world backup workloads demonstrate that the proposed read cache scheme improves read performance by up to 64.3%     

命名数据网络中基于内容类型的隔跳概率缓存机制

网络化缓存是命名数据网络实现对信息的高效获取,有效降低互联网骨干网络流量的关键技术.网络化缓存将缓存作为普适的功能添加到每个网络节点.用户需要获取信息时,缓存有该内容的任意网络节点(例如路由器)接收到用户请求后都可直接向用户返回相应内容,提升用户请求响应效率.然而,命名数据网络采用泛在缓存使得内容发布者到用户的传输路径上的各节点对内容进行重复并无差别缓存,造成数据冗余、内容缓存无差别对待问题.为此,提出一种基于内容类型的隔跳概率缓存机制.首先根据业务特征(例如时延要求、带宽占用)将内容划分为4种类型:动态类、实时类、大数据类、以及小数据类;其次构造隔跳待定缓存策略,将数据存储在非连续的传输节点上,从空间上减少冗余缓存;最后针对不同内容提供差异化缓存服务:无缓存、网络边缘概率缓存、网络次边缘概率缓存、以及网络核心概率缓存策略,从而进一步降低冗余数据,同时提高用户获取内容的效率.实验结果表明,该机制能够减少冗余缓存,降低用户请求内容时延.     

基于国产CPU的并行冗余计算机系统研究

目前国家不断推进的国产自主可控信息系统建设,其核心国产计算机系统由于技术成熟度低、市场推广晚等原因,暴露出可靠性低、稳定性差的问题,直接导致系统功能无法成功应用;围绕国产化计算机系统的并行冗余架构开展研究,通过计算机系统架构的软硬件设计,以及高速缓存一致性架构、高速互联总线和三状态转换机制方法的应用,基于国产CPU 并行冗余计算机系统,可以有效消除备份计算机系统进行当班切换时,存在的切换时间延时和切换过程数据丢失的问题;通过试验验证,该系统可以完成计算机系统中CPU处理器和功能桥片故障模式的容错处理,并保障信息数据的完整性和实时性,有效提高设备中计算机系统的工作可靠性与稳定性。     

一种网络备份系统的数据高速缓存方法*

提出了一种网络备份系统的数据高速缓存方法,可用于本地数据带宽大于备份线路带宽的备份系统中,尤其是基于Internet的备份系统。该方法通过在本地服务器上部署高速缓存器来暂存服务器的变化数据,并在稍后通过备份线路将缓存的数据发送到远程服务器进行备份。     

基于ElasticSearch的车型搜索引擎在保险系统中的设计和实现

随着保险行业信息化规模的不断扩大,各垂直领域的业务数据越来越多,不可避免地给传统结构化数据库在存储和查询效率方面带来了巨大挑战。如何实现数据的冗余备份和快速、高效查询已成为企业信息技术的一大难题。本文提出一种基于ElasticSearch的车型分布式搜索引擎,同时结合Logstash进行数据收集,实现车型数据的过滤存储和索引,并为保险出单系统提供统一的查询入口和高效的检索服务。实践表明,该系统可实现数据的冗余备份并提高检索车型数据的效率,目前已经在保险行业核心系统得到实际应用,取得了较好效果。