基于Doubl-Cluster双集群架构的分布式存储研究

随着大数据时代的临近,面对海量数据的统一存储和管理,传统的网络存储方式DAS、NAS、SAN的瓶颈逐步显现出来,DAS只适用于早期内部少量数据存储,SAN和NAS虽然在存储容量和性能上有了较大提升,但受制因素多,对此文中基于Doubl-Cluster双集群架构,结合并行存储等技术来解决上述问题。事实证明该存储方案能有效消除I/O瓶颈,大幅提高聚合带宽和文件查询效率,保证数据共享。     

分布式集群系统架构设计及应用部署

快速处理和存储电子商务类网站庞大的高并发访问量和海量数据,解决由于瞬间并发访问量过大造成网站崩溃、服务暂停的问题,部署分布式集群环境系统.使用三台虚拟机模拟分布式集群环境,实现分布式集群应用系统的高吞吐、高并发和高可靠性能.     

海量设计文档分布式存储及负载均衡的研究与实现

在对海量设计文档的分布式存储技术进行分析比较后,选取最适合现有生产环境的解决方案,并且在分布式存储的基础上,提出与Web应用系统负载均衡技术相结合的系统架构方案。该方案避免用户访问远程存储资源时的漫长等待,解决大型企业局域网之间专线带宽瓶颈对网络应用限制的问题,减轻集中存储资源的负担,实现负载均衡策略从前端Web应用至底层数据存储的全局均衡,从而保证系统的高可用性。     

基于Hadoop的轴承监测海量数据的存储与管理

针对高速机车转向架滚动轴承监测数据的格式多样化、数据量激增带来的管理和存储问题,在分析监测数据特征和数据量大小的基础上,构建了树形索引结构对滚动轴承状态监测海量数据进行管理。利用研究所当前的软硬件环境,搭建了分布式集群系统存储海量监测数据,并对集群系统在存储和管理海量数据时的可用性和稳定性进行了探讨。通过对实际数据的测试和分析,结果表明基于树形索引结构的分布式集群系统能在一定程度上满足滚动轴承状态监测非结构化海量数据存储和管理的要求。     

满足分布式网络架构需求

随着劳动力虚拟化、数据应用整合、移动接入的迅猛需求以及云计算、虚拟化技术的日趋成熟,传统的集中式的企业网络架构将逐渐向着分布式企业网络架构的模式转变,这种分布式网络架构与传统网络机构的重要不同是主数据中心同用户的分离,企业的各种计算、存储等资源将通过数据中心整合、服务器虚拟化、LAN／SAN融合、云计算等技术统一整合到企业的主数据中心,     

海量数据存储模型的研究

随着互联网上信息量的爆炸式增长,海量网页数据的存储出现了难题.针对海量网页数据进行存储的问题,传统的集中式存储和管理方案已经难以提供高效、可靠和稳定的服务.本文设计并实现了一种针对海量网页数据进行存储的分布式平台模型.该模型利用Ha-doop集群和基于HDFS分布式文件系统的Hbase数据库实现高效率地分析、计算和存储海量数据,以MapReduce计算模型和Zookeeper同步协同系统保持数据写入的高效性和一致性.最后通过实验测试,该存储模型可以克服传统的存储模型存储时存在的读写效率低、数据写入不一致的问题,同时具有良好的扩展性、可行性、稳定性和可靠性.     

基于XML—RPC的海量存储管理系统的设计与实现

海量存储系统是由管理节点、数据节点通过高速交换网络互联形成的分布式存储系统。它支持CIFS、NFS、WebDAV等多种访问协议,具有高性能、高可用、高扩展等特性,是设计和实现管理系统时面临的挑战。为了实现基于Web的管理系统,针对该系统的分布式结构和丰富特性,本文提出了基于AJAX和XML—RPC技术的海量存储管理系统架构,并描述了其管理系统的主要组成部分和工作过程。     

基于Hadoop的分布式ETL系统研究

针对传统数据抽取、转换及加载(ETL)工具集中式执行的不足,设计实现了一种基于Hadoop平台的分布式ETL系统。该系统采用分布式文件系统存储和映射-规约并行处理海量数据架构,实现了ETL作业的分布式执行,提高了ETL效率,为大数据环境下的基础数据加工提供了解决方案。     

基于数据湖的实时数据管理平台设计与实现

文章在传统DCS实时数据采集系统中,采用双实时库解决采集数据的实时传输与存储问题,同时基于数据湖架构,替换原有的关系型数据库,以实现多源复杂结构海量数据的存储,并通过微服务架构,提供应用层使用数据,以更好地解决实时数据的管理问题。     

广电运营商业务运营支撑系统虚拟化平台的规划与设计

本文针对广电运营商业务运营支撑系统(BOSS)传统部署方案的弊端,提出利用VMware vSphere虚拟化软件和Virtual SAN分布式存储的技术优势进行虚拟化平台建设的解决思路,并阐述了天威视讯BOSS虚拟化平台的规划和设计方案.     

基于SAN的网络存储共享系统

随着网络的发展,数据量快速增长,如何有效地进行数据存储共享已经越显重要。分析了传统SCSI数据存储与NAS进行数据存储的不足及SAN架构的优良特性,并基于SAN架构设计了一种网络存储共享系统,他克服了SCSI存储方案中管理困难不利于共享,存储容量有限的缺点,也克服了NAS存储的因网络带宽对其性能的影响,具有很好的应用前景。     

基于存储区域网(SAN)的数据备份

随着网络基础建设的逐步发展与完善，网络存储由于其自身的诸多优点正得到越来越广泛的应用。本文介绍了存储区域网以及数据备份系统的组成，并着重阐述了如何利用SAN技术来进行数据备份。     

基于大数据分析的云资源池告警信息关联方案

研究了一种云资源池端到端智能化运维管理系统,提出一种智能判断故障模块的技术架构,分析了实现云资源池端到端告警关联的基本方法,阐述了云资源池单KPI异常检测分析方法和多KPI故障传播链分析方法的实现原理,并重点介绍了物理主机告警与虚拟主机告警、IP SAN存储告警与虚拟对象存储告警、主机设备告警与网络告警的关联关系,为运营商提升云资源池端到端智能化运维能力提供了借鉴和参考。     

基于SAN非线性编辑系统存储技术的探讨

存储区域网(SAN)是一种新的网络存储体系结构,通过采用光纤通道作为传输协议,满足了海量信息的存储和快速传输的需求,比传统的直接连接存储模式具有更高的性能、可靠性和扩展性.讨论了基于SAN非线性编辑系统的存储结构及其技术优势.     

SAN存储技术在IPTV中的应用

分析IPTV系统应用特点，针对传统CDN技术的不足提出基于SAN存储技术的共享式点播系统方案，从存储方式、数据访问的稳定性、负载均衡的实现及系统的扩展性和管理性等方面探讨该技术的优势。     

Secure group key management for storage area networks

Storage area networks offer high availability, reliability, and scalability, and are a promising solution for large-scale storage needs of many enterprises. As with any distributed storage system, a major design challenge for SANs is to provide secure storage, which implies data integrity and data confidentiality. In this article we propose a solution that addresses these core security requirements. In particular, we focus on mechanisms that enable efficient key management for SAN entities and allow scalable data sharing. We use strong cryptographic techniques to achieve data security and integrity. Further, we delegate the bulk of the cryptographic processing to the SAN entities, thereby removing bottlenecks at disks and causing minimal inconvenience to hosts. By recognizing the peer nature of the group of SAN entities, we propose a novel security architecture for SAN that uses a secure group communication protocol to provide efficient group keying without involving any centralized servers. This fosters both scalability and fault tolerance.     

高校媒体资产管理系统关键技术的研究与实现

存储和检索是高校媒体资产管理系统的关键技术。重点研究与实现了存储中的基于SAN存储架构、迁移策略和检索中的镜头切换检测提取关键帧等关键技术。     

基于PC集群的SAN存储系统性能优化方法

对于早期的中低端SAN存储系统,由于受当时的技术局限,目前已经无法满足日益增长的海量数据高速传输的要求。介绍了SAN存储系统性能优化方法,可以提高PC集群SAN存储系统的网络和I/O带宽,较好地解决了PC集群系统I/O瓶径问题;对于增强存储系统的长效性、稳定性和数据访问效率起到关键作用。     

下一代分布式智能网络存储系统的发展趋势

近年来由于宽带的发展、企业对存储系统需求的增加和传统企业E化趋势的增强．网络存储正在迅速兴起。但由于网络存储是新兴技术，存在着价格昂贵、扩展性差、容量小、容错能力低，以及NAS和SAN彼此分离等缺点。而未来网络存储系统必然是智能的、分布式的、异构的、虚拟化的存储系统，能够进行自我管理、自我优化和自我恢复。     

基于存储区域网的Fiber Channel技术

Fiber Channel是为了适应存储区域网发展需要而兴起的一门新技术，系统分析了光纤通道的结构及特点，比较了Fiber Channel网与传统的以太网在技术上的差异，并通过实例说明了FC-SAN技术的实际应用。