基于HBase的分布式海量小型文件存储系统

随着互联网公司的业务不断发展,企业的大量数据以非结构化的形式存在,非结构化数据常常以小型文件为主,不仅体量大,而且分散性高,因此海量小型文件存储面临着存储性能和访问效率较低等问题。分布式小型文件存储系统是指在集群服务器的硬件存储资源环境下,对小型文件保存、读取和修改进行统一管理的系统。文章基于HBase实现了一个分布式小型文件存储系统,该文件系统有超强的处理海量小型文件的能力,同时有着良好的扩展性、容错性和稳定性,可以更好地支撑互联网企业的业务发展。     

电信运营商“互联网+”业务中的分布式存储技术研究

随着互联网技术的成熟,各种类型的"互联网+"业务应用得到快速发展。种类多、数量大是互联网数据的显著特点。传统存储由于其在元数据管理、访问性能、存储容量、横向扩展等方面的局限性,在进行海量小文件处理时已显吃力。为满足井喷式互联网数据存储的需求,形式各样的分布式存储系统应运而生。文章对分布式存储技术进行研究分析,对比各类分布式存储系统的优劣,结合一些典型的电信业务简要论述哪些应用适合传统存储方式,哪些应用适合分布式存储方式。希望能对电信运营商"互联网+"业务系统建设起到抛砖引玉的作用。     

云存储系统在高速公路视频监控中的应用探讨

随着监控视频质量不断提升,监控范围不断扩大,在满足监控市场实时视频显示的需求同时,传统集中式的视频存储,主要是文件式存储系统,将面临着诸多的技术挑战。而网络分布式云存储系统,在网络资源共享、分级分层存储方面具有突出特点,在高速公路视频监控等相关行业有着很好的应用前景。     

分布式存储技术及在运营商业务中的应用

分布式存储系统技术的发展、功能的完善为数据爆炸式增长带来的存储需求提供更为理想的存储解决方案.通过对分布式存储系统特点的说明,分布式存储技术的介绍,以及CAP定理在分布式存储系统中的理论依据,分析其在运营商业务系统应用中的适用性.并且举例说明运营商业务中适用分布式存储系统的应用场景,以及对分布式存储系统提出技术展望.     

关于分布式存储应用技术的应用

随着我国计算机信息化建设的不断推进,互联网数据规模越来越庞大,传统的数据存储技术已经难以满足用户的使用需求。目前,我国已经有很多企业开始应用分布式存储系统,分布式存储可以对大量的数据进行存储与管理,提高了信息存储与管理的效率,同时降低了信息管理的成本。但现有的分布式存储系统仍然存在较多的缺陷,本文将深入地分析分布式存储技术的特点与应用,并根据使用需求提出可行的应用方案。     

中央电视台新址在线存储系统架构设计

在电视技术朝高清化、网络化、文件化方向发展的大背景下，中央电视台新址在线存储系统需要高效、稳定地存储和管理海量的媒体数据。在存储架构层面，在线存储系统面临FC存储架构和IP存储架构的选择。本文从系统的业务需求出发，对两种存储架构进行分析研究，并根据分析结果完成系统架构设计。     

面向海量数据的分布式用户态文件系统研究与设计

云计算、物联网、互联网技术的迅猛发展,使社会进入了大数据时代。随着数据量的指数增长,面对海量数据的高效存储与访问成为目前人们面临的主要问题。使用分布式存储作为底层数据存储系统,基于用户空间文件系统fuse,结合MongoDB数据库管理元数据,研究设计出一种面向分布式存储的用户态文件系统。相对于传统分布式对象存储系统的数据访问,设计的文件系统具有很高的灵活性和可扩展性,同时对于用户有着可操作性强、易于管理等优点,使其更适用于现代海量数据的访问与管理。     

面向两级数据中心的软件定义存储研究

随着数据量的爆炸性增长和数据的重要性不断增加,对数据快速准确存储的要求越来越高,存储逐渐成为数据中心云平台发展的瓶颈。文章针对现有存储系统通用缺陷,如软硬件紧耦合,无法满足移动互联网和大数据对存储系统快速、多变的需求等,介绍软件定义存储的优势和定义,分析软件定义存储技术和系统需求,并认识到面向两级数据中心的软件定义存储技术架构,存储系统的软硬件紧耦合设计严重地限制了存储技术的发展,也越来越无法满足移动互联网和大数据时代下,对存储系统快速、多变的需求。文章提出软件定义存储可以非常巧妙地发挥X86服务器的廉价优势,对数据中心的数据进行存储、组织和管理,向上层应用提供安全可靠的、可扩展的、可动态管控的、高效的数据存储服务,并与虚拟化资源池很好地融合,可以极大地提高云平台存储的安全可靠性能。文章认为软件定义存储(SDS)作为一种新的存储系统架构,更适合下一代数据中心的发展。     

基于云平台的海量通用数据分级存储系统构建与实现

中国蓝云分布式数据中心通用数据分级存储系统项目目前已经建成，并经过各种功能和性能测试，达到了项目建设目的和使用要求。本文简要分析了广播电视媒体行业近线存储模式及存储介质选择的问题，主要阐述了中国蓝云平台海量通用数据分级存储系统基本架构、功能及设计亮点。     

广电网络统一存储系统的设计思路探讨

广电网络IT基础设施将面向融合媒体服务提供池化资源的按需分配能力,存储系统是拟提供的核心IT能力之一。为了打造云环境中面对异构数据模型的可靠统一存储系统,本文分析了'去中心化'的软件定义分布式存储体系,研究其中关键技术问题,并设计了一个基于Ceph架构的存储架构。     

RAID系统扩容方案研究综述

随着云计算、物联网和人工智能等IT技术驱动数字经济产业的繁荣发展,现代企业信息化需求对数据中心存储能力提出了更高的要求和挑战.RAID系统因具备良好的数据存储可靠性和磁盘阵列可扩展性而得到广泛应用.为了满足海量数据对存储容量日益增长的需求,业界普遍采用扩容现有RAID系统以应对海量数据的存储问题.电子商务、Web服务和金融等行业对数据的实时访问,使得数据中心必须为用户提供7*24的高质服务响应,然而数据迁移量,负载均衡和扩容开销等因素都会影响扩容的效率,因此如何设计出一种高效的扩容方案越来越受到科研人员的关注.本文根据研究对象的不同将RAID扩容方案分为：基于块存储、对象存储、文件系统存储的扩容方案,同时根据RAID扩容方案研究历程和优化策略的不同,又可分为优化数据迁移过程和减少数据迁移量的扩容方案.文章结合不同的应用场景介绍了典型和常见的扩容方案,并从评价扩容方案性能各项重要指标的角度详细分析了现有的RAID扩容方案,并指出各种扩容方案的不足以及未来可能的发展方向.如何权衡影响扩容方案性能的各项因素,设计出数据迁移少,负载均衡好,扩容开销低的高效扩容方案,将会是今后相当长一段时间海量数据存储研究的热点问题.     

基于Ceph对象存储的云网盘设计与实现

针对基于传统NAS存储实现云网盘存在扩展性差,响应性能低、数据不可靠性、安全性低等问题,提出一种基于Ceph分布式对象存储系统构建高性能、高可靠、可扩展的云网盘设计与实现方案,底层基于X86服务器作为Ceph存储集群池,通过设计多对象网关发布对象存储服务,采用软负载均衡,提升云网盘请求响应吞吐能力,并集成基于Token认证系统实现对象数据的隔离与安全。经实验测试表明,该设计实现方案可满足现实应用需求。     

ICT的2012

2012年,电信业的转型已经到了需要认真思考的时候,是互联网融合进电信网,还是电信网融合进互联网？在全球各领域面临深层次变革的今天,电信业的发展充满挑战,也充满想象。     

县级电视台基于媒体专属云的全台网建设

随着云计算、大数据等现代信息技术的不断发展,打造基于云计算的融合媒体业务平台已成为推进宣传文化领域改革创新的一项重要任务。为适应融媒体发展需求,提升县级电视台节目的生产质量和效率,提高节目的可看性和及时性,重点结合媒体专属云的特点,研究探讨县级电视台基于媒体专属云的全台网建设。     

广电融合媒体服务云建设思路刍议

“三网融合”发展大背景和云技术发展双重推动下,融合媒体服务已成为传统广电产业发展的方向与趋势.分析了广电融合媒体服务云发展的政策动因与业务动因,提出了融合媒体服务云建设的总体理念与技术路线,并结合江苏有线在相关方面的实践对融合媒体服务云的具体构建进行了探讨.     

大型企业IT运营困境及私有云搭建应用策略的思考

当前的社会经济状况复杂，企业面临着外部市场环境的重大变化。在这种情况下，企业的业务将面临更大的不确定性，从而增加其业务风险，对企业的稳定发展产生重大的影响。各机构需要注重预防业务风险，建立强有力的风险预防系统，并提高业务效率。然而，在当前国际环境、社会环境、互联网环境中，仍然存在着不可忽视的安全风险，对于中大型企业而言，保障企业经营管理、风险管控、产业运营的算力、存储环境显得尤为重要，必须通过有效的政策对其加以保护。文中研究和分析了大型企业的IT运营困境以及私有云建设的应用策略，以供参考。     

基于云计算环境下的分布存储技术

云计算是一种新型的计算模式,它在商业计算领域与科学计算领域均占据着重要的成分,由于其可以将大量的数据存储于数据中心,并可以提供稳定、安全、可靠的数据存储服务特点,并可以在任意时刻供上层的应用,因此云计算得到了各界的重视。但由于云计算的核心部分由许多节点组成,这就增加了云计算的成本费用,对其的发展起到一定程度的限制作用。本文主要针对如何提高云计算的容错性以及可扩展性,最大程度的降低其成本费用等,对云计算环境下的分布存储技术做些简要的分析。     

民间艺术资源的云存储技术研究

我国民间艺术资源平台的建设和研究是当前文化艺术领域面临的一项重要而紧迫的课题,存在着诸多挑战。在大数据时代背景下,采用云计算和云存储技术是一个必然的趋势。文中介绍了Hadoop云计算与云存储技术,提出了基于Hadoop的民间艺术资源云存储平台建设方案。构建基于Hadoop的民间艺术资源云存储平台具有可行性和有效性。     

面向企业文档安全存储的分布式文件系统

业界普遍认为解决企业文档安全存储问题应包括集中存储、权限控制以及流程管控3个方面。集中存储是基础,在实现数据统一管理的同时,也带来了新的安全风险和需求,如容量扩充、灾难恢复、访问受控等。采用私有云存储解决企业文档的安全存储已为业界普遍看好,但是目前建立私有云存储方案的高昂成本以及由此而导致现有IT设施的浪费却难以为众多企业所承受。文中描述了广州国迈科技的魅云分布式文件系统的设计原理,它结合了目前商用云存储系统的核心技术思想,强化了面向企业文件操作和管理的安全性特征,在企业现有的IT设施基础上实现了文件存储的海量支持、弹性扩容、冗余备份、故障恢复、异地备份、透明使用、安全可靠等重要功能。