一种面向Hadoop中间数据存储的混合存储系统

针对Hadoop的Reduce阶段的I/O性能瓶颈,设计了针对Hadoop中间数据存储的设备同层混合存储系统。该系统包含数据映射和数据迁移两大模块,其中数据映射模块主要负责I/O请求重定向及维护元数据,数据迁移模块利用闲时进行数据迁移,提高SSD的利用率。实验结果表明,该混合存储系统能够缓解Hadoop的Reduce阶段的I/O瓶颈并提升该阶段的整体性能。     

存储性能瓶颈及优化研究

信息化数据在大规模增长,从而带来了存储设备不断增加,存储运维工作量不断增加的困境,因此存储性能瓶颈的优化成为当务之急。进行存储资源池的建设,评析存储设备及其网络、服务器等设备,从多方面分析提高存储性能,为企业的海量数据存储运维提供新的思路和策略。     

并行文件系统在集群系统中的应用研究

随着集群系统得到广泛应用,集群系统计算能力的不断提高,在并行运算的过程中,对数据读写速度的要求也越来越高,I/O的吞吐能力成为该过程的瓶颈。为了提高读写速度,以解决I/O瓶颈问题,通过并行文件系统替代以前的NFS文件系统。并行文件系统具有管理简单,可合理保护已有投资的优势。并行文件系统由于其多I/O服务器并行读写,可有效提高数据的读写速度,解决数据读写瓶颈,缩短资料处理周期。在此基础上建立存储池,可为地震资料处理解释一体化打下坚实的基础。     

计费数据的云存储和云计算

计费数据目前大多采用省集中存储、数据库表结构存储模式,这种简单的表数据存储和存放方式,给大用户量和大话单量数据的插入、查询和更新操作带来了巨大的系统开销,应用系统的性能瓶颈往往表现在数据库操作的性能瓶颈上。数据越来越集中,例如某基础电信运营公司想要实现计费全国集中,首先需要解决的是计费数据的云存储和云计算问题,否则需要一个巨型计算机才能完成如此庞大的数据存储和计算,如果不解决计费数据云存储问题,全国集中是不现实的。’     

新型智慧城市下政务数据资源存储时限的研究

随着新型智慧城市建设持续推进,数据的体量也迎来了井喷试的增长,海量的数据正如潮水般涌入城市的存储中心,数据要实现更新迭代、去旧存新,数据存储时限则成了必须要突破的瓶颈。分析当前新型智慧城市下数据存储时间所带来的问题,梳理国内外针对不同行业数据的存储期限所采取的管理方式,从统筹管理、整体规划、规范体系、分类管理、总体原则等方面对个人数据、公共数据、业务数据提出了具体的管理措施,促进新型智慧城市健康、有序发展。     

基于Doubl-Cluster双集群架构的分布式存储研究

随着大数据时代的临近,面对海量数据的统一存储和管理,传统的网络存储方式DAS、NAS、SAN的瓶颈逐步显现出来,DAS只适用于早期内部少量数据存储,SAN和NAS虽然在存储容量和性能上有了较大提升,但受制因素多,对此文中基于Doubl-Cluster双集群架构,结合并行存储等技术来解决上述问题。事实证明该存储方案能有效消除I/O瓶颈,大幅提高聚合带宽和文件查询效率,保证数据共享。     

大数据下的存储对策

而对日趋复杂的业务需求和爆炸式的数据增长,企业应该如何部署自己的存储解决方案？采用何种技术应对数据传输瓶颈？保障数据安全呢？     

某企业云资源池跨机楼存储数据共享解决思路探讨

近年来,由于信息技术的快速发展,伴随着云计算、大数据等技术得到大规模应用,各行业领域对自身所能获取到的数据资源越来越重视,而每年所产生的数据呈PB级的增长,数据的存储成为了各企业信息发展的主要瓶颈,在考虑数据存储容量不断扩展的同时还需要考虑数据存储的安全性,大部分企业云资源池考虑部署在不同的机楼以确保数据的安全性,而如何基于企业现有的存储架构采用性价比高的存储扩容建设方式是许多企业在建设中需思考的问题。     

Isilon的集群存储之道

很多企业试图通过扩展现有的传统存储系统,来满足非结构数据在制作、管理和归档方面的需求,但是往往却大失所望。因为这些传统系统只是为结构化处理数据或基于文本格式的数据存储而设计的,根本就不适用非结构化数据。即使运用最新的NAS（网络附加存储）和SAN（存储区域网络）系统架构,也存在一定的内在缺陷——“存储孤岛”、受限的延展性、性能的瓶颈、缺乏可用性以及高昂的成本,将极大的增加管理复杂性。     

基于信息安全的动态分块数据中心存储模型

采用云存储技术的数据中心能够提供更灵活的服务,但是信息安全问题是制约其发展的瓶颈。本文提出了一种云存储环境下基于信息安全的动态分块数据中心存储模型,提高数据中心的安全性和可用性,并解释了模型中客户终端写数据和读数据的过程。最后,对该模型的安全性等性能进行了分析。     

协作过滤中的多级分布式日志存取研究

协作过滤作为一种有效的个性化推荐技术受到了广泛的关注.在实际应用中除算法本身效率外,影响算法性能发挥的一个重要的因素就是日志数据的存储与读取速度.针对该问题,文中提出一种多级分布式的日志数据存取方案,采用双哈希表的内存组织与分布式的持久存储相结合的方式来缓解日志I/O的瓶颈问题.实验结果表明,该方法比直接从硬盘读取数据以及串行读取数据的性能有明显提高.     

海量设计文档分布式存储及负载均衡的研究与实现

在对海量设计文档的分布式存储技术进行分析比较后,选取最适合现有生产环境的解决方案,并且在分布式存储的基础上,提出与Web应用系统负载均衡技术相结合的系统架构方案。该方案避免用户访问远程存储资源时的漫长等待,解决大型企业局域网之间专线带宽瓶颈对网络应用限制的问题,减轻集中存储资源的负担,实现负载均衡策略从前端Web应用至底层数据存储的全局均衡,从而保证系统的高可用性。     

基于PC集群的SAN存储系统性能优化方法

对于早期的中低端SAN存储系统,由于受当时的技术局限,目前已经无法满足日益增长的海量数据高速传输的要求。介绍了SAN存储系统性能优化方法,可以提高PC集群SAN存储系统的网络和I/O带宽,较好地解决了PC集群系统I/O瓶径问题;对于增强存储系统的长效性、稳定性和数据访问效率起到关键作用。     

智能网络磁盘(IND)接口设计与实现

NAS设备采用集中式存储管理结构，具有诸多的优点，但存在服务器的瓶颈隐患和单点故障问题。针对上述问题．文章提出了一种基于智能网络磁盘（IND）的存储架构，并具体阐述了IND接口的硬件和软件模型。对系统性能的测试表明．负载比较均衡地分配到了各IND，系统中的网络资源和存储资源得到了较充分的利用。     

扩展I/O通道的存储连接技术

在简要分析传统的SCSI技术的基础上,对扩展I／O通道的新连接技术进行了研究。光纤通道技术提供了很高的I／O性能,但容易形成SAN“孤岛”。iSCSI将SCSI与以太网技术结合,将多个SAN“孤岛”连接在一起。InfiniBand用通用的适配器综合各类存储设备,在I／O性能和扩展性等方面都极具吸引力。该文重点研究了RDMA的结构、特征及在存储中的应用,它引入了零复制概念,使主机端的I／O瓶颈被打破,在网络存储中有着广泛的应用前景.     

Adaptive Storage Policy Switching for Wireless Sensor Networks

In wireless sensor networks, storage policies can be categorized into external storage, local storage and data centric storage. Each storage police has its suitable network environments. If a correct storage policy is chosen for a given network condition, unnecessary control messages can be significantly reduced. Then the network lifetime can be increased. In this paper, adaptive data storage (ADS) policy which can dynamically choose suitable storage policy for wireless sensor network according to the frequencies of user queries and events happening is proposed. Through collection and computation of user query and event rates, the proposed algorithm switches between local storage and data centric storage policies adaptively. Simulations are given to justify that the proposed adaptive storage policy indeed reduces the traffic in network and increases network lifetime.

对象存储系统的自动化管理技术

物联网视频监控领域中的对象存储系统不仅轻松突破了传统存储系统SAN的性能瓶颈,而且可以实现性能与容量的线性扩展;然而,对象存储系统资源的远程管理成为困扰管理者的一个问题。针对该问题,研究能够实现对象存储集群的自动化管理的方法和相关技术,提高存储集群的使用效率。该自动化管理系统功能主要包括：集群组件的远程启动、停止、重启;运行状态监测;集群扩张和日志查看及存储等功能。基于Ceph对象存储集群,实现了面向Web应用服务平台的存储集群自动化管理系统,最终有效地对对象存储系统进行监视和管理,并能够自动化扩展集群的节点和存储容量。     

基于动态存储策略的数据管理系统

提出了一种按照存储策略实现对数据管理的方法,既有效地解决了数据量不断增长与存储容量限制的矛盾,又能够根据存储策略的动态调整,最大限度地保留有价值的数据。详细介绍了在遥感数据的存储管理中,动态存储策略模型的构建方式以及存储策略在数据管理系统的应用,根据数据的使用情况、生产情况和数据来源等多种因子评估数据价值,从而确定数据的保留时限,实现越有价值的数据保留时间越长的目的。     

构建G2P结构IPTV新网络

当前主流的传统C/S架构的IPTV网络存储成本巨大,即使是采用H．264这样的高性能编码器,可以节省的存储费用也是有限的,而且服务器的响应时间长,服务器性能和带宽“瓶颈”严重。提出一种P2P(Peer to Peer)和C/S(Client/Server)混合的用于存储和传送IPTV(Internet Protocol based Tele- vision)数据的网络新结构G2P(Group to Point),并详细介绍G2P结构中媒体服务器的分布以及分布式差异化存储和组对点分片数据分发方式,分析比较采用G2P技术发展IPTV业务的特点,并针对不足之处提出改进方向。     

立体化仓库系统仿真优化研究

针对立体化仓库系统仓储作业问题,采用Flexsim软件进行了仿真优化研究.首先,建立了自动化立体仓库仿真模型;其次,对不同的存取模式和不同的系统参数提出了仿真优化方案;最后,对仿真优化的结果进行分析.结果表明,通过优化可以大大提高系统的响应速度,发现实际仓库系统运行中可能出现的瓶颈,提出对应改进方案,提高仓库存储效率.