海量数据存储模型的研究

随着互联网上信息量的爆炸式增长,海量网页数据的存储出现了难题.针对海量网页数据进行存储的问题,传统的集中式存储和管理方案已经难以提供高效、可靠和稳定的服务.本文设计并实现了一种针对海量网页数据进行存储的分布式平台模型.该模型利用Ha-doop集群和基于HDFS分布式文件系统的Hbase数据库实现高效率地分析、计算和存储海量数据,以MapReduce计算模型和Zookeeper同步协同系统保持数据写入的高效性和一致性.最后通过实验测试,该存储模型可以克服传统的存储模型存储时存在的读写效率低、数据写入不一致的问题,同时具有良好的扩展性、可行性、稳定性和可靠性.     

光传输网管海量数据存储访问研究

文章主要针对光传输网管系统中网无数量急剧增长导致的网管数据库更新查询效率极低,甚至出现系统崩溃的问题,提出了一种高效的分布式数据库系统架构.该系统采用主从技术、Memcached技术与分布式数据库结合的方式,将数据分散地存储在多台独立的设备上,提高了数据的查询效率.系统容量大、可靠性高、扩展能力强,具有很强的实用性.     

基于云计算的海量数据存储模型

针对目前网络产生的数据越来越多以及随之而来的海量数据的存储问题,在云计算技术上,依据Hadoop及虚拟化技术,提出了基于云计算的海量数据存储模型。将医院信息化的海量数据部署在Hadoop平台上,根据云计算的核心算法MapReduce来处理数据,最后将数据存储在虚拟资源池中。通过实际的应用,该模型可以很好地克服现行的存储方式存在的不足,解决海量数据在存储当中存在的问题,并且能够很好地提高存储的效率。     

用全息技术实现海量数据存储

Tapestry是一种全息光学编码技术,这项技术的最终目标是在CD或信用卡大小的介质上存储数以太比特级的数据。采用此项技术的初期产品为一次性写入型,能够在CD大小的介质上存储100吉比特的数据。     

USB海量存储类设备功能在ARM系统中的应用

数据的存储和传输在嵌入式系统中有着非常重要的地位,特别是数据采集系统中。论述了基于USB的海量存储设备功能在ARM嵌入式系统中的应用。介绍了USB接口芯片PDIUSBD12,Nand型FLASH芯片K9F2808U0C和ARM处理器S3C44B0X在该设计中的具体功能,详细分析了该系统的硬件设计和软件实现,并给出了实验测试结果。     

数字图书馆中海量异构数据存储组织研究

在大数据时代,图书馆工作中最为重要的问题就是数据的存储以及存取。图书馆数字化的管理方式也提升了资料的数据容量,数字图书馆也面临着更高的存储要求。     

以文档结构存储海量卫星遥测数据

通过对卫星遥测数据的分析与挖掘,可以有效地进行卫星故障诊断、卫星参数异常变化预测以及提升卫星运行的可靠性。针对无法在海量卫星遥测数据中进行高效储存、检索的问题,提出了利用No SQL数据库Mongo DB以文档的结构形式存储卫星遥测数据。实验结果表明,相对于传统的SQL数据库,此方法可以有效地减少数据冗余并提高查询效率。     

基于Hadoop的海量数据存储平台设计

基于Hadoop开发的海量数据存储平台优势显著,使用者无需掌握架构底层的搭建细节,只需根据应用层的功能指引便可以开展分布式程序的开发工作。文章提出的存储平台的最底层即为HDFS系统,可用于存储Hadoop集群中所有存储节点对应的文件。HDFS上一层是MapReduce引擎,主要由Job Trackers和Task Trackers组成。基于Hadoop的海量数据存储平台能大幅度提升数据录入、查找、调用的效率。     

信息化数据在管理工作中的重要作用

在全球教育改革朝着以教育信息化引领教育现代化的今天,以数字化校园建设为主要内容的教育信息化成为学校教育现代化的重要标志之一,而办公信息化是教育现代化的重要组成部分。通过生成的数据和网络,办公信息化有促进管理现代化,对业务流程进行优化创新,实现精细化管理,有效降低成本,提高工作效率的作用。     

智能电网海量非结构化数据分布式存储研究

为了加快非结构化电网数据存储的译码速率,从而促进电网主机分布式存储能力的提升,提出智能电网海量非结构化数据分布式存储方法。定义MongoDB数据格式的方法,对电网信息实施复制处理,联合分布式存储架构完成智能电网海量非结构化数据库搭建。在此基础上,分析电网数据的特性能力,通过信息增删排查的方式,确定最终的分布式查询语句,搭建智能电网海量非结构化数据分布式存储模型,实现数据的分布式存储。与局部修复型存储编码方法相比,在分布式存储模型作用下,电网主机的存储译码速率最大值能够达到54.5 MB/s,可在实现非结构化电网数据快速转码的同时,提升电网主机分布式存储能力。     

物联网海量异构数据存储与共享策略研究

随着物联网向各行业的深入发展,各行业的信息化进程也进入了快车道.信息服务作为物联网在各行业应用中重要的公共服务之一,一直受到广泛关注.然而,当前物联网信息服务系统面对物联网海量异构数据存在性能低下、共享困难等问题.因此,本文提出了一种基于NoSQL、REST以及国家物联网标识管理公共服务平台(NIOT)的存储与共享策略,并着重对该系统的构成、逻辑设计进行了详尽阐述.针对性能改进的策略设计了适当的量化评测,实验结果表明提出策略具有较好的效果,基于实验结果对进一步的优化进行了讨论.     

云存储与传统海量数据存储技术的比较

日益增长的数据量迫切需要找到一种高效、高性能、低成本的数据。文章从传统海量数据存储方式的结构特点出发,进行分析,对现在主流的云计算及云存储技术与传统技术进行比较,挖掘云存储的优势。     

嵌入无损编码的海量视频数据存储系统设计

随着当代视频显示分辨率的不断提升,视频显示系统需要实时缓存的数据量越来越大.DDR等实时存储设备受到自刷新率等存储模式的限制,难以满足视频显示系统实时稳定存储的需要.海量视频数据的实时存储成为显示系统亟待解决的关键问题.根据高清视频单帧图像内像素间的空间相关性高的特点,提出了一种内嵌算术编码及哈夫曼编码的嵌入式混合压缩数据存储方法.在传统的视频高速DDR存储控制系统中,首先对单帧视频进行压缩,通过直接减少系统的实时存储量,解决海量视频存储瓶颈的问题.经过试验测试证明,该混合压缩数据存储方法不仅减少了所需存储的数据量,且其数据还原与经典的熵编码比较压缩还原后PSNR值平均高出1～2 dB.     

浅议供电企业海量数据的存储及应用

我国的电力企业建设为我国国民经济的发展以及人民生活水平的提高做出重要贡献。对于一个电力企业而言,电力网络无疑是其"生命的主动脉",随着电力网络的建设与发展,加之网络技术在其中的有效运用,网络所产生的数据越来越多,海量数据的存储与应用成为人们的研究重点。文章就提出一种基于云计算的海量数据存储。     

数据类型和存储模式在C程序设计中的重要作用

在C程序设计中,必须坚决执行变量、函数先定义,后使用的原则。在定义时务必做到,首先根据估算的可能发生的最大或最小值、充分考虑将要发生的各种运算,正确选择变量函数的数据类型,以避免数据溢出及运算异常。其次根据变量的作用域和生命历程,选择合理的存储模式,以优化程序,提高程序运行效率。     

多线程存储YUV数据在安防系统中的应用

安防监控系统中常要处理YUV格式的图像数据。实时存储的单位时间内数据量大,容易丢帧。为满足实时存储的需求,设计并实现了一种基于多线程的YUV格式的图像存储软件。采用定量的缓冲区进行缓存大量实时的YUV数据,再利用多线程实现该数据的实时存储。实验结果显示以多线程实现的摄像机实时数据采集和实时数据存储是可行的,而且能够确保记录的图像数据丢帧率低、可用性高。     

多种数据存储媒质及其在数据多级存储中的应用

简明论述了未来电视制播体系数据存储机制的架构和不同存储媒质的存储特性及其在数据存储机制中的合理应用。     

基于云存储的异构海量数据搜索平台设计

针对云储存中充斥的各种各样异构数据带来的数据搜索复杂的问题,采用多核网络处理器技术构建平台内部硬件加速,结合MapReduce模型设计了API应用程序接口。在数据的搜索过程中,利用Sheduler为媒介对chunk Num个数据子模块划拨给操作模块,并在CPU-GPU并行条件下进行MapReduce流程操作,异构数据搜索平台又将工作chunk进行细化以提升数据的搜索能力。利用WC、SM、MM和KM四种负载测试信息对系统平台进行性能测试,结果显示四种信息的不平衡性均随着数据粒度不断上升,其中,MM数组相乘轨迹的非平衡性自4000开始向上攀升,而SM字符串配、WC字数统计和KM迭代聚类的非平衡性分别对应8000、12000和12000粒度级。