海量视频数据分布式存储性能优化方法研究

针对文件系统存储效率低、多余副本导致空间浪费以及磁盘能源损耗严重的问题,提出一种新型分布式优化存储策略(distributed optimized storage strategy,DOSS).首先,引入Bcache混合存储技术在磁盘阵列前增设固态硬盘,作为高速缓冲区对多路视频流进行临时数据组织,变多线程并发写任务为单线程顺序写入任务,规避磁盘内部碎片产生,有效提高系统写入效率.其次,提出改进的liberation码对视频数据进行压缩存储,在保证系统可靠性的同时提高磁盘空间利用率.最后,基于ioctl系统调用编写盘片转速控制函数,实现磁盘多级休眠和低延迟唤醒,减低磁盘能耗,提高使用寿命.结果表明单台存储服务器在500路4 Mbps并发视频流下存储效率提高约36％,存储空间节省约40％,系统应对12000路并发视频流时仍存在休眠磁盘约10％.     

海量图片的分布式存储及负载均衡研究

针对海量图片给网站带来的访问速度下降、性能压力增大和I/O瓶颈等问题,提出一种海量图片的分布式存储及负载均衡技术。通过把图片数据和网站内容分开部署、在数据库中记录和维护图片服务器状态信息等方法实现图片和页面数据的分离。实验结果表明,该技术能提高网站的访问速度和运行效率,并可动态增加图片服务器的数量满足日益增加的性能需求。     

基于云计算技术的海量信息分布式存储研究

面对海量信息的有效存储,为了保证存储信息的抽取和查询的效率,研究基于云计算技术的海量信息分布式的存储方法。采用GFS作为分布式文件系统和HDFS管理节点/存储节点架构作为分布式存储技术的依据,形成极大存储容量的计算机群,对信息实行并行处理;生成事实表,分析和处理不同维度和粒度的情况下的信息后,对其实行数据聚集;采用基于云计算技术改进ETL处理算法实行海量信息抽取,存储在数据库中,用户即可根据需求实行数据库信息查询。实验结果表明,该方法的存储性能较好,物理节点的增加会提高信息的插入效率,并且抽取后的信息信噪比较高,信息查询速度较快。     

云环境下海量GPS、视频监控数据存储检索研究

监控数据在不断增大,且80%以上为非结构化数据,利用传统关系型数据库存储管理时,占用机器内存较大,检索数据需对数据库全表扫描,管理性能低。为解决海量监控数据的存储与管理,采用HDFS分布式文件系统存储视频非结构化数据,研究设计Hbase属性信息表,利用Hbase分布式数据库存储属性信息,研究Hbase全局检索信息行键及MapReduce工作流程,构建检索,实现视频监控数据的检索。最终基于非结构化数据的检索技术以及分布式数据处理框架的研究,得到的海量监控数据存储与检索方案。     

海量数据的存储与高速查询方案设计与研究

本文阐述了实现海量数据的可靠存储及高速查询的理论基础，以银行系统为例给出了具体实现方案，光纤通道等设备的出现将存储领域推向了网络化的新阶段，这种技术的应用将给我们的生活带来极大的方便，提高工作效率。     

基于云计算的图书馆海量数据存储研究

基于云计算的数据存储技术改变了现代图书馆的管理模式,也更新了传统的信息服务方式。现代数字图书馆系统的构建将沿着网络信息服务产业的发展方向搭设,对以往的数据存储模式形成较大的冲击。该文就云计算环境下的图书海量数据存储技术进行研究,剖析现代数字图书馆的主要特征,以及对于云计算技术手段在图书馆数据管理中的应用现状做出分析,并且提出相应的指导性意见。     

基于云计算的图书馆海量数据存储研究

基于云计算的数据存储技术改变了现代图书馆的管理模式,也更新了传统的信息服务方式。现代数字图书馆系统的构建将沿着网络信息服务产业的发展方向搭设,对以往的数据存储模式形成较大的冲击。该文就云计算环境下的图书海量数据存储技术进行研究,剖析现代数字图书馆的主要特征,以及对于云计算技术手段在图书馆数据管理中的应用现状做出分析,并且提出相应的指导性意见。     

分布式海量遥感影像编目检索机制

为了高效地组织、检索分布式海量遥感数据,研究FGDC制定的遥感元数据标准草案,提出一种具有良好可扩展性的遥感编目数据模型。基于该编目数据模型,提出一种基于编目数据的分布式影像检索算法,设计并实现一个遥感数据编目检索系统,实验结果表明,该系统是有效的。     

高性能海量数据存储模拟器设计

介绍了一种高速海量数据存储系统的模拟器,即基于NAND Flash阵列的数据存储器模型,该模型采用多通道和多Interleave管理模式,形成以数据存储、传输为核心的数据存储SoC平台。主要完成对FTL算法和系统结构的有效性能测试,目前该模型具有一定的有效性,速度快,稳定性高。     

探析云计算的海量数据存储模型

随着互联网技术的飞速发展,产生的数据越来越多,这就对数据存储提出了更高的要求。在云计算技术的基础上,采用虚拟化技术和Hadoop技术,构建基于云计算的海量数据存储模型,从而将海量数据设置在Hadoop平台上,利用Mapreduce进行处理,并将海量数据存储在虚拟资源池中,从而有效地提高数据存储效率。     

Securing distributed data storage and retrieval in sensor networks

Sensor networks have been an attractive platform for pervasive computing and communication. However, they are vulnerable to attacks if deployed in hostile environments. The past research of sensor network security has focused on securing information in communication, but how to secure information in storage has been overlooked. Meanwhile, distributed data storage and retrieval have become popular for efficient data management in sensor networks, which renders the absence of schemes for securing stored information to be a more severe problem. Therefore, we propose three evolutionary schemes, namely, the simple hash-based (SHB) scheme, the enhanced hash-based (EHB) scheme, and the adaptive polynomial-based (APB) scheme, to deal with the problem. All the schemes have the properties that only authorized entities can access data stored in the sensor network, and the schemes are resilient to a large number of sensor node compromises. The EHB and the APB schemes do not involve any centralized entity except for a few initialization or renewal operations, and thus support secure, distributed data storage and retrieval. The APB scheme further provides high scalability and flexibility, and hence is the most suitable among the three schemes for real applications. The schemes were evaluated through extensive analysis and TOSSIM-based simulations.     

Efficient selection, storage, and retrieval of irregularly distributed elevation data

The advantages and disadvantages of various digital terrain models are discussed briefly and a new model for triangulating a set of nonuniformly distributed three-dimensional surface observations is described. An algorithm for hierarchical subdivision of a set of data points into nested triangles is proposed. The algorithm selects a subset of the data points which reduce the maximum error between a piecewise linear approximation of the surface using only the selected points and the elevations of the points not selected. The data structure used is such that for any given degree of approximation (in the maximum-error sense) only the necessary points need to be stored. Furthermore, an efficient method is available to approximate the elevation of the surface at any point not included in the original data. The performance of the algorithm is demonstrated experimentally.     

存储网格中数据高可靠获取的新编码方案*

为了保证存储网格中数据的高可获取性,提出了一种对数据资源进行RS编码和LT编码级联的新方法,使RS码和LT码互相促进,同时实现纠删和纠错,这是单独采用两种编码都无法达到的。仿真结果表明,RS-LT级联编码可提高LT码译码成功概率,能够以较小的系统代价大幅度提高数据的可获取性。     

一种基于Chord优化的空间数据存储方法

针对空间数据访问的局部性和位置相关性,在Chord协议的基础上进行扩展,提出了一种基于P2P的分布式空间数据存储方法。该方法对存储节点进行分组,并可根据节点的负载状态对分组进行动态调整,以保持系统的负载均衡。理论分析及仿真实验都显示该方法在执行空间范围查询操作时较Chord协议具有更高的效率。     

DICOM数据的语义查询及优化

医学信息领域用DICOM类型的数据存储由各类检查设备产生的医学图像信息。DICOM标准的优点是标准化和语义化,它使各类医学图像设备和医学图像处理系统之间有了统一的数据交换模式。一个DICOM图像包含丰富的语义信息,包括患者相关、检查相关和图像相关的信息,但目前各类系统对其应用得还不够,尤其是数据挖掘方面,大多系统是通过构建关系数据库来存储和描述图像相关的信息。针对DICOM图像本身所携带的语义信息进行的挖掘还不够多,这违背了当初创建DICOM标准的初衷。造成这个应用现状的主要原因是国内系统厂商只利用了DICOM标准信息交换的功能,却对其语义的理解有欠缺。为了解决上述问题,对基于DICOM语义信息的数据检索模型、检索方法及检索优化方法进行了研究。根据目前国内业界的应用偏好,对DICOM标准的语义模型进行了扩展,在扩展模型下应用了文本模糊和数据模糊查询方法,最后提出了DICOM语义查询智能Agent的概念。     

基于HBase的海量地形数据存储

随着遥感技术的发展,遥感数据的类型和量级发生了巨大变化,对于传统的存储方法产生了挑战。针对HBase中海量地形数据管理效率不高的问题,提出一种四叉树-Hilbert相结合的索引设计方法。首先,对传统地形数据管理方式和基于HBase的数据存储国内外研究现状进行了综述;然后,在基于四叉树对全球数据进行组织的基础上,提出了四叉树和Hilbert编码相结合的设计思想;其次,设计了根据经纬度求地形数据的行列号和根据行列号计算Hilbert编码的算法;最后,对设计的索引的物理存储结构进行了设计。实验结果表明,利用设计的索引进行海量地形数据入库,数据入库速度与单机情况相比,提高了63.79%~78.45%;在地形数据的范围查询中,设计的索引与传统的行序索引相比,查询时间降低了16.13%~39.68%。查询速度最低为14.71 MB/s,可以满足地形数据显示的要求。     

Issues in storage and retrieval of multimedia data

As the proliferation of multimedia systems continues in diverse application areas, it is becoming increasingly apparent that the performance of the I/O subsystem is a critical limiting factor in the usefulness of such systems. This has spurred extensive research to discover and design efficient and robust I/O systems for the storage and retrieval of multimedia data. To mitigate the effects of the I/O bottleneck in multimedia application environments, we must employ novel technologies and efficient algorithms, and we must use available resources carefully. This paper identifies some significant issues involved and presents a survey of the techniques developed or proposed during recent years to make multimedia I/O more efficient. e-mail: ashfaq@eecis.udel.edu     

A real-time distributed cluster storage optimization for massive data in internet of multimedia things

With the rapid growth of massive data in the Internet of Multimedia Things, there are some problems of insufficient storage space and unbalanced load in the current methods. For the problem of massive real-time data storage, a distributed cluster storage optimization method is proposed. Considering the impact of replica cost and the generation of intermediate data on the replica layout, a replica generation and storage strategy is given with consideration of cost and storage space. In the data center, the data sensitivity and data access frequency is used as migration factors to achieve massive data migration. The improved collaborative evolution method is used to code the task scheduling particle swarm in massive data storage to obtain the optimal solution, and achieve massive real-time data distributed cluster storage for the Internet of things. The experimental results showed that the cost of data management by this method was only between 10 and 15, which showed that this method can effectively improve data access speed, reduce storage space, lower cost and better load balancing.