基于云存储的井下人员定位数据处理

鉴于国内目前各大煤矿企业的实际情况,对井下人员定位系统进行研究,为了改进定位产生的海量数据所存在的不安全、不完整等弊端,采用云存储代替原有的存储模式。利用云存储量身定制这一特性,在企业内部搭建私有云,以Hadoop为技术架构,运用HBase的RowKey确定检索的主键,HDFS的NameNode与DataNode完成数据间的交互,快速、高效的查找数据。将云存储应用于企业中,帮助企业顺应时代的脚步,有利于企业的发展,具有一定的价值。     

一种基于Hadoop的Scool云存储平台

针对海量数据的指数级增长,现有的文件存储系统很难满足现有系统需求,提出基于Hadoop的Scool云存储平台,系统通过采用Linux集群技术、分布式文件系统和云计算框架等技术,来实现海量数据存储和高速数据处理。通过比较云存储和传统存储模式的区别,分析了云存储技术优势和可行性,介绍了云存储架构模型,设计了基于Hadoop的Scool云存储文件管理系统,为今后深入研究云计算和云存储提供了一定的基础。     

基于云平台NoSQL的海量天文图像存储研究

云计算所提出的全新计算和存储思想,对海量数据的存储解决方案以及快速访问有效数据资源提供了参考。以云存储平台NoSQL数据库为背景,研究海量天文数据的存储和访问技术。首先构建了基于MongoDB平台的天文图像FITS文件存储原型,在此基础上设计并分析存储实验。实验结果表明,数据分片存储以及选择最佳的分片大小能有效提高天文数据的存储和访问效率。     

高性能的云存储安全网关设计与实现

随着互联网应用的迅速发展,数据量呈指数级增长趋势。越来越多的用户选择将数据存储备份到云端,但同时数据安全隐患也越发突出。用户对海量数据的存储备份和安全性需求越来越高。为了方便用户将本地数据迁移到云存储服务端,简化远程云端资源的访问,提供隐私保护、数据安全等附加价值,设计并实现了一个安全、高性能、大容量的混合云存储安全网关。该云存储安全网关能够提供安全、高效的数据存储备份服务,克服传统存储备份服务的不足。具有灵活的数据机密性和用户隐私管理、安全的数据存储和传输等特点。     

一种基于海量信息处理的云存储模型研究

提出了一种云环境下海量数据组织与资源共享的存储总模型,该模型包括:结构化、半结构化及其非结构化数据与资源的对应存储方法;能兼顾海量大小数据文件处理的分布式文件系统THDFS;云数据库系统设计模型THCloudDB;云环境下强于MapReduce弱于SQL,以Hadoop++为基础的一种针对互联网海量数据文件处理且具有语义计算效能的计算模型THMapReduce;针对THDFS及其THCloudDB的具有语义效能的智能挖掘分析工具THBI;最后以"清华通"为案例分析了该模型平台的具体应用.     

基于云存储的医院PACS系统存储设计

目前,PACS系统已经日益成为各级医院实现信息化建设的重要组成部分,在网络应用越来越广泛的今天,异地多院区联接形成医院PACS系统对存储应用有更高的要求。文章从医院PACS系统存储的实例出发,探讨了基于云存储的PACS系统存储设计。     

云存储初探

云存储系统是一个由服务器和存储设备构成的集合体,本文深入分析了云存储的技术前提、发展现状及未来趋势。     

面向云存储的非结构化数据存储研究

作为一种先进计算方式的云计算,不断在信息服务与科研领域升温,并且影响了存储和运算大规模数据。本文主要分析了云存储技术,非结构化数据存储方式,面向云存储的非结构化数据存储系统架构,面向云存储的非结构化数据存储结构设计和实现。     

基于Ceph云存储的磁盘利用率研究

云存储以其强大的容错性、部署的灵活性、可扩展性、维护的便捷性等优势,在各行业得到普遍推广和广泛应用,但是因云存储数据冗余保护的需要,高消耗是其不可避免的弊端.如何降低其磁盘空间的消耗,对云存储系统的成本优化意义重大.本文基于Ceph文件系统,研究文件和磁盘的映射关系以及数据冗余和磁盘利用率的关系,对云存储的实际生产运行有重要意义.     

基于混合云的安全数据存储架构

云计算技术为数据存储与计算提供了一个非常有效的方法,当前研究工作的重点集中在云中的数据安全。基于混合云,提出一个安全数据存储架构,将数据存储过程划分为两部分。数据的机密性、完整性和可追踪性的相关操作在私有云中实现,公共云实现数据的存储与查询。该架构在保障云端数据安全存储的同时,降低企业在保证云数据安全存储方面的成本。     

基于云存储的重复数据删除架构的研究与设计

随着云计算的发展,云存储技术通过集群应用、虚拟化技术、分布式文件系统等功能将网络中大量各种不同类型的存储设备集合起来协同工作,缓解了老式数据中心的存储压力.另外,重复数据删除技术是一种缩减存储空间减少网络传输量的技术,随着云的广泛应用也势必会发展应用于云存储中.这两种技术结合将会给IT存储业带来实际效益.本文通过研究重复数据删除技术、云存储技术,设计了基于云存储的重复数据删除架构,提出了一种用In-line方式在客户端进行数据块级与字节级相结合的重复数据删除操作后再将数据存入云中的方案.在本架构下,海量数据存储在HDFS中;而文件数据块的哈希值存储在HBase中.     

基于ZigBee和CAN总线的煤矿井下人员定位系统

介绍了一种采用ZigBee无线网络采集井下人员位置信息,通过CAN总线双向通信的煤矿井下人员定位系统。该系统包含通信分站、读卡器、识别卡等部分,能够完成井下人员位置检测、考勤管理、安全监控等功能。     

基于云计算的数据安全存储策略研究

数据安全问题是困扰云计算发展的主要问题之一,针对目前云计算应用中用户数据安全存储需求提高,需要极大提高数据读写效率的问题,提出采用对称加密算法与非对称加密算法相结合的加密、解密方案,利用对称密钥适合对大规模数据加密,而非对称密钥本身安全性较高的特点,充分发挥了两者在云计算环境下的优点,实现了一种存储安全性好而且读写效率高的数据存储策略;力图在数据安全性达到非对称密钥加密体制的前提下,使算法效率接近对称密钥加密体制的水平。     

一种基于LT码的数据云存储方案

拜占庭失效或恶意攻击会降低云服务供应商的云存储服务可靠性,为此,提出一种基于云计算的安全可靠数据存储方案。通过LT编码增加分布式云服务器的数据冗余度,在保证性能全局准最优的同时,提升数据用户在数据检索阶段的解码效率。利用支持公共数据完整性检查和准确数据修复,避免数据拥有者长期保持在线状态,并设计数据修复解决方案,使服务运行期间无需产生元数据也能进行数据修复。实验结果表明,与基于网络编码和基于RS码的云存储方案相比,该方案的通信成本只增加了15%,但数据检索效率却提高了约1倍。     

监控视频云存储系统

非结构化数据呈爆炸态势增长, 传统存储技术在吞吐能力可扩展性及易管理性等方面急需改进, 通过分析安保视频数据存储的问题, 设计一种云计算架构下的安保视频监控存储系统, 基于框架技术搭建了对等架构的云计算环境, 并对其中的云存储策略进行了设计和建模. 实现在廉价不可信节点上存储海量私有化只读视频数据, 并提供高效可靠地访问. 仿真结果显示, 系统的存储性能可靠度高且易于扩展, 可提供效能较高的视频云存储服务.     

海量物联网数据安全处理模型研究

物联网已经成为信息技术发展的重要趋势.如何处理海量物联网数据并且确保这些海量数据的安全变得越来越重要.本文针对互联网的海量数据处理及其安全应用,提出一个海量物联网数据的安全处理模型.该模型主要由海量物联网数据采集、数据存储、基于规则的海量数据处理及其物联网数据安全管理等组成.通过该模型可以较好地实现物联网所产生的海量数据的安全传递、存储及其基于规则的处理等等,达到支撑各种应用的目的.该模型可以应用于各种基于规则的海量物联网数据监测系统如:基于物联网的湖泊水质监测系统、基于物联网的PM2.5监测系统及基于物联网的智能交通监测系统等.     

基于协调器与遗传算法的云存储数据复制策略

针对云存储数据过程,结合协调器与遗传算法提出一种新的数据复制策略.在Hadoop分布式文件系统体系结构基础上构建一个用于复制管理的协调器,采用接收查询算法和遗传算法接收查询,并将其发送给合适的节点以满足用户期望的服务质量功能需求,同时考虑一个查询中数据块的物理位置以获得更好的复制参数.仿真结果表明,与目前典型的数据中心...     

基于纠删码技术的云存储数据块部署方案

针对云存储系统中因忽视集群中存储节点之间的差异而引起的存储代价过高、可靠性较低、节点负载能力不足等问题,提出了段排序交换算法（FSSA）.首先对数据块部署问题进行数学建模;然后根据各个节点的负载情况进行分段,并在各个分段中依据数据可靠性的需求对节点进行初步选择;最后根据数学模型中对目标函数的分析在分段选择的结果中选取适当的节点进行数据部署.仿真结果表明,采用FSSA算法可以在保证数据存储可靠性的基础之上,降低数据存储代价、增强系统负载均衡能力.     

基于HBase的大数据架构下负载平衡技术

随着气象数据规模和种类的不断增长,气象数据已经逐渐进入海量服务阶段,而基于大数据背景提供更敏捷的数据服务已经成为业务发展的迫切需求.本文针对气象中的半/非结构化数据,提出基于HBase系统的负载平衡算法和策略.在实际测试对比中发现,系统可以满足200多万个格点,100个并发的场景,查询速度在2 s以内,与未曾增加负载平...