对象存储系统的自动化管理技术

物联网视频监控领域中的对象存储系统不仅轻松突破了传统存储系统SAN的性能瓶颈,而且可以实现性能与容量的线性扩展;然而,对象存储系统资源的远程管理成为困扰管理者的一个问题。针对该问题,研究能够实现对象存储集群的自动化管理的方法和相关技术,提高存储集群的使用效率。该自动化管理系统功能主要包括：集群组件的远程启动、停止、重启;运行状态监测;集群扩张和日志查看及存储等功能。基于Ceph对象存储集群,实现了面向Web应用服务平台的存储集群自动化管理系统,最终有效地对对象存储系统进行监视和管理,并能够自动化扩展集群的节点和存储容量。     

云存储系统中基于更新日志的元数据缓存同步策略

在云存储系统中使用客户端元数据缓存,不仅可以减轻元数据服务器的压力,避免元数据服务器成为系统瓶颈,提高系统的可扩展性,而且可以降低客户端元数据操作的响应延迟,极大地提高客户端IOPS性能.本文对云存储系统客户端元数据缓存同步机制进行研究,提出了基于更新日志的元数据缓存同步策略,利用该策略替代了MassCloud云存储系统原先的元数据缓存完全同步策略.测试结果表明,新的缓存同步策略给MassCloud云存储系统带来了20～140倍的性能提升.     

面向视频监控系统的云存储运维系统的设计与实现

随着数字化安防技术的不断提高,存储已经成为其核心技术之一,云存储应运而生。现阶段云存储的服务器,安全性和稳定性方面都得到了充分的提升,因此就需要进行云存储系统的研究,从而实现对数据的信息交互。文章首先对视频监控的存储现状进行了概述;其次对多媒体数据的特点进行了分析;最后在实现视频监控的基础上,设计和实现了云存储运维系统。     

面向云存储安全的可自愈拜占庭Quorum系统

针对云存储系统中的数据安全问题,提出了一种面向云存储安全的可自愈拜占庭Quorum系统.该系统以虚拟机作为后端存储设备构建虚拟存储节点,利用虚拟机多样化操作系统,以及动态迁移、快速部署等机制构建动态异构的存储系统架构.在拜占庭容错门限的基础上,提出自愈门限的概念,并设计相应系统安全协议,实现存储节点的自动化异常检测和状态复原.实验结果表明,提出的云存储系统具有较高的鲁棒性,能有效提高存储数据的安全性.     

对象存储系统中基于监控的动态负载均衡方法

负载均衡在存储系统领域一直是研究的热点,但在分布式的对象存储系统中的应用与实现方面仍存在缺陷.针对对象存储系统中负载均衡方法大都依靠经验或有限的动态配置指导自适应算法进行、在负载再平衡过程中无法控制迁移节奏,算法实现复杂,未充分考虑存储节点实时负载状况等不足,提出了一种基于监控的动态负载均衡方法.该方法将监控系统引入对象存储系统,完成对各存储节点负载状况的实时感知;根据节点负荷、异构性等因素进行综合估计来触发迁移算法,避免了依靠经验及预设值指导算法执行;利用监控系统灵活的自定义事件触发机制和故障自动化处理机制,设计负载迁移策略,动态完成节点间的负载再平衡,降低算法实现复杂难度;使用监控系统动作执行过程中的多步操作顺序流控制完成一次一迁移,有效掌控负载迁移节奏.将该方法应用到自主研发的对象存储系统CSCloud进行验证的结果表明,该方法能及时获取集群中各节点的负载信息,并实现及时、准确的动态负载平衡,为对象存储系统和其他分布式存储系统实现负载均衡提供了新思路.     

一种无中心的云存储架构分析

云存储是云计算的基础和支撑,它通过多种技术将存储设备抽象为虚拟的存储资源池,相对于传统存储而言具有高可靠、高可用、高扩展、低成本等优势。云存储系统基于不同的技术架构有着不同的特点,从是否存在元数据节点的角度,对有中心和无中心的典型云存储系统做了简要介绍,并对一种开源的无中心系统Gluster从系统组成、体系架构、工作原理、系统特点等几方面做了重点分析,并认为这是一种很有发展前景的云存储系统。     

基于Android的智能视频监控系统

在视频监控系统的发展中,一直存在一些亟待解决的问题,如缺乏运动跟踪、智能抓拍、交互控制等.为了提高无线视频监控系统的智能化程度,设计并实现了一种基于Android的智能视频监控系统,侧重对Android平台视频监控客户端的研究与设计.本系统以ARM作为服务器实时采集视频数据,Android手机作为客户端,实现运动跟踪、智能报警、交互控制和图像云存储,提高系统的实用性.     

基于android和云平台的智能家居系统设计与实现

为解决智能家居系统大规模数据的存储、管理及移动终端的可靠接入等问题,本文设计了一种基于嵌入式家庭网关、Android和云平台服务的智能家居系统。利用极光云推送服务及时将家庭的异常报警信息推送到手机客户端,系统还提供了视频监控功能,用户随时随地通过手机查看家庭动态。当监测异常时会自动拍照记录异常场景,并上传至yeelink物联网云平台,进行图像云存储。另外通过手机客户端可以查看所选时间范围内的报警图像,随时掌控家庭生活。     

基于云存储的监控视频数据的存储与处理关键技术研究

随着云计算、视频监控、多媒体、数据挖掘、高性能存储器的快速发展,已经在电子商务、电子政务、金融证券等领域得到了广泛的普及和经验,取得了显著的成效。视频监控系统利用高清晰、互联网、红外线等摄像头实时拍摄现场环境内容,这些视频信息容量需求较大,并且还需要利用网络实现共享,利用云计算技术构建一个云存储平台,将系统划分为前端摄像头、本地监控中心和上级监控中心,实现数据的云端发送、接收,进一步提高视频监控数据的可利用性。数据存储和处理的关键技术包括数据上传、数据迁移、数据放置等多种,论文结合笔者的设计经历,详细地探讨云存储系统功能,探讨系统采用关键技术。     

云存储系统在高速公路视频监控中的应用探讨

随着监控视频质量不断提升,监控范围不断扩大,在满足监控市场实时视频显示的需求同时,传统集中式的视频存储,主要是文件式存储系统,将面临着诸多的技术挑战。而网络分布式云存储系统,在网络资源共享、分级分层存储方面具有突出特点,在高速公路视频监控等相关行业有着很好的应用前景。     

基于数据中心的数据仓库结构设计

文章设计了一种数据仓库结构,包括:数据仓库,用于存储数据对象,特别是根据维度和对象整理与存储数据;元数据库,用于存储元数据,元数据包含数据对象描述、查询和报表的定义;客户端;报表服务器,连接该客户端;中间件服务器,连接该数据中心、元数据库和报表服务器。此外,论文还提供了基于本数据仓库结构的查询和报表方法。     

光伏发电系统密集型大数据云存储系统设计

目前设计的光伏发电大数据云存储系统存在响应时间过长,存储过程稳定性较差的问题,针对上述问题,设计了一种新的光伏发电系统密集型大数据云存储系统。系统硬件框架由光伏发电数据采集层、传输层、处理层、存储层以及应用层组成,云存储数据服务器同时设置了主服务器和从服务器,设计节点完成信息传输;通过两个子线程完成信息迁移,存储器内部引入DSP主控芯片,实现信息存储。实验结果表明,所设计的光伏发电系统密集型大数据云存储系统响应时间较短,能够更稳定地完成数据存储工作。     

基于中心节点的云存储系统应用分析

在云计算的催生下,基于不同网络拓扑结构和数据传输机制的分布式云存储系统应运而生,系统特性不同,应用场合也不尽相同。本文从是否存在元数据中心节点的角度出发,以有元数据节点的MooseFS和无元数据节点的GlusterFS为代表,全面分析两种系统架构、工作机制、系统特点等,并对两种系统进行不同文件类型的读写测试,给出在现有硬件基础上选择适合的文件系统的方法,从而使云存储系统数据处理性能达到最优。     

新能源车辆远程监控系统优化设计

新能源车辆远程监控优化设计系统的远程管理终端系统采用车载信息功能集成方法,完善网络化的智能交通状态体系。云端信息服务平台的数据云存储系统采用创新的云存储服务方法;地图存取服务系统采用多源地理信息处理融合方法,形成动态车辆信息处理融合系统;车辆监控规划系统采用云计算同步方法、大数据模糊关联挖掘方法、集群技术和并行计算方法等,全面释放车辆数据的深层价值。根据国家对于新能源车辆的标准要求,移动车载终端与云端信息服务中心相互配合,对新能源车辆关键技术和海量数据进行研究,实现新能源车辆示范运行的实时监控和智能分析。测试结果表明,该系统可为新能源车辆关联产业建设提供有效数据支撑,为未来新能源车辆的全面推广和资源整合打好基础。     

基于云存储系统的能耗优化节点管理方法分析

随着科技不断发展,云存储系统能耗节省成为科技关注的焦点。云存储系统能够根据情况,在利用率较低时关闭部分的存储节点,但是云存储节点关闭时数据需要具有一定的可用性。而云存储中能耗优化问题是云存储管理中疲于解决的问题。基于此,文章就云存储的能耗优化节点的相关技术进行详细研究,并对云存储系统能耗优化节点的管理问题进行深入探讨。     

云存储技术在铁路综合视频中的应用研究

传统的铁路综合视频监控系统一般采用固定硬盘存储模式对视频数据进行存储和管理。本文通过分析云存储的关键技术和基本架构,文章提出了基于存储虚拟化和分布式存储技术的标准云存储方案、互联云存储方案及分散云存储方案,并通过对实际项目应用分析,确定了云存储技术在铁路综合视频监控应用的可行性。视频云存储方案具有可弹性扩展、读写速度快、数据安全、容灾性能高、易于维护管理的特点,良好适应铁路综合视频监控系统大容量高清化的数据存储要求。     

云存储系统的分析与应用探讨

目前社会越来越向信息化的方向发展,随之出现了一个新的概念一云存储的概念。云存储系统指的是通过集群应用、网格技术或分布式文件系统等功能,将网络中大量的、类型不同的存储设备通过应用软件集合起来一起工作,共同对外提供数据存储和业务访问功能的一个系统。云存储可以看作具有更大存储空间的云计算系统。因此,可以说云存储系统比云计算系统具有更优的性能。基于此,云存储系统目前有着非常广泛的应用,主要可以为企业或者个人提供足够的空间来存储数据。笔者通过结合自己工作中有关云存储的一些经验,对云存储系统进行了一定的分析,并且对于其目前的应用情况进行了探讨。     

基于NAS的私有存储网络节点的嵌入式设计与实现

采取嵌入式方式设计基于NAS的私有存储网络节点模块,以适应逐年上涨的数据量和提高存储系统的存储能力。所设计的模块是客户端/服务器端结构,客户端向服务器端发送沟通命令,服务器端通过签署ISCSI协议,将存储装置共享在网络节点上进行数据存储。客户端位于存储装置上,服务器端由ARMx4DK-Xscale嵌入式处理器在Linux操作系统上开发而成,进行电源管理和NAS数据管制。在Linux操作系统上进一步设计了服务器端的电源管理电路结构,并利用私有云建立NAS集群,实现模块功能。实验结果证明,所设计模块的数据吞吐量大、能耗低。     

Linux下基于云平台的轻量级资源监控系统设计

针对云计算平台资源监控系统存在程序冗余、硬件资源消耗较大的问题,提出了一种Linux下基于云平台的轻量级资源监控系统设计方案。首先,将系统设计为资源监控代理、资源数据收集、资源数据存储和资源数据展示四大组件;然后,将资源采集组件部署在云平台的工作节点上,负责将数据面的资源信息上传至控制面;最后,运行在控制面的资源采集器、资源存储组件和资源数据展示组件负责对工作节点的数据进行统一收集管理。结果表明,所提设计方案在保证可用性的基础上,大大地提升系统的性能,减少资源的消耗,在有高性能计算需求且资源受限的领域有明显的优势。     

虚拟主机云存储系统VCloudStorage及文件传输协议VCFTP

对于广域网下的文件传输和管理,云存储系统提供Web Service API、基于文件的API、基于Block的API和其他的API,通常需要在客户端安装特定程序调用这些API实现云存储功能,测试发现如果多人同时访问,传输文件失败率较高。设计了基于Web Service、HTTP和Flash技术的文件传输协议VCFTP,开发了基于虚拟主机集群的云存储系统VCloudStorage。首先建立SaaS服务模型,利用HTTP数据流存储技术,建立虚拟主机存储接口;接着建立虚拟主机传输能力、存储能力和价格能力数学模型,结合用户的传输请求建立文件传输整数规划数学模型及最优化算法,最终以此为基础设计了文件传输控制协议VCFTP。VCFTP利用Flash跨平台和富客户端技术特点,无需在客户端部署其他程序;授权的用户根据传输请求、存储要求、服务水平和当前虚拟主机状态等条件,以传输能力最优化的方式进行文件传输。实验结果表明VCFTP具有较高的性能和稳定性,VCloudStorage总吞吐量、平均传输率和文件传输成功率均优于微软SkyDrive存储、腾讯QQ邮箱存储和单虚拟主机存储。本文提出的VCFTP增强了文件传输性能和稳定性,是提高广域网网络存储系统性能的一条有效途径。