微信分布式数据存储协议对比

分布式系统是网络化的计算机系统,海量数据的互联网应用只能通过分布式系统协调大量计算机来支撑.微信后台存储大量使用了分布式数据存储方式的NoSQL集群.存储设备出现异常是必然,分布式系统通过多节点分布及冗余,避免个别异常节点影响到系统的正常服务,同时提供平行扩展能力.微信自研的分布式存储在发展的不同阶段,分别依赖过Paxos和Quorum两种方案维护一致性.Paxos和Quorum也是互联网企业主要使用的分布式协议.     

NAS应用之多媒体篇

以往NAS只是作为网络中数据存储设备使用,为局域网内部的计算机提供一个网络数据共享、存储的解决方案。随着局域网在家庭环境中日益普及,我们可以看到越来越多的设备都在支持网络连接。     

一个网络文件存储系统TNS关键技术

基于多服务器架构、为多用户服务的网络文件存储系统普遍存在资源分配不均,重复文件多,存储空间浪费严重的问题。设计并实现了TNS网络文件存储系统,该系统基于多服务器存储架构,分别由用户服务器、索引服务器、数据服务器、共享服务器、管理服务器和登录服务器组成,为多用户服务,采用一致性Hash实现负载均衡,支持在客户端进行文件粒度的重复数据删除。经过实际生产环境运行测试,具有良好的负载均衡能力和重复数据删除功能,可以有效节省存储空间,提高存储设备利用率。     

iSCSI：网络存储的未来

在当今这一信息爆炸的时代,越来越多的企业、机构急需一种有效的方式存储和维护日益增长的海量数据。为了迎接信息时代带来的这一挑战,文中提出了一种新的存储技术—iSCSI。它是基于TCP/IP协议的并利用TCP/IP协议建立和管理基于IP的存储设备、服务器和客户端之间的连接。从而解决了传统的存储方式存在的不支持远距离备份或维护成本高等问题。从存储市场的现状来看,iSCSI是网络存储技术发展的方向。     

iSCSI:网络存储的未来

在当今这一信息爆炸的时代,越来越多的企业、机构急需一种有效的方式存储和维护日益增长的海量数据.为了迎接信息时代带来的这一挑战,文中提出了一种新的存储技术-iSCSI.它是基于TCP/IP协议的并利用TCP/IP协议建立和管理基于 IP的存储设备、服务器和客户端之间的连接.从而解决了传统的存储方式存在的不支持远距离备份或维护成本高等问题.从存储市场的现状来看,iSCSI是网络存储技术发展的方向.     

基于三方传送的存储管理系统设计与实现

存储系统已由NAS向SAN发展,如何融合NAS和SAN技术,提高存储系统的可管理性和性能,是目前存储领域研究的热点。提出了一种扩展文件共享的方法,采用三方传送机制来融合NAS和SAN,通过存储管理器和存储服务器的功能划分,由存储管理器负责存储设备的空间和文件的管理,存储服务器能共享SAN中的存储设备以及直接访问存储设备上的数据。该系统采用Lease协议来保证存储服务器端数据一致性,在此基础上分析了Lease协议模型。     

一种地市级气象数据共享系统的设计与实现

气象数据共享是气象预报预警、公共气象服务的基础。针对地市级气象数据存储分散、共享水平低、无标准等问题,从气象应用需求和数据共享角度,首先设计标准化数据获取客户端,以灵活配置的形式完成多种气象资料的解析。通过气象资料的逻辑划分,实现物理上集中存储,逻辑上相对独立的方式进行数据存储和管理。同时,系统以多种方式进行数据共享服务和安全访问控制。在标准化气象数据获取、一体化气象数据存储与管理,数据共享服务等方面,构建了灵活、高效的气象数据流程,设计和实现了一种面向地市级的实时气象数据共享系统。在整个数据流程中,均考虑每个环节的监控,为集中运维提供可靠的数据参考。目前,该系统已经投入业务使用,为市县两级气象应用的数据调取和公共气象服务提供稳定、高效的实时数据共享服务,取得了较好的应用效果。     

BW-VSDS:大容量、可扩展、高性能和高可靠性的网络虚拟存储系统

设计并实现了一个大容量、可扩展、高性能和高可靠性的网络虚拟存储系--BW-VSDS.和其他网络存储系统对比,它有如下的特点:1)采用带内元数据管理和带外数据访问的虚拟存储管理架构,存储管理更灵活,并且系统扩展性更好;2)在单个节点内部的多个虚拟卷、多个虚拟池和多个网络存储设备上利用存储虚拟化技术重构得到面向多种存储应用的网络虚拟存储设备,实现了3层的层次化存储虚拟化模型,对内共享存储设备的容量和带宽,对外提供不同属性的虚拟磁盘;3)采用写时按需分配策略提高了存储空间的利用率,使用数据块重组提高了I/O读写性能;4)使用设备链表和位图实现了层叠式虚拟快照,支持增量快照、写时拷贝和写时重定向机制,实现源卷和快照卷的数据共享;5)提出结合带外存储虚拟化管理的后端集中的带外冗余管理结构,数据读写直接访问存储节点,冗余管理节点在磁盘上以日志方式缓存从存储节点镜像写的数据,然后在后台进行RAID5冗余计算,提高了活跃数据的可靠性,减轻了冗余计算对写性能的影响.     

云存储系统中数据完整性验证协议

在云存储网络环境中,数据的安全性和完整性是用户最关心的问题之一。综合考虑云存储网络环境中的安全需求,设计了云存储数据完整性验证(CS-DIV)协议。客户端把数据文件和校验标签上传到云存储服务器后随机抽查,服务器返回验证证据并由客户端判断文件的完整性。协议可以有效地验证云存储数据的完整性,并抵抗恶意服务器欺骗和恶意客户端攻击,从而提高整个云存储系统的可靠性和稳定性。仿真实验数据表明,所提协议以较低的存储、通信及时间开销实现了数据的完整性保护。     

基于IP的SAN存储区域网络技术

SAN是一个连接服务器和存储设备的网络,是存储区域中最流行的技术。详细阐述和分析了基于iSCSI协议的IP SAN环境。通过IP SAN与InfiniBand服务器结构的整合方式,表明IP SAN具有高性能、低成本和数据共享的优势。     

SSL VPN技术研究

伴随企业信息化程度的加深,远程安全访问、协同工作需求的日益明显,SSL VPN技术逐渐成为企业用户远程安全接入的重要方式.VPN是利用公有网资源为客户建立的一种虚拟私网.SSL协议是基于Web应用的安全协议,指定了在应用程序协议和TCP/IP协议之间进行数据交换的安全机制,为TCP/IP连接提供数据加密、服务器认证以及可选的客户机认证.SSL VPN的安全通道是在客户到所访问的资源之间建立的,确保端到端的真正安全.     

基于秘密共享协议的移动数据存储研究

针对移动数据库各方面的资源和能力均受到限制的问题,提出了基于秘密共享协议的移动数据存储方案。在移动客户端的应用程序上采用轻量级内存数据库仅存储少量数据,将大部分移动客户端所需数据存储在数据库服务器上。对存储在数据加密服务器上的敏感数据利用AES加密,对密钥利用秘密共享技术进行拆分后存储在不同的数据存储服务器上,使除了移动客户端的任何一方都不能同时拥有密钥和密文,减轻了移动客户端的存储压力,实现了数据控制权限的分离,保证了移动客户端对数据的访问具有最高权限,提高了数据的安全性。测试实验结果表明,该方案是可行的,具有较好的性能和应用前景。     

基于NAS的私有云存储平台的设计与实现

随着大数据时代的到来与高速网络建设的快速推进,数据化网络资源共享已渗透到人们的日常工作、学习、生活当中。数据网络化储存、多人资源共享成为现代信息传播与保存的重要方式。但是,网络储存平台的安全性一直令使用者担忧。因此,各种各样的私有云储存平台孕育而生,为使用者提供相对独立的个人使用空间。经过长期的使用发现,传统的私有云存储平台虽然可以达到一定的安全性,但是,安全性只相对公共开放网盘而言。同时,存在多用户瞬时访问下协议拥堵、大数据交互节点回馈延迟高的问题。针对传统私有云的架构特点与问题产生原因,提出基于NAS的私有云存储平台的设计与实现方法。采用基于NAS的协议加密技术、多路访问优化单元、数据压缩单元对传统私有云存在的问题进行针对性解决。通过仿真实验证明,提出的基于NAS的私有云存储平台的设计与实现方法,具有数据储存安全性高、峰值状态下访问点网络畅通性好、数据网络传输交互率高、延迟小等优点。     

面向数据分析的Web页面静态化方法研究与实现

Web应用系统多采用动态网页技术,通过客户端页面频繁与服务器交互完成动态数据展示,但对大型分布式系统而言,频繁的数据交互给后台服务器带来沉重负担,不但影响系统正常运行效率同时也加重网络负荷。结合南方电网超高压输电公司与各基层单位网络系统分布式架构,提出一种Web页面静态化方法,在不影响系统响应速度、各级数据一致性、系统可连续访问的前提下,实现超高压输电各级单位静态报表的多点存储,减轻系统及网络负荷,避免多级用户数据不一致、跨地域网络间断等问题。     

The basics of reliable distributed storage networks

Because of storage protocols that operate over extended distances, various distributed storage applications that improve the efficiency and reliability of data storage are now possible. Distributed storage applications improve efficiency by allowing any network server to transparently consolidate and access data stored in multiple physical locations. Remote backup and mirroring improve the system's reliability by copying critical data. These processes improve efficiency by eliminating backup downtime and manual backup operations. Business continuity and disaster recovery capabilities enable enterprises to recover quickly and transparently from system failure or data loss. Storage protocols and gateway devices enable rapid and transparent data transfer between mainframe applications and open-systems applications. NAS applications provide shared file access for clients using standard LAN-based technology, and can integrate with SAN architectures to provide truly distributed network capabilities. All these distributed storage network applications enable IT managers to improve data availability and reliability while minimizing management overhead and costs.     

附网存储技术及Jini技术的探讨

系统介绍了附网存储与Jini技术两种新的存储方案,附网存 储具有存储设备与网络直接相连,客户机与存储器间直接传送数据的性能;Jini实现了网络 设备自发组网(即插即用),让所有盟员都共享服务。最后分析了这两种方案的市场前景。     

支持访问控制的P2P大规模遥感数据分发系统

遥感数据日益增长,大规模遥感数据分发对集中分发服务器构成了巨大压力。充分利用参与下载节点的网络资源,提出并实现了一种支持访问控制的P2P大规模遥感数据分发系统。遥感数据分发系统分为遥感数据管理平台和遥感数据客户端两部分,遥感数据管理平台包含共享分发平台网站、云存储、种子资源服务器和跟踪服务器4个组件,遥感数据各客户端和种子资源服务器构成P2P网络。设计了包括共享分片、分片选择、跟踪器通信等的P2P协议,实现的遥感数据分发系统能够上传遥感数据并自动做种,支持对用户的访问控制。根据用户权限进行下载,各下载节点共享分片,然后基于类Bittorrent协议来加速遥感数据的分发。实验结果表明,实现的大规模遥感数据分发系统的功能完善,在多节点下载时具备良好的并发性能,能够满足大规模遥感数据分发的需要。     

基于OpenF1oW的可编程终端设计与实现

随着互联网和网络接入技术的不断发展,终端配备多个网络接口已经十分普遍,多个接口同时接入网络,会建立多条连接,现有的多接口终端除了修改内核之外,没有一种灵活的方法管理多个连接。OpenFlow技术已经吸gj了越来越多网络研究人员的关注,本文中将OpenFlow技术应用到终端,兼容现有的网络协议栈的同时,使终端具有可编程性,并提供了一种在可编程终端上管理多连接的方法,基于终端控制器开发实现了连接管理组件,并且在Linux系统上成功实现。     

基于网络的数据存取安全性探讨

1 引言计算机网络以及Internet、Intranet的出现与发展引发了计算机领域新的应用高潮,诸如电子商务、远程教育、远程医疗、数字图书馆。网络计算以及层出不穷的网络服务和网站使得计算机网络由少数专门人员使用成为成千上万广大用户工作与生活不可缺少的助手。但是随之而来的网络黑客、病毒以及网上的恶意攻     

P2P网络信任数据存储技术的研究

P2P技术是近年来流行的计算机网络结构,不同于客户机/服务器C/S结构,P2P中所有的结点都是平等的,没有严格的提供者和消费者的区分,网络中也不存在权威中心对这些结点进行管理。开放、分布的特点让P2P技术广泛流行,但由于P2P支持用户匿名访问,因而存在安全问题,须依赖信任机制保证对等节点间的协作,其中信任数据存储成为了一个关键的问题。首先对目前P2P信任模型中常用的信任数据存储技术作了深入研究,指出理想的信任数据存储模式应具备的特征,最后提出基于分布式哈希表的信任数据存储方案。