一种支持数据去冗和扩容的多媒体文件云存储系统实现

随着互联网的发展,存储多媒体文件的场景日益增多,云存储系统成为了业界焦点,很多云存储系统为应用程序提供数据存储、查询和计算服务.许多应用程序拥有大量重复的体积较小的多媒体文件,传统的分布式文件系统已不能满足多媒体文件对存储性能的需求,它们通常会把多媒体文件分块存储在不同的存储服务器上,每次获取文件内容都需要从多个块结点把数据获取到,然后重构文件内容给应用程序,导致访问这类体积较小的多媒体文件会消耗更多的资源.为了解决数据冗余度高的应用程序在低存储成本条件下对多媒体文件进行分布式存储的问题,同时为了提高这类应用程序的运行效率,首先提出一种分布式存储目录建模方案,可以用来描述数据中心的存储目录逻辑结构;然后实现了一个多媒体文件云存储系统MFCSS,支持数据去冗和存储目录逻辑扩容.分析和实验结果表明：MFCSS系统在保存数据冗余度较高的多媒体文件时具有良好的性能,可以有效提高磁盘的存储效率,同时具备良好的扩展性,可以简化应用程序管理分布式存储环境中多媒体文件的过程.     

卫星数据的分布式存储系统设计与验证

随着遥感技术的不断发展,各种高分卫星的成功发射,卫星数据量呈爆发式增长,对业界普遍采用的存储系统提出了极大的挑战。针对存储系统需要支持大容量、高并发读写性能、高可扩展性以及应用和用户权限的多样性的问题,文章做了卫星数据处理中的访问模式和具体需求设计,并验证了一个分布式存储系统。该系统的数据节点和元数据节点采用集群方式,使用N+M纠删码、小文件聚合、大数据块存储、客户端缓存和预取,支持块、文件和对象等多种接口,实现了千亿级文件的超大容量、超高并发读写性能和系统的线性扩展,提供了对不同应用和用户权限的支持。     

面向数据中心的安全网络存储系统设计

针对各类数据中心存储系统建设需求,开展了存储系统设计需求分析,重点针对存储系统可靠性、安全性需求,进行了安全网络存储系统备份恢复机制、安全保密机制设计,针对数据中心大数据存储加密处理需求,开展了存储加密运算高性能和可靠性设计研究,提出了灵活可配置的存储加密策略,可适配具有不同加密性能或可靠性需求的应用场景,能够适配各类数据中心存储区域网络建设安全保密需求.     

数据安全存储的分片策略模型研究

针对数据安全分片存储系统使用了数据分片存储和数据分片加密技术。数据采用分片存储策略,存储于文件系统的不同节点,以提高数据传输的效率并提升数据的安全性。分片存储策略建立在分片可用率模型上,通过分析模型中M、P和R三个因子对文件可用率的影响,设计了具体存储方案。为了保障数据的安全,结合文件分片存储的特点,对数据进行了分片加密,设计了密钥安全生成方法。通过实验对模型性能进行测试与分析。     

Ceph分布式存储系统性能优化技术研究综述

Ceph是一个统一的分布式存储系统,可同时提供块、文件和对象3种接口的存储服务。与传统的分布式存储系统不同,它采用了无中心节点的元数据管理方式,因此具有良好的扩展性和线性增长的性能。经过十余年的发展,Ceph已被广泛地应用于云计算和大数据存储系统。作为云计算的底层平台,Ceph除了提供虚拟机的存储服务外,还可以直接提供对象存储服务和NAS文件服务。Ceph支撑着云计算系统中多种操作系统和应用的存储需求,它的性能对其上的虚拟机和应用有较大的影响,因此Ceph存储系统的性能优化一直是学术界和工业界的研究热点。文中首先介绍了Ceph的架构和特性;然后针对现有的性能优化技术,从对内部机制进行改进、面向新型硬件和基于应用的优化这3个方面进行了归纳和总结,综述了近年来Ceph存储和优化的相关研究;最后对该领域未来的工作进行了展望,以期为分布式存储系统性能优化的研究者提供有价值的参考。     

对象存储下的溯源收集与存储研究

溯源是描述一个数据对象的历史操作的元数据。溯源提高了数据本身所描述的价值,给出了"对象是如何创建的?它依赖了哪些其他对象?这两个对象的历史操作有何不同?"等问题的答案。分析了对象存储系统存储管理溯源信息的优势,研究并实现了如何利用对象存储系统架构来收集和存储溯源。通过在对象存储客户端利用系统状态文件获取系统内核信息,调用JHOVE应用程序来分析和封装文件格式,使用Linux系统的审计功能对普通应用程序进行监听,并将收集到的溯源信息封装成对象,存储到对象存储设备端Berkeley DB数据库或日志文件中。测试结果表明,基于对象的溯源存储系统在不同溯源信息的收集、存储和查询方面都具有较好的性能。     

基于分数阶Fourier变换的云存储系统重复数据删除算法

云存储系统的重复数据作为大量冗余数据的一种,对其有效及时地删除能保证云存储系统的稳定与运行。由于云存储系统中的干扰数据较多,信噪比较低,传统的重删算法会在分数阶Fourier域出现伪峰峰值,不能有效地对重复数据进行检测滤波和删除处理,因此提出一种改进的基于分数阶Fourier变换累积量检测的云存储系统重复数据删除算法。首先分析云存储系统重复数据删除机制体系架构,定义数据存储点的适应度函数,得到云存储节点的系统子集随机概率分布;采用经验约束函数对存储节点中的校验数据块分存,通过分数阶Fourier变换对云存储系统中的幅度调制分量进行残差信号滤波预处理。采用4阶累积量切片后置算子,把每个文件分为若干个块,针对每个文件块进行重删,进行重复数据检测后置滤波处理,实现存储资源上的重复数据检测及其删除。仿真实验表明,该算法能提高集群云存储系统计算资源的利用率,重复数据准确删除率较高,有效避免了数据信息流的干扰特征造成的误删和漏删,性能优越。     

云际存储系统性能优化研究现状与展望

云际存储系统提供了一个云存储资源管理平台,该平台被广泛地部署到了不同的在线应用场景中。通过将用户数据加密分发到多个云,云际存储系统可以保证存储数据的安全性和可靠性。为了高效地管理云际存储系统的各种资源,云际存储系统设计了不同数据分发方案来满足应用需求。从存储性能优化的角度出发,综述了当前云际存储的主要应用场景、系统功能及对应的实现方案。首先,介绍了云际存储系统的背景及当前主要的数据分发方案。其次,比较了当前主流云际存储系统网络传输及资源管理方案。其中,包括分析云际存储系统数据读写和修复操作中主要网络传输方案及当前云际存储系统对于用户端设备及云端资源策略。最后,总结了当前云际存储的主要应用场景和相应系统实现方案。在此基础上,分析了当前云际存储系统中亟待解决的问题及其带来的挑战,并给出了可能的系统解决方案。     

基于驱动层的数据安全存储系统设计

就目前数据集中存储带来的风险进行分析,并提出基于驱动的数据安全存储系统设计。数据安全存储系统能够在不改变终端用户操作习惯的情况下实现文件的安全存储,该系统工作在操作系统文件驱动层和设备驱动层之间,采用透明加密的方式,在文件物理写入磁盘的过程中,嵌入一系列安全操作,保证实际存储的数据全部经过保护。     

支持分布式存储删冗的相似文件元数据集合索引

分布式存储技术因其良好的可扩展性、高性价比在当前云存储系统和企业存储中心得到广泛应用.在分布式存储系统中进行内嵌删冗可以有效降低系统存储开销,提高数据存取效率,实现内嵌删冗的关键在于高性能和可扩展的元数据索引方法.该方法应确保删冗操作不影响存储性能.通过分析影响索引性能的关键因素,提出一种分布式相似文件元数据集合索引的构建方法.该方法使用位置敏感Hash函数,将具有相同数据片的相似文件元数据组成集合并建立索引,使一个文件所有数据片元数据检索只需要访问一次外存,有效提高元数据检索效率.并且所生成的索引具有良好可扩展性和很小的内存开销,适合在采用分布式存储结构的云存储系统或者企业存储系统中进行应用.     

新加密文件系统的研究与实现

为了解决Windows系统中文件加密存储的难题,分析了Windows EFS系统的不足,深入研究了过滤驱动开发过程中对IRP的处理、文件状态跟踪、避免重入等关键技术,使用文件过滤驱动技术,设计并实现了一个新的加密文件系统.该系统对用户完全透明,可以根据用户的策略对指定文件、文件夹或者某一类型文件进行加密存储,支持NTFS、FAT等多种文件系统,加密算法可以更改.实验结果表明,该系统性能良好且在功能和应用上都扩充了Windows EFS.     

Zero knowledge based client side deduplication for encrypted files of secure cloud storage in smart cities

As typical applications in the field of the cloud computing, cloud storage services are popular in the development of smart cities for their low costs and huge storage capacity. Proofs-of-ownership (PoW) is an important cryptographic primitive in cloud storage to ensure that a client holds the whole file rather than part of it in secure client side data deduplication. The previous PoW schemes worked well when the file is in plaintext. However, the privacy of the clients’ data may be vulnerable to honest-but-curious attacks. To deal with this issue, the clients tend to encrypt files before outsourcing them to the cloud, which makes the existing PoW schemes inapplicable any more. In this paper, we first propose a secure zero-knowledge based client side deduplication scheme over encrypted files. We prove that the proposed scheme is sound, complete and zero-knowledge. The scheme can achieve a high detection probability of the clients’ misbehavior. Then we introduced a proxy re-encryption based key distribution scheme. This scheme ensures that the server knows nothing about the encryption key even though it acts as a proxy to help distributing the file encryption key. It also enables the clients who have gained the ownership of a file to share the file with the encryption key generated without establishing secure channels among them. It is proved that the clients’ private key cannot be recovered by the server or clients collusion attacks during the key distribution phase. Our performance evaluation shows that the proposed scheme is much more efficient than the existing client side deduplication schemes.     

基于多授权中心属性基加密的多域云访问控制方案

针对多授权属性基加密方案的合谋攻击和多域共享数据问题,提出了一种基于多授权中心属性基加密的多域云访问控制方案。中央认证机构不参与用户私钥的生成过程,有效避免了用户与授权机构之间的联合攻击;通过线性秘密共享方案和代理重加密技术,云服务器对上传的数据文件进行重加密,实现了单域和多域用户数据的共享。分析结果表明,新方案在用户私钥生成和文件加/解密上具有较高的性能,并在q parallel BDHE假设下是自适应性安全的。     

基于Paillier加密的数据多副本持有性验证方案

云存储服务中,用户将数据存储在不可信的云储存服务器上,为检查云存储中服务提供商(CSP)是否按协议完整地存储了用户的所有数据副本,提出一种 支持对数据副本进行动态操作 的基于Paillier加密的数据多副本持有性验证方案, 即DMR-PDP方案。该方案为实现多副本检查,将文件块以文件副本形式存储在云服务器上,将各副本编号与文件连接后利用Paillier密码系统生成副本文件以防止CSP各服务器的合谋攻击。利用BLS签名实现对所有副本的批量验证。将文件标志和块位置信息添加到数据块标签中,以保证本方案的安全性,支持对文件的动态更新操作。安全性分析和仿真实验结果表明,该方案在安全性、通信和计算开销方面的性能优于其他文献提出的方案,极大地提高了文件存储和验证的效率,减少了计算开销。     

基于文件系统过滤驱动的加密系统设计与实现

针对传统应用层加密系统每次使用都需要输入口令,使用复杂且安全性不高,而设备驱动层加密系统紧耦合于操作系统及其组件,实现繁杂等问题,在Windows NT内核框架下利用文件系统过滤驱动实现数据加解密的安全保护系统。结果证明可以对存取中的数据进行动态透明的加解密,使用方便安全,支持多种文件系统。从安全性和性能上对比了该加密系统与Windows EFS加密文件系统。     

基于Windows 2000的存储加密系统设计与实现

文章分析了Windows2000系统的文件系统结构,提出了一种基于Windows2000的虚拟磁盘存储加密系统的设计方案,讨论了存储加密系统在Windows2000文件系统基础上的设计及实现原理并给出了加密存储系统在驱动程序中的实现方法,并对加密模块的密钥使用方式进行了分析和设计。该存储加密系统实现了透明加、解密,操作简便,安全性高。     

应用于数据库安全保护的加解密引擎系统

针对系统业务数据安全存储问题,采用加解密引擎服务对应用端发送数据进行加密,根据用户ID来识别不同用户的传输命令,利用用户私有的KEY进行加密存储。该方案在云计算平台下具有保护用户数据存储安全、隔离数据的功能。当应用端用户查询已加密数据时,加解密引擎服务端根据用户ID读取缓存区用户密钥,解密数据返回给应用端明文数据。当加解密系统和第三方应用进行集成时,加解密引擎将载人用户定义的加密算法、加密矢量等信息,按照用户自身的密钥加密敏感数据,可保证用户敏感数据存储安全并隔离不同用户的业务数据。以某市人口库系统集成为例,验证了方案的可行性。     

加密电子病历数据共享方案

为了实现电子病历数据的细粒度访问控制以及安全存储与共享,提出了一种基于属性的云链协同存储的电子病历共享方案。该方案用对称加密算法加密电子病历,用基于密文策略的属性基加密算法加密对称密钥,用可搜索加密算法加密关键字。电子病历密文存储在医疗云上,安全索引存储在联盟链上。该方案使用可搜索加密技术实现关键字的安全搜索,使用代理重加密技术实现用户属性的撤销。经安全性证明,该方案能够实现密文的安全性和关键字的安全性。数值模拟实验结果表明,该方案是有效的。     

面向多关键字的模糊密文搜索方法

围绕多关键字的模糊匹配和数据安全性保障问题,展开对多关键字模糊搜索方法的研究,提出一种面向多关键字的模糊密文搜索方案.该方案以布隆过滤器(Bloom filter)为基础,使用对偶编码函数和位置敏感Hash函数来对文件索引进行构建,并使用距离可恢复加密算法对该索引进行加密,实现了对多关键字的密文模糊搜索.同时方案不需要提前设置索引存储空间,从而大大降低了搜索的复杂度.除此之外,该方案与已有方案相比不需要预定义字典库,降低了存储开销.实验分析和安全分析表明,该方案不仅能够实现面向多关键字的密文模糊搜索,而且保证了方案的机密性和隐私性.