面向云存储的非结构化数据存储研究

作为一种先进计算方式的云计算,不断在信息服务与科研领域升温,并且影响了存储和运算大规模数据。本文主要分析了云存储技术,非结构化数据存储方式,面向云存储的非结构化数据存储系统架构,面向云存储的非结构化数据存储结构设计和实现。     

面向云存储的非结构化数据存储研究

云存储是网格、并行和分布式计算等众多技术发展和延伸,云存储实现了存储的完全虚拟化,提供更强大的存储及共享功能[1].非机构化数据包括文本、图像、音频、视频、PDF、电子表格等.非结构化数据的存储通常有两种方式,一种是使用文件系统以文件的方式存储,将文件的路径或者链接存储在关系型数据库表中;另一种是将这些数据存储在传统的数据库表的大对象字段中.文章主要研究非结构化数据的存储方式,结合非结构化数据的特点,云存储的优势以及MongoDB的数据存储特性,提出非结构化数据云存储的必要性.     

基于密钥矩阵序列的视频乱序加密方法

提出RMSP(Random Matrix Sequence Permutation)方法,同时完成帧内宏块(MacroBlock,MB )之间、块内VLC(Variable Length Coding)码字之间双重互补的乱序加密,并利用随机序列生成随机乱序密钥矩阵序列,供每帧和每块依次用不重复的密钥矩阵对MB和VLC码字乱序.RMSP方法完全保持编码格式和压缩率,具有对应序列密码的抗攻击能力且明文信息完全隐藏的特点,速度快约四倍,适用于MPEG、H.26x及JPEG等主流编码信号加密,可制作单独模块.     

非结构化数据的存储问题

如何存储应用系统中需要处理的非结构化数据,包括文本、图像、音频、视频、PDF、电子表格等,是常常困扰系统设计人员的一个问题。非结构化数据的存储通常有两种方式,一种方式是将这些数据以文件的方式存储在文件系统中,同时将指向文件的链接或路径存储在数据     

面向云存储的非结构化数据存取

非结构化数据呈爆炸态势增长,现有存储技术在I/O吞吐能力、可扩展性及易管理性等方面亟待改进。存储系统以云存储和可靠性理论为基础,建立了非结构化数据的分布式存储模型,并设计了可靠度函数。采用分布式关系数据库管理系统(RDBMS)作为存储底层,将非结构化数据直接存储于数据表中,实现了非结构化数据和元数据的分离式存储和统一管理,进而提升了存储系统性能。相对于集中式存储,新系统具有较高的可用性。仿真结果显示,存储系统可靠度高且易于扩展。该分布式存储系统可应用于动态开放计算环境,提供效能较高的云存储服务。     

基于密钥矩阵序列的视频乱序加密方法*

提出RMSP(Random Matrix Sequence Permutation)方法,同时完成帧内宏块(MacroBlock,MB )之间、块内VLC(Variable Length Coding)码字之间双重互补的乱序加密,并利用随机序列生成随机乱序密钥矩阵序列,供每帧和每块依次用不重复的密钥矩阵对MB和VLC码字乱序。RMSP方法完全保持编码格式和压缩率,具有对应序列密码的抗攻击能力且明文信息完全隐藏的特点,速度快约四倍,适用于MPEG、H.26x及JPEG等主流编码信号加密,可制作单独模块。     

大规模非结构化数据资源快速存储方法研究

非结构化数据资源具有较高的研究价值,伴随着信息化技术、互联网技术应用范围的扩大,非结构化数据资源规模随之增大,对其存储技术提出了较大的挑战,因此提出了大规模非结构化数据资源快速存储方法,采用层次聚类算法分组处理非结构化数据资源。以某一组非结构化数据资源为对象,结合数据资源传输距离、节点能量、传输方向等因素,确定非结构化数据资源转发路径,描述非结构化数据资源存储过程,制定分层扩展存储机制,从而实现大规模非结构化数据资源的快速存储。实验数据表明,在不同实验工况背景下,应用本文方法后获得的非结构化数据资源存储速率最大值为1 920 MB/s,非结构化数据资源存储位置准确性最大值为98%。     

一种用于交织多址系统中的低复杂度的交织方法

针对传统交织多址（IDMA）系统中的交织器问题,提出了一种低复杂度的二维交织方法。该方法基于二维扩频的思想,分别在时域和频域对数据进行交织处理。同时,该方法对所有用户按照时域扩频码进行分组,用户组间采用不同的时域交织器,用户组内采用不同的频域交织器。仿真结果表明,该方法不但可以降低交织器的数量和长度,还可以降低IFFT／FFT操作和频域检测的复杂度。     

一种基于XML和Base64编码的数据资源统一存储方法①

随着信息技术的广泛应用,组织内积累的各种信息资源也日益增加,如何对这些不同格式的数据资源进行统一管理和有效利用就是我们需要面对的问题．提出一种基于XML、数据库和BASE64编码技术的各种数据资源统一存储的方案,实现组织内各种数据资源的统一管理、查询和共享。     

基于MapReduce模型的非结构化数据分布式存储方法

为了解决传统数据存储方法存在的内存消耗过大、读取效率低等多种问题,提出了基于MapReduce模型的非结构化数据分布式存储方法。设计了非结构化数据垂直分片与水平分片方案,并采用聚类算法对分片处理后的非结构化数据进行聚簇处理,在此基础上构建用于数据分布式存储的MapReduce模型,得到非结构化数据分布式存储结果。实验测试结果表明,与传统非结构化数据存储方法相比,研究方法的内存消耗更小、写入量更大、读取效率更高、访问频率动态调节性能好,由此证明该方法的存储性能更优越,实际应用效果更好。     

A reinforcement learning approach for transaction scheduling in a shuttle-based storage and retrieval system

With recent Industry 4.0 developments, companies tend to automate their industries. Warehousing companies also take part in this trend. A shuttle-based storage and retrieval system (SBS/RS) is an automated storage and retrieval system technology experiencing recent drastic market growth. This technology is mostly utilized in large distribution centers processing mini-loads. With the recent increase in e-commerce practices, fast delivery requirements with low volume orders have increased. SBS/RS provides ultrahigh-speed load handling due to having an excess amount of shuttles in the system. However, not only the physical design of an automated warehousing technology but also the design of operational system policies would help with fast handling targets. In this work, in an effort to increase the performance of an SBS/RS, we apply a machine learning (ML) (i.e., Q-learning) approach on a newly proposed tier-to-tier SBS/RS design, redesigned from a traditional tier-captive SBS/RS. The novelty of this paper is twofold: First, we propose a novel SBS/RS design where shuttles can travel between tiers in the system; second, due to the complexity of operation of shuttles in that newly proposed design, we implement an ML-based algorithm for transaction selection in that system. The ML-based solution is compared with traditional scheduling approaches: first-in-first-out and shortest process time (i.e., travel) scheduling rules. The results indicate that in most cases, the Q-learning approach performs better than the two static scheduling approaches.     

A reinforcement learning framework for online data migration in hierarchical storage systems

Multi-tier storage systems are becoming more and more widespread in the industry. They have more tunable parameters and built-in policies than traditional storage systems, and an adequate configuration of these parameters and policies is crucial for achieving high performance. A very important performance indicator for such systems is the response time of the file I/O requests. The response time can be minimized if the most frequently accessed (“hot”) files are located in the fastest storage tiers. Unfortunately, it is impossible to know a priori which files are going to be hot, especially because the file access patterns change over time. This paper presents a policy-based framework for dynamically deciding which files need to be upgraded and which files need to be downgraded based on their recent access pattern and on the system’s current state. The paper also presents a reinforcement learning (RL) algorithm for automatically tuning the file migration policies in order to minimize the average request response time. A multi-tier storage system simulator was used to evaluate the migration policies tuned by RL, and such policies were shown to achieve a significant performance improvement over the best hand-crafted policies found for this domain.

XML关键字检索中Dewey码存储方式的研究

Dewey码是XML关键字检索中采用的重要编码方式。在目前的研究当中,Dewey码通常以字符形式进行存储,这种方式造成Dewey码存储代价过大,并且在LCA求解过程中也必须通过字符比较才能获得Dewey码各层的数值,影响LCA求解效率。提出采用前缀共享和变长整形编码思路的PSVL存储方式,在消除字符比较操作的同时减少了Dewey码集合的存储代价。实验证明利用该存储方式对Dewey码集合进行存储,可以有效地降低其存储代价,并且减少获取Dewey码各层数值这一步骤花费的时间,间接提高了LCA的求解效率。     

基于粘贴DNA计算模型的数据存储技术

提出了一种新的基于粘贴DNA计算模型的数据存储技术的实现方法。该方法以重组DNA技术作为实现DNA数据存储的技术基础,以DNA计算理论研究中的粘贴模型作为信息编码工具。具体实现过程包括选择DNA载体,选择受体细胞,通过创建粘贴DNA计算模型的ASCⅡ字符编码进行信息编码,创建数据索引,最后实现数据的存储与检索。     

内网数据存储安全关键技术分析

内网数据存储的安全一直是各大企业所进行防护的重点,也是一项关键网络技术的探讨。论文简单分析了内网安全的定义及其设计的原则,结合网络技术的进步发展,提出了从文件分布式存储、文件透明解密过滤器以及多协议并行安全系统上进行内网数据存储安全的防护,力求进一步提高内网数据存储的安全性。     

任务网数据存储安全关键技术分析

航天发射任务内网数据包含五大系统信息和各类指挥信息、处理信息,时效性、安全性要求高,需要提供有效防护.论文简单分析了内网安全的定义及其设计原则,结合网络技术的进步发展,提出了从文件分布式存储、文件透明解密过滤器以及多协议并行安全系统上进行内网数据存储安全的防护,力求进一步提高试验任务内网数据存储的安全性.     

基于FPGA的测量数据存储交换技术

以AT45DB041B为例,将FPGA和大容量串行flash存储芯片的优点有效地结合起来,实现了FPGA对串行存储芯片的高效读写操作,完成了对大量测量数据的存储处理和与上位机的交换,并在某电力局项目工频场强环境监测仪中成功应用。     

网络存储综合测评技术研究

目前网络存储测评技术侧重于性能测评,没有一种测试工具能够全面反映存储系统的综合性能。采用分层结构模型建立全面的评测指标体系,设计和实现了网络存储综合测评系统,重点介绍了分布式文件系统的性能测试体系,对其聚合带宽做了测试实验。关于存储综合测评技术的研究成果可为网络存储研究和应用提供帮助。     

基于PCI和LVDS的高速数据存储系统的设计

针对某系统图像数据量大、传输速率快的特点,提出了采用PCI总线协议完成PC与高速数据存储系统之间的通信,利用LVDS总线协议传输数据并进行混合编帧的解决方案。为提高数据存储速率,使用Flash交叉双平面页编程技术,将写入速度提高到30 MB/s,有效地满足了图像高速存储的要求。针对数据的码率匹配,通过构建片内FIFO缓存来实现。测试结果表明,所设计的数据存储系统能够稳定地接收并存储图像数据,而且具有很高的可靠性。