一种批处理块级数据去重方法

数据去重能消除备份中的冗余数据,节省存储资源和网络带宽,因而成为当前数据存储领域的研究热点。针对常用的块级数据去重技术指纹查询开销高、系统吞吐率低等问题,提出一种批处理块级数据去重方法,通过内存缓冲区对指纹进行排序,实现磁盘索引的顺序查询。同时文件以一种双指针有向无环图的结构存储在系统中,以消除文件读时引起的随机磁盘I/O开销。实验结果表明,该方法有效克服了指纹查询的磁盘I/O瓶颈,提高了数据去重时的系统读写性能。     

一种磁盘历史数据库模型研究

为解决流程工业中过程历史数据的存储以及大量数据的快速查询问题,提出一种基于关系数据库的磁盘历史数据库模型。在数据存储方案设计中,将关于位号和数据采集接口的静态信息存储在关系数据库中,历史数据以文件形式存放,采用三重二级缓存机制避免频繁访问磁盘,并使用经典的SDT算法对实时数据进行压缩存储,降低存储成本。数据查询方案采用三级索引文件结构,即总索引文件、二级索引文件和位号索引文件,提高查询效率。该磁盘历史数据库的第一版已经成功实现,应用结果表明,数据存储方案和查询方案的设计是合理的,100个位号的查询时间约为500 ms。     

基于内存映射文件的进化算法数据存储引擎

为了观察和分析进化算法的执行情况,往往需要将算法执行过程中产生的大量数据存储在磁盘文件中。用于进化算法的嵌入式数据存储引擎EADB（Evolutionary Algorithm Database）提供了简便灵活的数据存储接口,通过使用内存映射文件技术来实现数据的快速和大量存储。相较于传统文件I/O存储方式和一般的通用数据存储引擎,EADB大大加快了存储速度。     

粗关系数据库中的数据更新

根据粗关系数据库中数据的特性,借助邻接表、十字链表存储不确定性数据,其中邻接表用于等价类的存储,十字链表用于数据库中基本表的存储。与传统的关系数据库更新不同,在粗关系数据库中更新基本表时,相应地等价类也要随之更新,该存储结构加快了对数据库中的数据更新速度。将算法与实例相结合,根据用户条件详细地讨论对等价类和RRDB中基本表的数据更新。     

基于区块链的可信日志存储与验证系统

为满足计算机操作系统中日志数据的完整性保护需求,基于区块链技术,设计并实现可信日志存储与验证系统。存储阶段将本地日志的数据指纹上传至区块链,并保存区块链返回的存储凭证。验证阶段将本地日志的数据指纹与从区块链中获取的数据指纹进行比对,实现日志的完整性验证。分析结果表明,该系统具有去中心化、不可篡改、公开透明等特点,可有效检测日志数据的篡改行为。     

面向真实云存储环境的数据持有性证明系统

对数据动态更新和第三方审计的支持的实现方式是影响现有数据持有性证明（provable data possession,简称PDP）方案实用性的重要因素.提出面向真实云存储环境的安全、高效的PDP系统IDPA-MF-PDP.通过基于云存储数据更新模式的多文件持有性证明算法MF-PDP,显著减少审计多个文件的开销.通过隐式第三方审计架构和显篡改审计日志,最大限度地减少了对用户在线的需求.用户、云服务器和隐式审计者的三方交互协议,将MF-PDP和隐式第三方审计架构结合.理论分析和实验结果表明：IDPA-MF-PDP具有与单文件PDP方案等同的安全性,且审计日志提供了可信的审计结果历史记录;IDPA-MF-PDP将持有性审计的计算和通信开销由与文件数线性相关减少到接近常数.     

一种结构化数据缓存方法

针对现有报表缓存方法在内存消耗和访问速度上相冲突的问题,提出一种结构化数据缓存方法,把具有行列结构的报表数据分块存储到文件中。以文件形式存储的数据被划分为索引区和数据区,通过数据分块算法和写操作将报表数据缓存入文件。在读取报表数据时根据索引区可以直接定位到所在的块,在块中快速查找所需要的数据,从而在内存消耗和访问速度上达到优化。     

基于有限域代数签名分治表的大数据云存储远程审计

为提高大数据存储过程的审计效率,提出基于有限域代数签名分治表远程数据检查RDC的云计算大数据存储审计方法。首先,通过使用外包文件的代数签名,利用底层字段算术运算完成云存储中数据完整性的远程检测,所提数据审计方法对客户端和云服务端具有相对较低的计算和通信成本。其次,设计了分治表D&CT作为一种新的数据结构,以有效地支持动态数据操作,如插入、追加、删除和修改操作。采用D&CT方法可令所提RDC方案适用于各种大小的文件云存储过程分析。最后,通过仿真实验,验证了所提方法在大数据云存储过程中的有效性。     

基于大数据的网络日志分析技术

传统的日志分析技术在处理海量数据时存在计算瓶颈。针对该问题,研究了基于大数据技术的日志分析方案:由多台计算机完成日志文件的存储、分析、挖掘工作,建立了一个基于Hadoop开源框架的并行网络日志分析引擎,在MapReduce模型下重新实现了IP统计算法和异常检测算法。实验证明,在数据密集型计算中使用大数据技术可以明显提高算法的执行效率和增加系统的可扩展性。     

基于非关系型数据库的水文大数据存储方法研究

针对现有的技术架构和主流软件工具存储水文大数据存在的问题,分析非关系型数据库存储水文大数据的优势和技术特点,提出非关系型数据库TRIP存储水文大数据的方法。TRIP数据库管理系统部署在PC机上,水文结构化和非结构化数据存储在与PC机数据连接的磁盘存储装置的数据库文件中,根据水文数据的规模,增加磁盘存储装置的数量和容量。研究结果证明,TRIP数据库能够存储多种类型、格式的水文结构化和非结构化数据,可为水文行业存储水文大数据提供新的技术途径。     

The log-structured merge-tree (LSM-tree)

 High-performance transaction system applications typically insert rows in a History table to provide an activity trace; at the same time the transaction system generates log records for purposes of system recovery. Both types of generated information can benefit from efficient indexing. An example in a well-known setting is the TPC-A benchmark application, modified to support efficient queries on the history for account activity for specific accounts. This requires an index by account-id on the fast-growing History table. Unfortunately, standard disk-based index structures such as the B-tree will effectively double the I/O cost of the transaction to maintain an index such as this in real time, increasing the total system cost up to fifty percent. Clearly a method for maintaining a real-time index at low cost is desirable. The log-structured merge-tree (LSM-tree) is a disk-based data structure designed to provide low-cost indexing for a file experiencing a high rate of record inserts (and deletes) over an extended period. The LSM-tree uses an algorithm that defers and batches index changes, cascading the changes from a memory-based component through one or more disk components in an efficient manner reminiscent of merge sort. During this process all index values are continuously accessible to retrievals (aside from very short locking periods), either through the memory component or one of the disk components. The algorithm has greatly reduced disk arm movements compared to a traditional access methods such as B-trees, and will improve cost-performance in domains where disk arm costs for inserts with traditional access methods overwhelm storage media costs. The LSM-tree approach also generalizes to operations other than insert and delete. However, indexed finds requiring immediate response will lose I/O efficiency in some cases, so the LSM-tree is most useful in applications where index inserts are more common than finds that retrieve the entries. This seems to be a common property for history tables and log files, for example. The conclusions of Sect. 6 compare the hybrid use of memory and disk components in the LSM-tree access method with the commonly understood advantage of the hybrid method to buffer disk pages in memory. Received July 6, 1992/April 11, 1995     

HDCache: A Distributed Cache System for Real-Time Cloud Services

Providing a real-time cloud service requires simultaneously retrieving a large amount of data. How to improve the performance of file access becomes a great challenge. This paper first addresses the preconditions of dealing with this problem considering the requirements of applications, hardware, software, and network environments in the cloud. Then, a novel distributed layered cache system named HDCache is proposed. HDCahe is built on the top of Hadoop Distributed File System (HDFS). Applications can integrate the client library of HDCache to access the multiple cache services. The cache services are built up with three access layers an in-memory cache, a snapshot of the local disk, and a network disk provided by HDFS. The files loaded from HDFS are cached in a shared memory which can be directly accessed by the client library. In order to improve robustness and alleviate workload, the cache services are organized in a peer-to-peer style using a distributed hash table and every cached file has three replicas scattered in different cache service nodes. Experimental results show that HDCache can store files with a wide range in their sizes and has the access performance in a millisecond level under highly concurrent environments. The tested hit ratio obtained from a real-world cloud serviced is higher than 95 %.     

基于混合云架构的深度语义密文检索

针对传统的云环境下密文检索方案基于统计学模型来生成文件向量和检索向量,并没有考虑文件和请求的深层次语义信息,提出一种基于混合云架构的深层次语义密文检索模型。通过私有云联邦学习神经网络模型构建向量生成模型,通过公有云存储密文数据。另外,提出密倒排索引表来存放文件向量,在公有云的检索过程中,保证检索信息不被泄露的情况下提高检索的效率。对真实数据集的分析和实验表明,提出的方案在安全性和搜索效率方面都优于目前同类型的密文检索方案。     

Incremental proxy re-encryption scheme for mobile cloud computing environment

Due to the limited computational capability of mobile devices, the research organization and academia are working on computationally secure schemes that have capability for offloading the computational intensive data access operations on the cloud/trusted entity for execution. Most of the existing security schemes, such as proxy re-encryption, manager-based re-encryption, and cloud-based re-encryption, are based on El-Gamal cryptosystem for offloading the computational intensive data access operation on the cloud/trusted entity. However, the resource hungry pairing-based cryptographic operations, such as encryption and decryption, are executed using the limited computational power of mobile device. Similarly, if the data owner wants to modify the encrypted file uploaded on the cloud storage, after modification the data owner must encrypt and upload the entire file on the cloud storage without considering the altered portion(s) of the file. In this paper, we have proposed an incremental version of proxy re-encryption scheme for improving the file modification operation and compared with the original version of the proxy re-encryption scheme on the basis of turnaround time, energy consumption, CPU utilization, and memory consumption while executing the security operations on mobile device. The incremental version of proxy re-encryption scheme shows significant improvement in results while performing file modification operations using limited processing capability of mobile devices.     

基于磁盘表存储FP-TREE的关联规则挖掘算法

随着现实待挖掘数据库规模不断增长,系统可使用的内存成为用FP-GROWTH算法进行关联规则挖掘的瓶颈.为了摆脱内存的束缚,对大规模数据库中的数据进行关联规则挖掘,基于磁盘的关联规则挖掘成为重要的研究方向.对此,改进原始的FP-TREE数据结构,提出了一种新颖的基于磁盘表的DTRFP-GROWTH(disk table resident FP-TREE growth)算法.该算法利用磁盘表存储FP-TREE,降低内存使用,在传统FP-GROWTH算法占用过多内存、挖掘工作无法进行时,以独特的磁盘表存储FP-TREE技术,减少内存使用,能够继续完成挖掘工作,适合空间性能优先的场合.不仅如此,该算法还将关联规则挖掘和关系型数据库整合,克服了基于文件系统相关算法效率较低、开发难度较大等问题.在真实数据集上进行了验证实验以及性能分析.实验结果表明,在内存空间有限的情况下,DTRFP-GROWTH算法是一种有效的基于磁盘的关联规则挖掘算法.     

一种从逻辑死锁的硬盘上恢复数据的有效方法

硬盘在受到某些病毒或恶意代码的攻击后，可能会出现逻辑死锁现象。本文分析了硬盘逻辑死锁的原理，提出了简单而又行之有效的解除死锁方法，详细介绍了重建正确的分区表的方法，它能有效恢复故障硬盘上的数据。     

基于JNI机制与云平台的细粒度Android应用加固方法

Android应用加固是信息安全领域研究的热点之一.针对现有加壳技术以及so文件整体加固方案的不足,融合JNI机制、动态加载技术及云平台理念,提出一种面向Android应用的加固模型,给出了基于JNI机制的函数代码加固方案和基于云平台的加壳解壳方案,形成了一种基于JNI机制与云平台的细粒度Android应用加固方法,从而实现了so文件的细粒度加固,解决了源apk文件易被获取以及解壳程序易被篡改的问题.开发了加固系统原型,验证了基于JNI机制与云平台的细粒度Android应用加固方法的有效性,且加固应用的Dalvik虚拟机工作负担、内存占用量及启动时间并未显著增加.     

通过非易失存储和检查点优化缓解日志开销

在文件系统进行用户数据和元数据的持久化过程中,如果出现异常掉电或系统崩溃,可能导致文件系统出现数据的不一致性问题.现有的Ext4文件系统通过写前日志(write-ahead logging, WAL)技术结合事务机制来保证持久化操作的一致性.写前日志技术将文件系统元数据写入磁盘2次,元数据的粒度小、数量大、重复度高,影响了程序的性能,也缩短了Flash存储介质的使用寿命.针对这一问题,提出了使用新型非易失存储(non-volatile memory, NVM)作为存放日志的独立外部设备,并通过存取指令(load/store)接口直接访问;同时使用倒序扫描(reverse scan)技术对检查点(checkpoint)流程进行优化,减少同一数据块的重复写操作.实验结果表明,使用NVM作为外部日志分区,对于写操作比重较大的程序,在HDD上带宽提升接近50%;在SSD上带宽提升达到23%;在checkpoint时使用倒序扫描之后,写入次数降低明显,带宽提升接近20%.     

一种面向隐私保护的密文检索算法

针对移动云计算环境下数据外包所带来的安全问题,为了保证数据的安全性和密文检索的效率,通过改进传统的密文检索结构,增加私有云索引服务器以实现索引文件与密文文件的存储分离,并在此基础上提出了一种面向隐私保护的密文检索算法。考虑到移动设备的弱计算能力,算法采用对称可搜索加密的方式以减少计算开销,并以Trie树作为索引结构以提高检索效率,同时支持对检索结果排序。理论分析与实验结果表明,该算法能够实现对用户的隐私保护,并具有较好的存储空间和检索时间的性能。     

工业互联网端边云协同数据同步方案设计与实现

传统的数据更新同步往往每次直接更新整个文件或不加选择地更新局部改动部分。后者虽然节约了一部分通信带宽,但是每次文件变化,不管变化多少都立即更新,增加了通信负荷,这两种方法均不能很好地满足工业互联网实时性要求。针对此问题,提出了一种工业互联网端边云协同数据同步方案。该方案通过计算差分文件进行阈值判断。若在阈值范围内,则将变化的数据块进行编码、压缩上传到对应的云存储节点中解压存储;否则将相关信息暂存在边缘层。通过和RS编码、Rsync差分算法的对比实验可知,该方案提高了更新数据传输效率,且通过编码压缩提高了安全性,性能整体优于其他方法。