一种基于重复数据删除的镜像文件存储方法研究

在云计算环境中,基础设施即服务的日益发展导致虚拟机和虚拟机镜像的急剧增加,例如,Amazon Elastic Compute Cloud(EC2)有6521个公共虚拟机镜像文件,这给云环境的管理带来了极大的挑战,特别是大量镜像文件带来的重复数据的空间存储问题。为解决这一问题,提出一种基于固定分块的镜像文件重复数据删除的存储方案。当存储一个镜像文件时,先计算该镜像文件的指纹,并与指纹库的指纹比较,若存在则用指针替代,否则采用固定分块对镜像文件分割存储。为此,可以设计镜像文件元数据格式和镜像文件MD5索引表来解决上述问题。实验结果表明,内容相同的镜像文件只是元数据的开销并实现秒传,而相同版本、相同系统、不同软件的镜像组的重删率约达到58%。因此,本方案是非常有效的。     

重复数据删除算法在VTL系统中的应用研究

为了使VTL(虚拟磁带库)系统能更有效地利用磁盘空间,存储更多的数据信息,介绍了一种带有重复数据删除算法的虚拟磁带库应用方法.该方法从性能和效率等多方面考虑,首先把磁带按文件级去重,再将文件切分成块,通过Bloom Filter和MD5算法双重计算,经查找和存储实现数据块级的重复删除.实验测试证明,该方案稳定地实现了数据的去重及加密功能,能有效节省虚拟磁带库的存储空间.     

支持软件按需流式加载的预取机制

近年来,随着SaaS技术的发展,软件的网络化、服务化访问成为一种新的使用模式.软件的按需动态部署是实现上述模式的重要基础.为了支持软件的按需动态部署,需要能够在执行环境支持软件的流式加载运行.而在软件按需流式加载的执行过程中,程序会因为请求缺失的数据块被阻塞直至数据块被下载过来,从而极大地影响执行性能与用户体验.针对流式加载中的性能问题,提出一种基于N-Gram预测模型和增量数据挖掘技术的预取机制,该预取机制可用于支持软件流式加载执行.预取机制通过收集用户使用软件所产生的历史访问日志,进行数据挖掘分析,来动态更新、完善预取规则,然后根据最合理的预取规则进行软件预取.该预取机制可同时支持基于文件级别和软件块级别的预取.实验结果表明,对于各类软件,该可预取的文件系统能够将软件启动加载时间减少10%～50%,而预取命中卒达到了81%～97%.     

基于重复数据消除的差异备份方法

为消除重复数据对数据传输和存储产生的影响,提出一种基于重复数据消除的差异备份方法。通过将文件的块按照一定区间划分固定大小并采用Hash表对文件块进行唯一性标识,使Rsync算法能检测不同文件之间的重复数据,通过分割Hash表,使块实现局部匹配,并利用校验和文件实现文件不同版本的差异传输。实验结果表明,与Rsync算法相比,该方法能有效减少传输的数据量,降低备份中心的存储量,提高块查找的效率。     

一种云存储系统中重复数据删除机制

基于现有重复数据删除策略,提出了一种基于负载均衡的C/S双端延迟重复数据删除方法.利用基于类型的数据分块方法将数据块分成若干块;利用MD5提取指纹值,与客户端本地的索引表对比指纹,若相同则用指针取代该数据块,具有数据块指纹和数据类型的索引表一同发送至控制器;控制器在收到客户端的请求后,首先根据自己实时监控得到的各服务器的当前状态来选择最佳目标存储节点;服务器端根据数据类型查询不同的索引表以缩小查找范围.对提出的方法的重复数据删除率进行了实验验证,结果表明该机制具有较好的性能表现.     

基于云存储的重复数据删除架构的研究与设计

随着云计算的发展,云存储技术通过集群应用、虚拟化技术、分布式文件系统等功能将网络中大量各种不同类型的存储设备集合起来协同工作,缓解了老式数据中心的存储压力.另外,重复数据删除技术是一种缩减存储空间减少网络传输量的技术,随着云的广泛应用也势必会发展应用于云存储中.这两种技术结合将会给IT存储业带来实际效益.本文通过研究重复数据删除技术、云存储技术,设计了基于云存储的重复数据删除架构,提出了一种用In-line方式在客户端进行数据块级与字节级相结合的重复数据删除操作后再将数据存入云中的方案.在本架构下,海量数据存储在HDFS中;而文件数据块的哈希值存储在HBase中.     

基于国产操作系统独立GUI应用研究

国产Linux操作系统运行第三方GUI应用软件需要解决软件依赖库问题,官方提供的依赖软件无法满足依赖库环境配置,导致大量第三方GUI应用软件无法在国产操作系统中安装使用.现提出一种利用容器技术把第三方GUI应用软件及其运行环境打包成独立应用软件的方案,使第三方GUI应用软件能够在国产操作系统上运行.以开源的分布式渲染系统Equalizer为目标对象,使用docker容器技术将其编译环境和运行环境所需的依赖库打包成镜像,docker镜像在国产操作系统NeoKylin上创建容器时配置容器与主机共享Linux系统中的X11服务,容器中Equalizer解析操作系统中X11文件,在主机屏幕展示图形界面.本文利用现有的docker技术制作独立镜像,并配置容器与主机系统共享Linux系统图形界面服务和显卡驱动程序,最终实现Equalizer程序在国产操作系统环境中正常使用.实验结果表明,该方案是可行的,并可以推广到其他GUI应用软件.     

不同版本的双眼务器配置与资源共享

用户经常采用如下方法改善NOVELL局域网的性能,一种方法是在一台文件服务器上插入多块网卡,每块网卡依据其类型不同连接不同类型的网络工作站;另一种方法是采用双服务器,由于同一套Netware网络操作系统软件其序列号相同,不能在两个文件服务器上用同一套软件安装,可采用不同版本的网络操作系统软件安装或版本相同但序列号不同的两套软件安装;本文主要介绍将上述两种方法结合,文件服务器上插入多块网卡并安装不同版本的网络操作系统软件的网络拓扑结构、系统配置以及资源共享方法.     

一种基于重复数据删除的Oracle数据库备份系统

针对在数据备份服务器中存在大量重复数据的问题,提出了一种基于重复数据删除技术的oracle数据库备份系统。系统首先生成临时备份文件,然后把临时文件划分成不重叠的块,通过哈希算法计算每个块的指纹值。在数据灾备中心建立hash表记录已存储数据块的指纹值。通过对比指纹值,检测重复数据。为了提高数据安全性,采用了一定的安全机制来防止信息泄露以及数据丢失。实验证明,该系统在实现远程备份的同时,有效地减少了备份的数据。     

基于重复数据删除技术的SQL Server数据库备份系统

提出了一种基于重复数据删除技术的SQL Server数据库备份系统.系统在临时备份文件生成后将其划分成变长数据块并计算其指纹值作为数据块的惟一标志,在传输文件到远程灾备中心时只传输数据块的单一实例,减小传输量,节省远程灾备中心处存储空间;在灾备中心建立hash表记录已存储数据块指纹值;为了提高数据可靠性,引入受限的冗余...     

基于SVM的组块识别及其错误驱动学习方法

给出了一种错误驱动学习机制与SVM相结合的汉语组块识别方法。该方法在SVM组块识别的基础上,对SVM识别结果中的错误词语序列的词性、组块标注信息等进行分析,获得候选校正规则集;之后按照阈值条件对候选集进行筛选,得到最终的校正规则集;最后应用该规则集对SVM的组块识别结果进行校正。实验结果表明,与单独采用SVM模型的组块识别相比,加入错误驱动学习方法后,组块识别的精确率、召回率和F值均得到了提高。     

SEIS++:一个油气勘探领域软件建造和集成的模式语言

工业化的软件复用从通用类库进化到了面向领域的应用框架和设计模式,与框架相比,设计模式更集中于软件体系结构中重复出现的设计韵律,它主要由可复用的抽象设计结构组成,特定领域内一组相关的设计模式构成了该领域的模式语言,它们可在领域内重复使用以完成某类特定系统的体系结构设计。     

以项目为中心的面向对象复用支持

现有的软件复用技术通常是围绕着库来组织利用标准的和通用的可复用资源.例如,面向对象编程环境中的类库和通用构件库.然而,这种以库为中心的复用方式在一定程度上忽略了可复用资源的项目相关信息,而项目相关信息记录了可复用资源的应用语境(Application Context).应用语境有利于可复用资源的理解和使用.为此,提出了一种围绕着一个项目的文档来组织和利用可复用资源的复用途径,即以项目为中心的文档复用,用以支持在相同应用领域中一族软件的开发.探讨了当前的面向对象方法在支持文档复用方面的一些局限性,提出了一种     

Winnowing指纹串匹配的重复数据删除算法

针对可变长度分块（CDC）的重复数据删除算法的分块大小难以控制、指纹计算对比开销大、需要预先设置参数问题,提出Winnowing指纹串匹配的重复数据删除算法（DWFM）。首先,在数据分块前引入分块大小预测模型,较准确地根据应用场景计算出合适的分块大小;然后,在计算指纹时采用ASCⅡ/Unicode编码方式作为数据块指纹;最后,在确定分块边界时,提出指纹串匹配的分块算法,不需要预先设置参数,使得指纹计算和对比开销减少。在多种数据集上的实验结果表明,相比固定长度分块（FSP）和CDC算法,DWFM在数据的重删率上提升10%左右,在指纹计算和对比开销方面减少了18%左右。因此,DWFM的分块大小和边界更加符合数据特性,减少了参数设置对重复数据删除算法性能的影响,在处理不同类型的数据时,可以有效地消除更多的重复数据。     

基于深度强化学习的雾计算容器整合

在雾计算系统架构基础上, 针对数据中心高能耗、应用任务负载的随机动态性以及用户对应用的低时延要求, 提出一种基于A2C (advantage actor-critic)算法的以最小化能源消耗和平均响应时间为目标的容器整合方法, 利用检查点/恢复技术实时迁移容器, 实现资源整合. 构建从数据中心系统状态到容器整合的端到端决策模型, 提出自适应多目标奖励函数, 利用基于梯度的反向传播算法加快决策模型的收敛速度. 基于真实任务负载数据集的仿真实验结果表明, 该方法能够在保证服务质量的同时有效降低能耗.     

软件开发活动数据集的层次化、多版本化方法

随着开源软件的兴起及软件开发支撑工具的普及,Internet上积累了大量开放的软件开发活动数据,越来越多的实践者与研究者尝试从中获取提高软件开发效率和产品质量的洞察.为了提高数据分析的效率、方便分析结果的重现与对比,许多工作提出了构建与使用共享数据集.然而,现有软件开发活动数据集的构建过程可追溯性差、适用范围窄,对数据随时间、环境发生的变化欠考虑.这些不足直接威胁数据的质量及分析结果的有效性.针对该问题,提出一种层次化、多版本化的方法来构建与使用软件开发活动数据集.层次化是指在数据集中包括收集和后续处理所得的原始、中间和最终数据,建立数据集的可追溯性并扩展其适用范围.多版本化是指通过多种方式进行多次数据收集,使数据使用者能够观察到数据的变化,为数据质量及分析结果有效性的验证和提高创造条件.通过基于该方法构建的Mozilla问题追踪数据集进行示范,并验证了该方法能够帮助数据使用者高效地使用数据.     

软件复用的机器支撑

本文提出了一个软件复用的机器支撑方法，复用的三个步骤获取，管理和施用均由机器自动或半自动地完成，并且构件块和构造型这两类可复用资源在其中得到有机的结合。     

基于位串内容感知的数据分块算法

针对基于内容的可变长度的分块CDC算法中数字签名计算需要耗费大量CPU开销的问题,提出了一种基于位串内容感知的数据块分块算法。算法利用每一次失败匹配尝试所带来的位特征信息,最大限度地排除不能匹配的位置,从而获得最大的跳跃长度,减少中间计算和比较的开销。实验结果表明,本算法减小了数据分块过程中数字签名计算的开销,降低了确定块边界时的CPU资源消耗,从而优化了数据分块的时间性能。     

PPL: A whole-image processing language

This paper presents the design and implementation of the picture processing language (PPL) that extends the syntax and semantics of traditional image processing libraries. PPL provides a rich set of features to support the development of imaging systems. A main aspect is that many of these features treat a whole-image as an individual operand. An efficient memory management scheme is included that allows “in-place operation” with high memory efficiency.The PPL compiler together with an interpreter can work in two modes. The PPL compiler can convert the source code into C files that can be used as macros within a client program. The program can also be executed at run-time by an interpreter. The dual-execution modes make it possible to be used by both imaging researchers and equipment developers.The extended set of PPL instructions can communicate with digital sensors and 3D displays, and store image data into databases across the Internet. The wavelet-based reverse prediction algorithm can speed up the image loading process approximately three times faster than JPEG. The application programming interface (API) of PPL provides all the building blocks for programmers.