改善Hadoop文件处理效率的技术研究

提出一种改善Hadoop文件处理效率的方法,在Hadoop中添加一个小文件处理模块SFPM,根据文件名为海量小文件建立二级索引,同时采用预加载技术将索引提前存入缓存,可提高文件查找访问效率;在合并文件时,采取舍弃多余空间的策略,避免将一个文件拆分存储在两个block上,减少了文件访问时间开销.实验结果表明该方法能有效减轻NameNode的负荷,提高小文件读写效率.     

基于Hadoop的云存储系统文件处理与安全研究

由于公有云存储中存在数据泄露、丢失、存储不稳定等不安全因素,私有云存储成为解决当前企业安全存储需求的最佳选择。针对单点内存负载过高,写入效率低下的问题,设计了一套处理大量小文件的模块,通过缓存多个小文件合并,再合并文件元数据放置索引表,通过索引表中的偏移量寻找块中小文件数据的方式,提高HDFS写入大量小文件的系统性能,经过测试验证了优化方案的有效性。     

云存储环境下基于HDFS的海量小文件装箱算法

基于HDFS的云存储系统在当前得到了广泛的应用,然而它存在小文件存储效率不理想的问题。针对该问题,提出了一种基于HDFS的海量小文件装箱算法TPSF。该算法综合考虑上传文件的大小和缓存时间两个指标,设计了基于动态权值的装箱策略。原型实现和性能评价表明,TPSF算法是可行和有效的,能够显著降低HDFS名称节点和数据节点的存储开销。     

基于集中式管理的缓存优化方案

针对分布式文件系统HDFS以流式的方式访问大文件时效率很高,但是为解决海量小文件的操作特别是频繁访问重复的小文件时效率比较低的问题,提出了一种基于集中式管理的缓存优化方案.该方案通过对缓存的小文件进行集中式管理,采用一种新的数据一致性管理机制,提高海量小文件的读取性能.实验结果表明,该方案有效地提高了小文件的读取效率,减少了小文件的访问时延.     

面向异构并行计算系统的流水线式压缩检查点

在大规模并行计算系统中,并行检查点触发大量结点同时保存计算状态,造成巨大文件存储空间开销,以及对通信和存储系统的巨大访问压力.数据压缩可以缩小检查点文件尺寸,从而降低存储空间开销以及对通信和存储系统的访问压力.但是,它也带来额外的压缩计算开销.本文针对异构并行计算系统,提出流水线式并行压缩检查点技术,采用一系列优化技术来降低压缩引入的计算延时,包括:流水线式双重写缓存队列、文件写操作的合并、GPU加速的流水压缩算法和GPU资源的多进程调度,等等.本文介绍了该技术在天河一号系统中的实现,并对所实现的检查点系统进行综合评测.实验数据表明该方法在大规模异构并行计算系统中是可行、高效、实用的.     

Hadoop在电信大数据平台的研究与设计

针对传统Hadoop平台架构中单名字节点瓶颈和对小文件存储支持不理想的问题进行优化。首先针对第一个问题,增加节点层次并在第二层增加NameNode数量等措施,解决了单名字节点瓶颈;又通过在原 HDFS 的数据存储过程中增加合并处理模块,实现小文件合并为大文件处理的方法,提升了小文件的访问效率。实验数据对比表明这些方法是有效、可行的。     

Redis在高速缓存系统中的序列化算法研究

Redis是一个key-value存储系统,通过对Redis高速缓存系统的序列化算法优化,可提高缓存读取的效率和存储容量。引入现代统计学中Bootstrap理论,提出基于随机相位高斯伪随机数重排的Redis高速缓存系统中的序列化算法。采用Hash堆栈技术将存储数据写入磁盘,通过霍夫曼编码技术对信宿处缓存数据进行序列化编码设计,利用随机相位高斯伪随机数重排方法重新排列缓存堆栈的编码序列,改善Redis的结构分布形式,提高缓存系统的容量。测试结果表明,该方法存储容量较高,缓存数据的读取效率高于传统方法。     

基于查询优化策略的语义缓存谓词化简

语义缓存技术可以有效地支持移动计算应用。现有的语义缓存查询处理算法在时空效率和裁剪的复杂度上较高,限制了语义缓存的实用性。为此,本文提出20条逻辑规则和语义缓存动态合并策略,来降低查询裁剪的复杂性。在Android系统上的实验表明,在简单查询下,采用全合并的缓存管理策略和谓词析取式优化算法相结合的方法,能较好地优化查询处理。在复杂查询方面,基于谓词复杂度的语义缓存动态合并策略能很好地平衡缓存与查询两端的谓词复杂度,有效地提高语义缓存的查询处理效率。     

面向类仿射型数组下标应用的参数化并行存储结构模板

为了解决目前可重构编译技术在为类仿射型数组下标应用生成循环流水阵列时,生成的存储系统对数据并行与重用支持不完善的问题,本文提出了一种参数化并行存储结构模板。此模板采用模块化设计思想,根据数据访存特征生成由多体交叉并行存储子模块、单体串行存储子模块、RAW Buffer缓存子模块及Smart Buffer缓存子模块构成的存储结构。为灵活生成存储结构及充分挖掘数据的并行性和重用性,本文采用访存数据依赖图方法计算存储模板的参数值。和相关工作相比,根据本文提出的存储结构模板生成的硬件,可以在占用较少的硬件资源情况下,获得较高的硬件执行速度。     

广电视频点播系统存储策略探讨

广电视频点播（Video on Demand,VOD）系统包含图片、视频等海量应用数据，需要强大的存储系统和灵活的调度策略来支撑超级数据量的存储、调度和使用。对此，提出一种基于智能网格推流系统的云分布式存储策略，具备负载均衡与平滑扩容机制，可扩大本地缓存容量，提高存储抗干扰性能，保障系统资源调度速率，维护VOD系统缓存稳定；采用分层缓存管理机制，对存储数据包进行时序特征分割，减少服务器缓存时延；针对异常故障数据，利用哈希校验方式对缓存文件进行替换，保证存储数据集群的完整性，并利用读写旁路与懒惰存储解决缓存数据缺失问题。该方法可有效提高VOD系统存储效率，具有一定的参考价值。     

如何引导大缓存

缓存是指在计算机存储系统的层次结构中,介于中央处理器和主存储器之间的高速小容量存储器。缓存和主存储器一起构成一级存储器,高速缓冲存储器和主存储器之间信息的调度和传送是由硬件自动进行。在计算机的发展历程中,依据摩尔定律,计算系统中的中央处理器性能发展迅速。而磁盘作为计算系统中的主存储器,由于机械机理的限制,其发展速度远远不及中央处理器的发展速度,形成了中央处理器数据处理快而磁盘读写数据缓慢的状况,从而降低整个计算机系统工作效率。因此,通过在两者之间增加一个缓冲层来协调两者之间数据调动效率问题,缓存由此应运而生。缓存的处理速率接近于中央处理器,可以通过扩大缓存容量,缓解两者之间处理效率差距,能够快速响应中央处理器和磁盘之间的读写请求,作为两者之间的缓冲池,缓存在一个适当范围内越大越好。由于缓存资源的珍贵,因此,缓存成为一个计算系统性能高低的重要标志。     

An area model for on-chip memories and its application

An area model suitable for comparing data buffers of different organizations (e.g. caches versus register files) and arbitrary sizes is described. The area model considers the supplied bandwidth of a memory cell and includes such buffer overhead as control logic, driver logic and tag storage. The model gave less than 10% error when verified against real caches and register files. It is shown that, comparing caches and register files in terms of area for the same storage capacity, caches generally occupy more area per bit than register files for small caches because the overhead dominates the cache area at these sizes. For larger caches, the smaller storage cells in the cache provide a smaller total cache area per bit than the register set. Studying cache performance (traffic ratio) as a function of area, it is shown that, for small caches (less than the area occupied by 256 registers bits-r.b.e.-or 32 b), direct-mapped caches perform significantly better than four-way set-associative caches and, for caches of medium areas (between 256 r.b.e. and 4096 r.b.e.), both direct-mapped and set-associative caches perform better than fully associative caches     

基于闪存阵列的缓存容量确定方法

针对低成本、小型化的数据记录系统的应用,提出了一种数据缓存技术解决方案。存储模块是由闪速存储器芯片（NAND Flash）组成的存储阵列,以FPGA为载体的SOPC系统作为存储模块的控制核心。分析存储系统的结构及控制平台的实现过程,并对系统工作原理及并行分路技术进行讨论。深入研究Flash阵列的存储过程,提出最小FIF...     

基于Android平台的实时监控系统客户端的设计

提出了一种基于Android手机平台的远程监控系统客户端的设计方案。该文对系统中的各个模块做了详细地研究,并针对Android平台设计了基于FFmpeg的解码方案。系统采用P2P技术、多线程机制,并对数据做了缓存处理,从而实现了实时的监视与控制性能。采用OpenGL ES渲染技术,大大提高了绘图效率。     

TCCL:secure and efficient development of desktop cloud structure

A secure and efficient development of desktop cloud structure:TCCL (transparent computing-based cloud),which was designed under the guidance of transparent computing,was proposed.TCCL applied the method,separating calculation and storage,loading in a block streaming way which was proposed in the transparent computing theory,to the cloud desktop system,and deployed the defense module of security threats under the cloud VM (virtual machine).As a result,the TCCL could improve the security level on the cloud VMs’ system files and data files,and could optimize the cloud virtual machines' storage efficiency.     

对VSE环境下VSAM文件处理性能优化方法的研究

从优化系统资源，优化应用程序设计两个方面研究提高虚拟存取方法VSAM(Vitual storage Access Method)文件处理的性能方法。通过实验数据验证了这些方法可以有效提高VSAM文件处理的效率。     

SDRAM文件结构存储控制的FPGA实现

面对不同应用场景,原始采样数据可能包含不同类型信号,而各种类型信号的处理也往往需要不同的数据帧结构。因此,需要对原始采样数据进行快速缓存,并根据数据处理的要求进行重组帧。在此使用可编程器件设计了结构化状态机对SDRAM进行读写控制,给出了一种便于FPGA实现的基于文件结构的数据缓存与重组帧方案。该方案已应用于某实际系统中,具有速度快、可靠性高的特点,并能灵活应用于其他存储系统中。     

基于三维成像技术的激光图像处理系统

采用图像处理技术处理后的激光三维图像能够显著提升图像精度,为刑事侦查、工业部件生产提供可靠的图像依据。通过设计基于三维成像技术的激光图像处理系统解决三维成像技术精度低、耗时长的问题。系统主要包括激光三维成像模块、DDR外接存储模块、FPGA模块、上位机等部分;激光三维成像模块增加转镜获取高精度的激光三维图像,DDR外接存储模块负责存储激光数据,分散FPGA模块资源损耗,通信电路模块负责传输DSP和上位机、DSP和FPGA之间的激光数据;软件部分依据激光三维成像原理获取激光数据,基于OpenGL软件接口重构激光三维图像表面。实验结果显示,系统成像精度高,处理激光三维图像效率和可靠性强,在激光三维图像处理方面的应用前景广阔。