连续数据记录中的缓存策略

数据采集系统中提高连续数据传输率是提高系统性能的主要任务之一。本文介绍了在提高连续数据传输率的过程中使用缓存作为速度匹配单元的方法。讨论了先入先出存储器（FIFO）、双端口存储器、双页缓存器这几种常见缓存作为速度匹配单元适用的场合,以及在设计过程中应该注意的问题。     

高速数据采集系统的数据流无缝缓存技术

对CCD航天相机在轨摄像时下传图像数据进行后期处理时,首先要解决的问题是实时可靠地记录和存储数据,其中的关键技术是稳定无误地缓存高速数据流.本文介绍了一种基于"乒乓操作"思想和数据流码制转换技术的高速数据缓存系统.该系统用于空间相机地面测试系统的高速数据传输接口时,能可靠地对前级系统CCD下传的高速数据流进行无缝缓存.     

数据并行语言中的扩展结构

本文通过对并行程序设计的三个步骤及数据并行问题特点的分析，论述了数据并行语言应支持程序员对数据划分和映射的描述，并讨论了为此应对串行语言扩展的几个结构。通过四个成功的数据并行语言，说明了这几个扩展结构存在的必要性和合理性。     

VoD系统的数据缓存策略研究

视频点播(VoD-Video on Demand)系统作为互联网重要的多媒体应用,相比于传统应用对服务端在带宽、响应速度等方面有更高要求.VoD服务器广泛使用缓存策略解决此问题,不同缓存策略具有不同的侧重与适应方面.VoD系统所需缓存策略需综合多种缓存策略以满足自身需求.本文总结VoD系统对缓存策略的需求,分析了缓存策略组成与分类,对各类缓存策略的特点进行综述并分析其对VoD系统的适用性.     

在高速数据采集系统中用DRAM实现海量缓存

介绍了一个多通道高速数据采集系统的实现，主要讨论了该系统的硬件结构和采用ＤＲＡＭ实现海量缓存，提高负延时深度的方法。     

基于并行数据库的海量商务数据管理系统研究

为了使海量商务数据得到高效、稳定、安全的处理,提出了一种针对基于并行数据流技术的海量数据管理系统,详细探讨了该系统中并行数据加载模块和并行数据查询模块的关键技术及具体体系结构,并对其中的并行查询技术提出相关的优化方案。     

B_Link树结构的缓存机制在数据集成中的应用

对于一些查询密集型的应用,查询操作的响应速度往往是决定其系统性能的关键因素,因此如何提高查询响应速度和系统吞吐率成为首要任务。经过实验证明,通过将查询数据缓存可以有效地解决这个问题。     

数据并行语言中的任务并行

数据并行虽然已经获得了广泛的应用,但是,仍然有一些应用程序不适于数据并行语言的并行模式,如树结构算法。数据并行与任务并行的结合可以很好地解决这些问题。该文主要讨论了在数据并行中引入任务并行时,遇到的共享变量、代码生成和处理器分配等问题,比较和分析了基于编译、基于语言和基于协作库的方法。     

SCSI硬盘在高速大容量数据采集记录中的应用

本文介绍了应用ＳＣＳＩ硬盘记录高速连续采集数据流的原理。对其中的双页缓存、记录式数据存储、高速数据通道等关键技术进行了详细的讨论。对应用系统的速度进行了分析并给出了测试结果。     

一种并行内存缓冲系统及其实现技术

为支持数据挖掘应用,对NOW机群系统的分布式共享存储管理机制进行了适当的简化1～2,结合数据挖掘中数据处理的特点,设计了一个并行内存缓冲系统。该缓冲系统为应用程序提供上下两层应用接口,既可以保证内存操作的透明性,又为应用程序自主操作数据提供了极大的灵活性。缓冲系统可以充分利用网络结点的存储空间为应用程序实现网络虚拟存储环境,同时也可以很好地支持应用程序对数据文件的并行化处理。     

分布数据缓存体系

讨论了一种在分布信息访问环境下提高数据利用率和减少通信流量的分布缓存体系.缓存节点能缓存多个数据源的信息,使多个用户相互重用数据缓存,从而提高缓存的命中率.该缓存体系采用了多种不同的方法来解决数据缓存的一致性问题.最后提出了一种虚缓存节点的概念,用于扩展原来的体系.虚节点可以减少全局缓存访问优化计算的成本.     

基于USB的高速并行数据采集系统的设计与实现

介绍了一种基于USB总线的高速并行数据采集系统的设计方案及实现方法.系统每个采样通道模块均由一组独立的A/D和双端RAM组成,多个采样通道模块组成多通道全并行采集系统;采用Xilinx公司的复杂可编程逻辑器件(CPLD)XC95144XL为控制核心,CY7C68013为USB控制器,异步双端RAM为数据缓冲区,结合A/D采样模块组成三级流水线结构,使数据采集、数据缓冲、数据传输等操作并行执行,达到了高速、并行的数据采集和传输要求.详细描述了此设计方案的硬件和软件实现,实验表明该系统具有高速、实时、性价比高等特点.     

HL-2A装置中基于PXI的高速并行数据采集系统

在中国环流2A装置中,基于LabVIEW和PXI搭建了共120个通道的大型高速并行数据采集系统,通过对远端参数数据库访问获取采样配置;接收远端主控系统指令实现系统自动高效运行;采用多线程技术实现15张板卡的并行采样;对大数据量的实验数据的优化存储,极大的提高了测试系统的整体性能,经测试,系统工作稳定,采数准确,使用灵活,充分满足实验的需要。     

基于缓存价值的命名数据网络缓存优化策略

为了解决当前命名数据网络（Named Data Network）中的传统缓存决定策略如LCE (Leave Copy Everywhere)、LCD (Leave Copy Down)、Prob (Copy with Probability)中存在的由于路由器缓存利用不合理导致的路由器缓存命中率过低,及满足用户请求所需跳数过多导致的时延过大等问题,提出一种基于缓存价值的缓存策略。该策略结合兴趣包路由跳数与所请求数据包大小,以及兴趣包所经过路由节点缓存情况,计算数据包缓存价值,由此将数据包缓存在合适的节点,以提高缓存命中率。在此基础上考虑下游节点的过滤效应,提出相对于传统缓存替换策略LRU、LFU的基于动态缓存价值的缓存替换策略,以进一步提高缓存命中率。经过大量仿真对比实验,验证了本文提出算法的有效性及可用性。     

并行技术在数据仓库中的应用

由于庞大的细节数据的存储 ,使得数据仓库向TB级发展 ,加之许多复杂处理 ,所以使并行技术的实现成为必然。在分析了并行技术的基础上 ,认为采用基于无共享结构的MPP体系结构最适合于数据仓库的现状和发展趋势 ,并指出了利用并行技术设计大型数据仓库应注意的问题。     

高速连续数据流记录系统中并行处理接口的研究

为了解决高速数据流的连续记录/读取与存储介质速度慢之间的矛盾,文中用FPGA设计了基于RAID结构的并行处理接口,实现了高速数据的分割降速、合并/恢复、纠错重构,解决了高速数据流连续存储中的I/O瓶颈问题。并行处理接口采用了流水线的设计方式及动态的逻辑配置,使得系统性能得到很大的优化,解决了高速数据处理中的延迟、数据错误、工作时序不同步等问题。并行处理接口最终在实验系统中实现了对高达160MB/S连续实时数据流的处理。     

一种工程机械行车数据管理系统设计

为加强新产品可靠性试验过程管理,提升试验效率,介绍了一种基于工程机械运动控制器和串行存储器的数采存储装置,将施工过程数据实时记录至SD卡.利用Visual C++开发数据管理平台,实现了SD卡数据离线解析、显示、统计和管理.重点剖析了SD卡数据包文件的组织形式、多文档解析效率提升方法以及数据图形化过程中的问题及解决途径.     

Spark效用感知的检查点缓存并行清理策略

针对Spark检查点缓存数据清理需要等待作业运行完成后由编程人员清理,可能导致产生失效数据累积占用内存问题,本文分析检查点执行机制,建模推导出随着检查点数量增多,检查点缓存清理方法不可扩展,提出使用检查点缓存效用熵模型感知检查点缓存和内存槽的匹配度,并利用效用最佳匹配原则,推导出最佳检查点缓存清理最佳时机.基于效用熵的...     

一种并行计算机互连网络中的地址转换Cache

当前在大规模并行计算机中,多数并行程序的用户习惯于使用虚拟地址进行编程.因此,虚拟地址与物理地址之间的转换效率直接影响了并行程序的执行性能,而cache能够有效地提高虚实地址转换的效率并降低延迟.提出了一种在大规模并行计算机互连网络中的地址转换cache.它采用了嵌入式DRAM(embedded dynamic random access memory, eDRAM)存储器,容纳更多的地址转换表项,从而提高命中率.并设计一种eDRAM刷新机制,隐藏了刷新操作,避免刷新导致的性能损失.ATC(address translation cache)中实现了诸如纠错码与旁路机制等多种可靠性设计.在32个计算结点上运行业界公认的NPB测试程序,结果显示32个结点中ATC的平均命中率达到了95.3%,表明ATC设计的正确性与高性能.并且通过与3种传统SRAM(static random access memory)实现的cache进行对比实验,说明了cache容量是提高命中率的关键因素.