云计算环境中基于访问量和依赖性评价的数据分配算法

大量的大规模密集型数据需要存储在多个数据存储中心,而应用越来越广泛的云计算环境很好地解决了大规模密集型数据在分配中遇到的规模性问题。但是,云计算环境中多数据存储中心的数据分配会带来数据存储中心之间数据量的传输,从而导致数据访问效率低下。同时,单位时间上数据访问量的不平衡性会引起数据存储中心的访问瓶颈。以大规模密集型数据中的数据流为建模对象,提出了一种数据分配算法,它在保证数据存储中心负载平衡的基础上兼顾了密集型数据之间的依赖性。实验表明,相比于同类的数据分配算法,所提算法具有更好的综合表现,特别是在保证数据存储中心的负载平衡方面,效果突出。     

数据密集型计算的遥感图像预处理方法

针对大数据时代,数据密集型计算已经成为国内外的一个研究热点. 遥感数据具有多源化、海量化特点,是名副其实的大数据. 研究适用于遥感影像自动化、业务化处理的数据密集型计算方法,是目前遥感应用技术面临的挑战所面临的挑战,本文提出了一种基于数据密集型计算的遥感图像处理方法. 在文中,首先围绕遥感数据自动化、业务化预处理等问题,深入调查和分析了国内外研究现状,进而介绍了系统体系结构,通过工作流灵活组织多种算法模型协同工作,设计以“5并行1加速”的计算体系解决数据密集型的遥感图像预处理,并通过产品生产实例对其性能进行测试. 结果表明,该系统在保证处理精度的前提下,大大提高了遥感大数据预处理的效率.     

连接中断计算环境下移动数据的处理模型

无线网络中断和弱连接现象,常导致用户在访问远程数据时访问中断和数据丢失,并正成为移动计算发展的一个瓶颈。基于这种现状,提出一种在无线网络出现连接暂时中断时移动计算环境下移动数据的处理模型,以解决上述问题。为提高用户访问数据的可靠性,即在出现网络连接中断时使用户能够在离线情况下继续操作且不会丢失数据,该模型在移动终端提供语义缓存功能,并能在连接恢复时立即执行被滞后的操作。     

自主协助动态并行I/O调度策略研究

随着处理器速度和网络传输速度的快速提升，I／O成为限制计算机性能的一大瓶颈，并行I／O提供了解决这一问题的有效途径。在并行I／O的实现中，数据访问调度策略对系统的性能有着重要的影响。文章通过对集群计算中现有I／O数据访问调度策略的研究，针对调度器瓶颈问题，提出了自主协助动态I／O调度策略，实验结果表明了所提出策略的有效性。     

利用CORBA技术解决数据库访问瓶颈问题

本文针对一个石油企业访问RDBMS的瓶颈问题，深入研究了多层分布式数据库应用结构，利用CORBA技术开发了一个数据库应用中间件，有效地解决了数据访问瓶颈问题。     

高能物理计算环境中存储系统的设计与优化

高能物理是典型的数据密集型计算,数据访问性能对整个系统至关重要并与应用的计算模式密切相关.从剖析高能物理的典型计算模式入手,总结出其数据访问的特点,提出针对操作系统I/O调度、分布式文件系统缓存等多个因素的优化措施,优化后数据访问性能和CPU利用率明显提高.大规模存储系统对于元数据管理、数据可靠性、扩容等可管理性等功能也有较高要求,结合现有Lustre并行文件系统的不足,提出了Gluster的高能物理存储系统设计,在进行数据管理以及扩容等方面的优化后,系统已经正式投入使用,数据访问性能能够满足高能物理计算的需求,同时具有更好的可扩展性和可靠性.     

高性能计算中一种改进的数据访问节能技术研究

针对现有磁盘功率管理方法无法处理高能耗并行应用的短空闲周期、大规模的代码更改和能耗开销较大等问题,提出了一种面向编译器的数据访问调度技术。该技术包括两个阶段:在第一阶段,编译器分析并行应用程序,提取磁盘访问模式,然后生成调度表;在第二阶段,"数据访问调度器"根据调度表进行数据访问。与先前基于软件的策略相比,所提方法不需要改变代码或数据结构。实验评估结果表明,对于数据密集型工作负载,所提方法可以有效提升节能效果,节能率从5.5%上升到11.8%,从而增加了磁盘降速策略对数据密集型高性能计算的可行性。此外,它也将多速磁盘的节能效果从12.7%增加到了27.6%。     

计算资源共享平台中非集中式的元数据管理

提出了计算资源共享平台中的一种非集中式元数据管理方法,它利用对等网络的方式把数据和元数据分散到网络上的其他节点,而不是在后台服务器端。该方法可以在平台运行数据密集型应用时支持大容量的并行工作机读写数据,同时具有随机的访问、灵活的访问粒度、支持高负载的并行读写的特点。运用了分布式哈希表技术,把大容量元数据划分成树型结构的分段树的形式。描述了数据与元数据的读写与追加新数据的过程。测试结果表明：该方法针对3D图像渲染类数据密集型应用,在不同的工作机并行访问与读写过程中,可以获得很高的聚集带宽与平均读写带宽。     

网格环境下基于服务的分布式查询处理机制研究

OGSA-DQP是一种用于网格环境、基于服务的分布式查询处理系统,实现了运行在不同平台的分布式数据密集型应用的高级数据访问与集成服务方法,为用户提供一致的虚拟关系数据视图和分布式数据查询支持。文章描述了其体系结构、分析了其查询和优化机制,并在不同条件下测试了查询性能,为寻找系统查询性能瓶颈、提高系统查询响应时间提供依据。     

面向虚拟机的远程磁盘缓存

在虚拟机(virtual machine)系统中,随着虚拟机数量和应用程序需求的不断增长,内存容量已经成为应用程序性能的主要瓶颈。为了提升内存密集型和I/O密集型程序的页面交换性能,提出了虚拟机的远程磁盘缓存机制REMOCA,它允许运行在一台物理主机上的虚拟机将其他物理主机的内存作为其二级磁盘缓存。由于网络传输延迟远远小于磁盘访问,用网络传输代替磁盘访问就能够有效地降低虚拟机的平均磁盘访问延迟。REMOCA的目标就要尽可能地减少磁盘访问。REMOCA运行在虚拟机管理器中,其基本工作原理是截获并处理虚拟机的页面淘汰、磁盘访问等事件。REMOCA能够与现有的虚拟机内存管理机制(如气球技术、影子缓存)相结合,从而提供更加灵活的内存资源管理策略。实验数据表明,REMOCA能有效地降低页面抖动对虚拟机性能的影响,并在很大程度上提升虚拟机中I/O密集型应用的性能。     

用Xilinx FPGA实现DDR SDRAM控制器

DDR SDRAM使用双倍数据速率结构,它能获得比SDRAM更高的性能。DDR SDRAM需要特定的DDR控制器才能完成与DSP、FPGA之间的通信。由于Xilinx VirtexTM-4系列FPGA具备ChipSync源同步技术等优势,本设计采用它来实现DDR SDRAM控制器。该DDR SDRAM控制器采用直接时钟数据捕获技术,本文将重点阐述该技术。     

利用FPGA实现DDR存储器控制器

DDRSDRAM以双倍的数据速率已成为存储器的主流,但目前广泛应用的微处理器和数字信号处理器并不支持DDRSDRAM。该文介绍一种通用DDRSRAM控制器的设计,以解决目前所存在的微处理器与DDRSDRAM之间的接口问题。     

基于FPGA的DDR SDRAM控制器设计与实现

随着DDR SDRAM的广泛应用,为满足不同平台下的访存需求,文章设计并实现了一种基于FPGA的DDRSDRAM控制器,通过分级流水结构提高了系统性能,并通过参数的在线配置满足不同内存颗粒的参数需求,保证了控制器的灵活性和可扩展性。     

基于FPGA的DDR SDRAM控制器的设计和实现

DDR SDRAM,因其拥有较之SDRAM为两倍的数据读、写速率,已经成为存储器的主流,并得到了广泛的应用,尤其在高速、高精度、高存储深度的数据采集系统中。本文在分析了DDR SDRAM工作原理的基础上,预先在FPGA上利用Verilog硬件描述语言设计实现了DDR SDRAM的读、写以及刷新,给出了DDR SDRAM控制器的状态转换图及结构框图,为进一步与微控制器或数字信号处理器的连接创造条件。目前该控制器已经研制完毕,进一步还可以集成到数据采集系统中。     

基于WISHBONE的可兼容存储器控制器设计

随着近年来高速计算机的快速发展，人们对存储器频宽及性能的要求越来越高。作为第2代DDR存储器的DDR2 SDRAM具有高速、低功耗、高密度、高稳定性等特点，在未来的一二年里，它将逐步取代DDR SDRAM而成为内存的主流。尽管DDR2的地位正在不断上升，但DDR仍是当前流行的高速存储器。该文通过对这两种存储器的分析比较，基于WISHBONE总线，提出并实现了一种可兼容DDR与 DDR2存储器的控制器。     

FPGA实现高速实时多端口SDRAM控制器的研究

为了满足多个设备同时存取高速数据的需求,介绍了利用Xilinx高性能可编程逻辑器件Virtex6 FPGA实现高速实时多端口DDR3 SDRAM控制器的原理和方法,在一个实时图像处理系统平台上实现了对单片SO-DIMM DDR3内存条的多设备实时访问控制。通过ChipScope工具采样输入输出数据,验证其可行性,分析计算出端口速率和其他主要时间参数。实验结果显示高速实时多端口SDRAM控制器具有集成度高、传输带宽高、功耗低的优点。在多设备同时读写高速数据的系统中具有很高的实用价值。     

基于DDR SDRAM 控制器时序分析的模型

定义了时钟单位阶跃信号C（n）,提出了一种利用带相对时钟坐标的逻辑方程表示逻辑信号的方法;通过对所设计的DDR SDRAM控制器的读写时序的分析,建立了控制器主要信号的时序表达式,并利用所建立的时钟逻辑方程对DDR控制器的读过程进行了简单的分析。这种方法可以应用到内存系统的带宽和延时估计方面,比较直观。     

DDR2 SDRAM控制器接口的FPGA设计及实现

DDR2 SDRAM是第二代双倍数据传输速率同步动态随机存储器,以其大容量、高速率和良好的兼容性得到了广泛应用。DDR2芯片的控制较为复杂,为了解决DDR2芯片的驱动及功能验证问题,在介绍了其特点和工作机制的基础上,提出了一种简化的工作流程图,进而给出该控制器的总体设计、FPGA器件的引脚分配及验证方法。其中验证方法采用Verilog HDL硬件描述语言构建了DDR2控制器IP软核的测试平台,通过ModelSim软件对DDR2仿真模型测试无误后,再使用QuartusII软件的嵌入式逻辑分析仪工具SignalTap II抓取FPGA开发板实时信号。开发板上的验证结果表明：DDR2芯片初始化成功;其引脚上有稳定的读写数据;在双沿时钟频率200MHz下,写入数据和读出数据一致。故DDR2控制器设计达到要求,且控制器接口简单、工作稳定、移植性强。     

基于PCI-E总线的高速数据传输卡的设计与实现

介绍了用于改善合成孔径雷达数据回放模块性能的高速数据传输卡的设计与实现;传输卡通过PCI Express总线与主机进行数据交互,配置两组DDR2SDRAM进行乒乓操作实现大容量高速缓存,在输入、输出数据传输率不匹配的情况下保证数据传输稳定、可靠;选用PLX公司的接口芯片PEX8311实现PCI Express总线接口功能,FPGA逻辑实现DDR2SDRAM控制器;测试结果表明,传输板数据传输率不低于100MB/s,工作状态稳定,达到了预期指标,具有一定的实用性和良好的应用前景。     

Corner turn of SAR data based on multi-FPGAs parallel system

A segmented storage strategy is provided for corner turn of Synthetic Aperture Radar (SAR) data based on multiple Field-Programable Gate Arrays (multi-FPGAs) parallel system. The optimal segmented length is related to the type of the Double-Data-Rate (DDR) memory. Address mapping between pixel location and memory location is expressed in pseudo-code, and the address mapping between bus address and memory address is also deduced in universal expression. A hardware module is given to implement DDR2 SDRAM controller. Practical debugging and experiment have proved that the segmented storage method balances the access rate between row and column in memory cells and accelerates the corner turn of two dimensional image data. Compared with previous related works, our implementation could get higher Throughput/Area and provide much more optimal performance.