基于大数据量的文件存取方法的研究

文件操作是应用程序最为基本的功能之一,在实际的工程应用中,也是经常用到的重要操作。当文件的数据量变大时,传统的文件操作就显得极为困难。给出了一种方便实用的解决大文件的读取、存储等处理的方法,并结合具体实例代码对此种方法和传统的Win32 API方法进行了分析比较。     

基于内存映射文件的进化算法数据存储引擎

为了观察和分析进化算法的执行情况,往往需要将算法执行过程中产生的大量数据存储在磁盘文件中。用于进化算法的嵌入式数据存储引擎EADB（Evolutionary Algorithm Database）提供了简便灵活的数据存储接口,通过使用内存映射文件技术来实现数据的快速和大量存储。相较于传统文件I/O存储方式和一般的通用数据存储引擎,EADB大大加快了存储速度。     

在VB利用内存映射文件读取大数据量原始遥感影像图

原始遥感影像数据一般是经过粗处理后以二进制格式提供给用户。这些影像数据同一般的图像数据相比数据量较大,通常采用专业遥感软件进行读取和处理。但当前应用中对遥感数据处理和分析的方法大多都要和GIS相结合,而当前国际流行的商业GIS一般都不具有图像处理功能,同样在商业遥感影像处理软件方面也很难发现较强的GIS功能。如何把GIS和RS有效地结合起来,是目前实际应用中面临的一个问题。论文在分析GIS和遥感影像处理功能集成的方法和意义的基础上,对比了传统文件读取方法和内存映射文件处理方法之间的差异,并给出了利用内存映射文件的方式显示和处理大数据量原始影像文件的具体实现思路。     

内存映射文件在大型数据文件中的实现及其优越性

分析了Win32系统下的内存结构以及内存管理方式,重点介绍了内存映射文件的工作机理以及相应的程序实现,并与堆方式内存分配作比较指出其优越性。     

内存映射文件在大容量采编数据处理中的应用

针对处理大于2GB的数据所面临的困难,提出一种利用内存映射文件实现数据读写的标准方法.该方法具有处理数据更加快速、灵活和高效等优点.实践证明,该方法在大容量采编数据的读取、处理和显示等方面的应用中,取得了良好效果.     

内存映射文件在大型数据文件中的实现及其优越性

分析了Win32系统下的内存结构以及内存管理方式,重点介绍了内存映射文件的工作机理以及相应的程序实现,并与堆方式内存分配作比较指出其优越性.     

利用内存映射文件作快速的全文检索

在文件里查找某一字符串,在程序设计上常常要用到。若用Delphi写,小文件可以用TmemoryStream把整个文件读进内存,在内存上进行查找。但若文件比较大,上几十兆,就不能用此法,若你你强行用TmemoryStream,硬盘因交换文件而不断的读写,效率很低。 大家对Win32的内存映射文件(File Mapping)一定不会陌生,用它可以方便地实现多个进程共享数据。这里介绍用内存映射文件作快速的全文检索,功能如Windows的查找(在某目录的文件里查找某一字符串),但此法比Windows的查找效率要高。     

内存映射文件的操作

主要讲解内存映射文件的编程方法和实现过程,并在Delphi中创建文件操作类,通过实例详细讲述了基于内存映射文件的文件读、写操作。     

内存映射式文件处理技术

内存映射文件（ＭＭＦ）是一种建立在虚拟内存技术之上的内存中操纵磁盘文件的新方法，在ＷｉｎｄｏｗｓＮＴ全３２位多进程操作系统中，ＭＭＦ为读写文件数据及多进程间共享数据提供了一条方便高效而安全的途径。     

内存映射文件在提取有限元模态结果中的应用

对于有限元分析软件导出的大型结果文件,在使用常规的文件操作函数处理时,容易导致计算机速度缓慢甚至失去响应。针对这个问题,提出了一种基于内存映射文件读写数据的方法。该方法通过建立磁盘文件与进程地址的关联,直接访问磁盘文件,提取相关结果信息。当文件过大时,采用了分段映射的技术,逐段进行处理,并对两种不同的分段方式进行了比较。测试结果表明,比起传统的文件读写方法,该方法可以大大提高文件读取的速度,有效适应巨型文本文件的读取需求。     

科学计算双路并行I/O优化方法

科学计算数据集由数据和元数据组成.一般条件下,数据的尺寸较大,元数据尺寸较小.传统的高性能计算机并行文件系统可以高效率地读写大块连续数据,但是无法高效率地读写大量较小块的元数据.一旦大块数据和小块元数据两类读写特征混杂在一起,元数据将较严重地干扰并行I/O,造成性能的下降.为此,文中提出数据与元数据分治的双路并行I/O方法.该方法在高层I/O库中建立内存文件系统与并行文件系统两级存储,在存储资源之间并行迁移科学计算元数据.一方面降低较频繁读写元数据的I/O延迟,另一方面改变科学计算数据的存储特征与存储模式,从而提高科学计算应用、尤其是数据分析与可视化等读入密集型应用的I/O效率.测试表明,双路并行I/o方法可提高写性能8％～13％,提高读性能89％到1.01倍.     

磁存储读写通道伺服Burst信号采样模型的优化与仿真分析

在伺服系统中,为了计算出伺服位置误差信号（PES）,需对伺服burst信号进行高精度采样并通过FFT计算。但目前大多数公司为了降低成本,使用带硬盘控制器芯片88i6310作为伺服读写通道控制芯片,其读写通道伺服系统都采用6位ADC转换器,并且伺服系统和数据信号共用采样电路。由于采样时会产生量化噪声干扰,因此对伺服burst信号来说6位分辨率的ADC转换器显然是不够的,经过FFr计算后burst信号会产生较大的误差。首先依据采样量化误差模型分析了现有的伺服系统过采样模型,并提出了改进型的伺服系统过采样模型。通过仿真得知,改进型采样方案将平均量化误差由原来的0．38LSB降到了0．14LSB,A1X2转换器的分辨率由原来的7．5bit提高到8．8bit。     

一种独立式I/O虚拟化方法研究

当前虚拟化系统中的设备仿真过程与I/O指令串行执行,无法发挥真实体系结构中直接存储器访问、异步I/O等加速I/O访问技术的性能优势,致使虚拟平台I/O性能与真实I/O性能存在一定差距。针对该问题,提出一种独立式I/O虚拟化方法,通过将I/O仿真活动(如磁盘读写)分离成一个独立的进程,虚拟机监控器(VMM)只保留相应的接口,达到将VMM与I/O设备分离实现仿真与指令并行化执行的目的,并基于QEMU平台实现该方法。实验结果表明,采用该方法后的QEMU I/O读写性能优于原有I/O子系统。由于I/O指令不必再等待I/O仿真的结束,因此在提高CPU指令执行速度的同时,能够有效提高4.9%的磁盘读取速度及9.2%的VGA测试基准软件Viewpref得分。     

基于内存映像技术的网络流量日志处理的实现

针对现有存储的网络流量日志信息数据量庞大,访问效率低等问题,为了从海量的网络日志信息中提取所需要的数据,提出了利用内存映像技术解决日志访问的方法,该方法利用网络流量日志自身的特点建立访问路径,通过对网络日志建立内存映像来访问日志信息,并通过C 程序实现了此方法.     

基于RocketI/O的光纤数传板设计

本文介绍了一种基于PMC背板标准,采用Xilinx公司的VirtexⅡ Pro系列FPGA设计的光纤数传板.基于PMC背板标准设计,使得光纤数传板具有很强的通用性;采用FPGA,增强了光纤数传板传输数据的灵活性.基于PMC背板标准的光纤数传板能够应用于多种高速数据传输系统中,通过光纤数传板,能够进行系统间远距离、高速度数据传输.     

关于I/O模拟的讨论

详细分析Windows的I/O机制,提出了分别在用户级、系统级、驱动级的I/O模拟操作,通过实际案例和源代码分享在I/O模拟上的得失,着重介绍鼠标与键盘的模拟。     

基于SAN系统数据密集型程序的性能分析

数据密集型应用如多媒体、数据库等等的大规模发展对存储系统提出更高的要求．与之相适应的是以SAN为代表的存储网络改变了存储系统完全依赖于主机的模式，整体上提高了存储系统性能、可用性、可扩展性．本文在研究整个SAN存储系统结构的基础上，通过分析和估计SAN系统的各个部分性能，结合数据密集型程序的I／O统计特性，估计各种I／O请求的平均响应时间，说明在SAN系统平台上I／O密集型程序的设计要求，为进一步开发大规模存储网络管理和应用软件打下基础．