软件

Q1 NTFS格式的Ghost备份恢复到FAT32分区问:之前我在NTFS格式的系统分区,使用Ghost进行了备份,现在更换了一块磁盘格式为FAT32的硬盘。请问,能否直接用Ghost备份还原系统? (读者马宇电话提问)答:当然可以直接恢复,而且新磁盘被恢复了数据的分区,将会与Ghost备份时的磁盘分区格式一样,直接由FAT32变成NTFS格式。     

基于RAID50的存储系统高速缓存设计

设计了一种多个控制卡分条的RAID50模型和主机虚拟卷地址到所属高级别阵列、低级别阵列分条的二级地址映射模式，以提高I/O访问的并发性。定义多个连续I/O块为扩展块并等同于Cache页大小，且作为RAID50传输粒度，进一步改善内存与存储设备之间的传输效率。设计了基于Cache描述符控制块的哈希链式查找算法和基于Cache页访问频率计数的二次机会置换算法，实现了一种主机数据接收与RAID50存储设备预读并发进行的策略。结果表明，该设计有效地提高了存储系统的I/O性能。     

大规模数据集下基于DBSCAN算法的增量并行化快速聚类

时空轨迹数据挖掘是发现移动对象行为模式的重要方式。针对海量轨迹数据处理的需求,提出一种增量并行化快速聚类算法。算法基于数据点的数量采用二分法对空间网格分区,结合贪心算法弹性重组分区,合理进行数据划分;进行本地局部聚类,获得合并簇候选集;采用R*-tree索引候选簇进行合并判断并处理;建立合并簇的无向无环图模型,并进行数据的全局重标签。实验结果表明:算法的弹性分区处理能有效地减少噪点数据,提高局部聚类的质量,采用R*-tree索引结构的合并策略有效提高了聚类的时间效率,聚类效果好,能实现大规模数据的在线处理。     

大规模虚拟地形数据多线程异步调度算法

为了实现大规模虚拟地形环境的实时绘制,提出一种海量地形数据实时调度算法。本文算法基于传统四叉树结构对地形数据进行组织和索引。在此基础上,运用Hilbert填充曲线对数据进行存储优化。然后设计基于I/O完成端口（I/O Completion Port,IOCP）的异步机制,结合多线程技术实现了I/O操作及数据加卸载的合理运作。最后,选取单线程同步I/O算法与本文算法进行实验对比。结果表明,本文算法具有高效的数据调度性能,可以满足大规模地形实时绘制的需求。     

一种XML数据流小枝模式查询算法

针对传统XML文档小枝模式查询算法系统开销大的问题,提出一种XML数据流小枝模式查询算法。该算法结合SAX数据流解析技术,将层次关系队列结构应用于XML文档查询中,采用动态生成区间编码的方式,免除建立编码索引文件的步骤。实验结果表明,在对相关数据集进行查询时,该算法可减少I/O操作,缩短查询响应时间,提高查询效率。     

基于LSH索引的快速图像检索

高维空间中点数据的索引及检索是基于内容图像检索领域的关键问题,文中将LSH(localitysensitivehashing)索引算法应用于基于内容图像检索系统中,与传统的索引方法相比,该算法具有复杂度比较低、支持非常高的维数、极低的I/O代价等特点。实验结果证明,将该索引算法应用于基于内容图像检索系统中,其性能优于传统的索引方法.     

一种新的基于划分的结构连接算法

有效的结构连接是XML查询处理的关键。目前，大部分结构连接算法由于需要临时排序、建立索引或存在数据复制及I/O问题，大大降低了执行效率。该文在分析比较现有结构连接算法的基础上，提出了一种新的基于划分的结构连接算法。该算法不需要排序或建立索引，通过栈的机制解决了数据复制问题，并充分考虑内存缓冲提高了I/O性能。实验分析表明该算法具有良好的查询性能。     

混合散列连接算法随机I/O消除

混合散列连接算法(HHJ)是数据库管理系统查询处理中一种重要的连接算法. 本文提出通过缓存优化来减少随机I/O的缓存优化混合散列连接算法(OHHJ), 即通过合理优化分区阶段桶缓存的大小来尽量减少分区过程中产生的随机I/O. 文章通过对分区(桶)大小、桶缓存大小、可用缓存大小、关系表大小与硬盘随机I/O访问特性之间的关系进行定量分析, 得出桶大小以及桶缓存大小最优分配的启发式. 实验结果表明OHHJ可以较好地减少传统HHJ算法分区阶段产生的随机I/O, 提升了算法性能.     

面向大量用户的远程备份容灾系统

为应对面向大量用户的数据容灾系统的需求,设计并实现了一个面向大量用户的数据备份容灾系统。在远程容灾服务器建立一个与磁盘分区数据一致的备份磁盘分区,对磁盘分区的数据进行实时监控,将监控到的数据变化通过网络实时传递到远程容灾服务器,并更新磁盘分区,采用epoll与哈希表等技术处理来自多个生成服务器的请求,能够同时为大量用户提供备份服务。当灾难发生时,系统将远程容灾服务器的备份数据恢复到磁盘分区,从而降低数据丢失所带来的损失。     

基于CRF的分区倒排索引压缩算法

倒排索引是大型搜索引擎的核心数据结构,本质是倒排列表中整数序列的集合。倒排索引压缩可以有效减少倒排索引所占空间,提高对关键词的检索效率。本文提出的基于条件随机场（CRF）的分区倒排索引压缩算法主要关注域值分区的分区方式。该算法对序列进行预分区,并且使用条件随机场对预分区进行标注并重组,有效减少了压缩时间。根据分区类型,该算法使用相应的编码方式,进一步减少了压缩后的空间占用。与其他倒排索引压缩算法进行对比实验分析,结果表明本文算法在压缩率上超过目前一些域值分区的算法,并且在解压时间上与其他域值分区算法相当。该算法在时间和空间上取得了较好的平衡。     

面向SoC的系统级并行划分方法

为缩短复杂SoC系统的设计周期,降低系统设计的复杂性,提出了一种SoC系统级的并行划分方法.引入带有信号激活率和输入输出延时的过程模型图,为SoC系统构建模型.设计一启发式算法对该过程模型图进行并行划分,同时,该算法能解决有环图的划分问题.通过大量的实验证明,划分结果同要求吻合,说明该划分方法是可行、有效的.     

MPI-IO中Collective I／O的优化

本文对MPI-IO库中Collective I／O的实现算法Two-phase I／O提出了改进。通过选取主联络进程来减少第一阶段进程间的通信量，从而减少Two-phase I／O方法在通信过程中的时间消耗，提高了整体的I／O性能。     

建立动态系统规则模型方法

本文采用标准模糊划分及可能性测度的概念,论述了对复杂系统建立模糊数学模型的一 种有效方法.提出了根据系统的I/O数据自动生成系统规则模型的算法,并用两个例子证 明了该算法的有效性.     

高性能计算环境下基于远程I/O负载平衡调度算法

在高性能计算环境中数据和应用程序往往分散在不同的节点,远程I/O的效率成为影响高性能计算性能的一个重要因素。为了提高系统的I/O效率,引入了一种基于远程I/O负载平衡调度算法。该算法采用了一种预约机制,可以对节点I/O负载进行动态调整、更好地利用网络带宽。详细介绍了该算法的实现过程,并且在一个模拟环境下对该算法的效果进行了评测。     

Sliding window filtering: an efficient method for incremental mining on a time-variant database

Recently, several important database applications have called for the design of efficient techniques for incremental mining of association rules. In response to this need, we explore in this paper an effective sliding-window filtering (abbreviatedly as SWF) algorithm for incremental mining of association rules. In essence, by partitioning a transaction database into several partitions, algorithm SWF employs a filtering threshold in each partition to deal with the candidate itemset generation. Under SWF, the cumulative information of mining previous partitions is selectively carried over toward the generation of candidate itemsets for the subsequent partitions. Algorithm SWF not only significantly reduces I/O and CPU cost by the concepts of cumulative filtering and scan reduction techniques but also effectively controls memory utilization by the technique of sliding-window partition. More importantly, algorithm SWF is particularly powerful for efficient incremental mining for an ongoing time-variant transaction database. By utilizing proper scan reduction techniques, only one scan of the incremented dataset is needed by algorithm SWF. The I/O cost of SWF is, in orders of magnitude, smaller than those required by prior methods, thus resolving the performance bottleneck. Extensive experimental studies are performed to evaluate performance of algorithm SWF. Sensitivity analysis of various parameters is conducted to provide many insights into algorithm SWF. It is noted that the improvement achieved by algorithm SWF is even more prominent as the incremented portion of the dataset increases and also as the size of the database increases.     

并行科学计算应用中采样数据的聚集I/O

采样数据的并行I/O制约一些并行应用的运行效率。设计、实现了采样数据的聚集并行I/O方法。该方法在客户端部署采样数据缓存,然后合并数据到输出进程,再存储到文件。为了保障并行程序长时间运行过程中采样数据的存储一致性,该方法在JASMIN框架中监测应用程序的运行状态,当并行程序发生负载平衡或者重启动时刷新或者恢复数据。I/O过程中,进一步使用HDF5的分块I/O提高列存储数据的读写效率。测试表明,新方法不仅具有较好的可扩展性,还能在具有负载平衡与重启动等复杂功能的并行应用中提高采样数据的并行 I/O 效率7.5倍以上。     

并行文件系统Lustre细粒度I/O性能优化

并行文件系统Lustre粗粒度I/O性能良好,细粒度I/O性能相对粗粒度I/O比较低下,因此优化细粒度I/O性能成为提高系统整体I/O性能的关键问题。在研究和分析了Lustre的I/O访问模式、细粒度I/O服务流程和页面替换算法等方面后,提出了细粒度优先（Fine Grained First,FGF）LRU算法。在OST端及Client端的页高速缓存中最大程度地保留细粒度I/O的页面,降低细粒度I/O引起的页面下沉速度,延长细粒度I/O页面在主存中的时间,进而减少对磁盘的访问次数,降低磁盘访问开销。通过对实验数据的对比和分析,验证了FGF-LRU算法的有效性。在不影响粗粒度I/O性能的情况下,提高了细粒度I/O性能,最终实现提高系统整体I/O性能。     

基于多维数据库的CUBE优化算法

多维CUBE计算在多维分析和处理中非常重要,本文针对数组CUBE提出了划分的方法,通过一次扫描基本方体计算不完全数组方体的所有分组。实验数据表明该算法能充分利用内存空间、减少I/O次数,具有较高的计算效率。     

数值天气预报全球谱模式并行计算研究

本文首先给出数值天气预报全球谱模式的控制方程；接着，利用数值天气预报全球谱模式计算的复杂性和数据整体相关性，给出了基于二维数据剖分方法的并行算法，并从负载平衡、减少通信延迟以及Cache与I／O优化三个方面给出了并行实现策略。