集群计算并行I/O中动态文件分配策略

针对集群计算系统中并行I／O文件分配问题进行了研究,提出一种新的动态文件分配算法一启发式负载与服务时间变化综合平衡策略。该策略将所需要的访问服务时间相似的文件分配到集群系统的同一结点磁盘上,并保证每个磁盘上的负载值不超过负载平衡的极限值,从而在所有结点磁盘间既基本实现负载均衡,又使每个磁盘上文件间的服务时间变化最小化。实验结果表明了该策略在性能提高方面的有效性。     

基于动态副本技术的云存储负载均衡研究

以系统总响应时间最小化为目标,以文件热度为依据,提出了一种多时间窗负载均衡策略。在计算文件热度时,不仅考虑了访问的次数和大小,还将I/O访问时序引入到文件热度统计中,该方法能有效控制短时间突发性数据访问导致的不必要副本创建。在多时间窗负载均衡策略中,设置了三种不同大小的时间窗口,分别实现了存储节点负载均衡、文件副本的负载均衡以及低热度文件多余副本的删除工作。实验数据表明,多时间窗负载均衡策略能显著降低I/O访问响应时间。     

并行文件系统自适应的文件条带化技术

研究并行文件系统自适应的文件条带(Striping)策略对改进文件访问性能的影响,并开发动态的文件条带分析模型,利用自动访问模式分类和实时文件系统性能数据为文件条带策略选择模糊逻辑规则库,来优化文件访问性能。研究结果表明：当文件系统负载低时,可以尽量将文件分布到所有磁盘上来最小化I/O的反馈时间;反之,在系统负载高时,使文件分布的范围小一些以便最大化文件系统整体的吞吐量。并通过实验给出了请求大小、请求宽度、请求到达率与系统性能的相互关系,实证了自适应规则库的正确性。     

多媒体文件服务器的磁盘带宽分配策略

讨论多媒体文件服务器磁盘I/O带宽的分配策略问题,提出一种根据不同应用请求的负载变化情况对服务器磁盘带宽进行自适应分配的算法。该算法由负载检测模块、带宽管理模块组成,提高了多媒体文件服务器的易管理性,在短暂的过载情况下保持了服务器的稳定性,为更多的软实时请求提供服务。     

集群服务器在混合请求下的负载均衡优化算法

针对Web集群服务器在处理分配混合页面访问任务时开环负载均衡算法导致局部服务器负载偏高而降低系统效率的问题,建立了一类基于动态调节的闭环负载分配策略。根据服务器处理Web访问页面类型的特点,建立静态页面与动态页面混合处理的负载量模型,形成处理不同服务请求与负载均衡的内在动态映射关系,以此优化静态页面缓存与调用方式,并基于服务器负载率动态预测和均衡指标,采用负载率偏差最小的任务权重最优分配模型,确定服务器集群的最优任务权重,实现了服务器集群处理混合页面访问的负载均衡分配策略和算法。仿真结果验证了负载均衡算法的正确性和有效性,可以达到更好的负载均衡效果。     

一种细粒度均衡的新型分布式文件放置算法

为保证访问负载的均衡分布,分布式存储系统往往依赖访问热度信息进行文件放置。然而,访问热度信息在文件存入系统时刻并不可知,并且随时间不断变化,依赖访问热度信息的放置算法需要不断调整文件的存储位置,产生高昂的迁移成本。本文提出一种细粒度均衡的新型分布式文件放置算法。该算法利用文件访问热度同已创建时间之间的相关性,通过保证各节点所存储数据量在创建时间维度上的细粒度相似性,实现较好的访问负载均衡。该算法仅基于文件的创建时间属性,该属性在文件存入系统时刻属于已知信息并且不随时间变化。实验结果表明,相较于HDFS系统的随机放置算法,本文算法能够更好地实现访问负载的均衡分布,提高访问性能。     

一种基于部分访问特性的CDN流媒体内容改进分发策略

分析用户对流媒体文件的部分访问特性,以同一流媒体文件不同部分流行度为依据,对传统的CDN中流媒体文件等长分段策略做出改进;依据不同类型流媒体文件的流行度,对CDN中流媒体文件所的采用主动"推送"策略进行了改进,提出一种基于部分访问特性依概率的流媒体主动"推送"策略。最后通过仿真实验,证明改进后的分发策略可以有效地降低中心源服务器的负载,提高代理服务器缓存空间的利用率。     

基于预测的云计算热点数据副本因子决策算法

为了提高数据的可用性和集群的整体性能,目前的HDFS(Hadoop Distributed File System)采用了副本数目固定的副本放置技术,然而由于文件热度存在较大差异,对那些具有较高热度文件的访问将影响作业的执行。为克服上述问题,本文提出一种基于预测的热点数据副本因子决策算法。根据数据的最近访问特征,基于灰色预测技术,采用马尔科夫预测模型修正因数据波动和突发访问造成的预测偏差,获取文件的未来访问热度,并基于预测值建立有限通道服务模型,寻找满足用户需求的最小副本因子。实验表明,较之现有的副本管理策略和基于实时热度调整副本因子策略,本策略可以有效减少热点数据的访问冲突,减少热点数据作业的执行时间和网络负载。     

基于空间拥塞博弈的自适应负载频谱分配算法研究

未来认知无线网络中,特定区域的频谱拥有者控制大量不同带宽的频谱带并为不同的认知用户提供通信服务,如何在这多个频谱服务提供者和多认知用户共存的环境中提高动态频谱访问的可靠性,从而实现频谱访问的负载均衡成为了一个关键问题。通过对上述多对多分配问题进行简化,并运用空间拥塞博弈模型对其进行扩展分析,提出了基于空间拥塞博弈的自适应负载频谱分配算法,对算法纳什均衡存在性进行了理论分析并详述了添加负载调控的效用函数设计。仿真实验结果表明,本算法能有效加快收敛速度,提高系统吞吐量,达到改善频谱访问可靠性和均衡负载的效果。     

两级元服务器机群文件系统的负载平衡策略

提出了一种两级元数据服务器机群文件系统的负载平衡策略,高级元服务器依据与二级元服务器性能最密切相关的负载信息将任务快速分配,在存储文件时,提出了一种能正确反映各存储节点I/O流量和存储量的方法：计算文件热量值,并据此对待存文件进行了合理的分配存储。实验结果表明,该策略提高了系统的性能,缩短了任务执行时间,取得了较好的效果。     

倒排文件索引缓存机制的优化

为了有效提高搜索引擎检索服务系统的整体性能,提出了一种基于倒排文件索引的缓存机制优化方法。具体研究过程是：首先分析倒排文件缓存的体系结构和数据加载,接着讨论负载数据对倒排文件缓存和缓存替换算法的影响,最后通过设计仿真实验研究倒排文件的缓存优化。研究结果表明,采用倒排文件索引的缓存机制优化方法可以明显减少磁盘系统I/O访问次数,提高磁盘系统带宽的利用率。     

基于可用性度量的分布式文件系统节点失效恢复算法

现有分布式文件系统中处理节点失效时采用的恢复策略耗费较多的带宽与磁盘空间资源,且影响系统的稳定性。通过研究分布式文件系统HDFS集群结构、数据块存储机制、节点与数据块状态之间的关系,定义了集群节点矩阵、节点状态矩阵、文件分块矩阵、数据块存储矩阵与数据块状态矩阵为度量数据块可用性建立了基础数据模型。在实现数据块可用性度量基础上,设计了基于可用性度量的节点失效恢复算法并分析了算法的性能。实验结果表明:新算法在保证系统中所有数据块可用性的前提下比原恢复策略减少了恢复所需带宽与磁盘资源,缩短了节点恢复时间,提高了系统稳定性。     

VBR视频在MZR磁盘上的比例安置

文章在分析了变位率（VBR）视频和多区记录（MZR）磁盘特性的基础上,提出了一种比例安置算法：视频数据块按尺寸、分比例安置到相应的记录区上。这种算法和其它算法相比简洁、更有效地利用了磁盘带宽和能支持更多视频流的同时检索。     

面向HDTV视频存储的专用文件系统

分析了HDTV视频存储的原理,讨论了实际应用中通用文件系统在连续媒体存储方面遇到的问题,归纳出多媒体文件系统应具备的功能和磁盘调度算法,提出了一种满足连续媒体存储策略的专用文件系统,提高了资源利用率和服务质量,并基于系统硬件平台,设计了适用于软件实现的算法逻辑.     

一种流媒体系统中文件存储分配算法

随着集群搭建的高性能计算中心快速发展,海量数据处理中CPU和内存的速度已经有了质的飞跃,但是I／O部分的速度仍是制约整个系统性能的瓶颈。本论文目的在于通过深入研究流媒体系统的特性,来提取出一种高效、均衡的文件存储分配策略,增大服务并行度并且减小服务延时。首先对媒体文件进行特征评估,然后通过存储调度器进行磁盘间的均衡性平摊,进而应用更细粒度的分划。做到每个磁盘内部的存储分布优化。仿真结果验证了算法的有效性,这样的分配策略可使盘间、盘内在数据组织上更为合理,有效的提高了并行服务能力,提供了更加迅捷的用户体验。。     

一种集群计算系统中并行I/O文件存储分配策略

现代计算机系统性能已经由受限于CPU转变为受限于I／O，近年来研究人员对高性能计算中的并行I／O问题进行了深入研究．本论文的主要工作是对集群计算中的并行I／O子系统进行研究，提出一种文件拆分与存储分配的新策略，即：已知知识的文件拆分与分配方法(KKFDA)，该方法保证文件存储方式与访问方式的一致性，达到了提高文件访问时的本地命中率、缩短访盘响应时间的目的．算法设计与实验证明了方法的有效性．     

分块组织技术的倒排索引方法研究

为了进一步提高检索系统的整体效率,提出了一种分块组织技术的倒排索引方法。具体研究过程是在数据统计的基础上产生倒排索引的检索性能模型,分析倒排文件分块索引项的组织策略,通过仿真实验对检索性能模型进行验证。研究结果表明：分块组织倒排文件方法可以在较小的检索算法循环次数下,获得较高的算法效率,显著减少检索算法的执行时间,验证了倒排文件分块索引方法的可行性。     

基于磁盘表存储FP-TREE的关联规则挖掘算法

随着现实待挖掘数据库规模不断增长,系统可使用的内存成为用FP-GROWTH算法进行关联规则挖掘的瓶颈.为了摆脱内存的束缚,对大规模数据库中的数据进行关联规则挖掘,基于磁盘的关联规则挖掘成为重要的研究方向.对此,改进原始的FP-TREE数据结构,提出了一种新颖的基于磁盘表的DTRFP-GROWTH(disk table resident FP-TREE growth)算法.该算法利用磁盘表存储FP-TREE,降低内存使用,在传统FP-GROWTH算法占用过多内存、挖掘工作无法进行时,以独特的磁盘表存储FP-TREE技术,减少内存使用,能够继续完成挖掘工作,适合空间性能优先的场合.不仅如此,该算法还将关联规则挖掘和关系型数据库整合,克服了基于文件系统相关算法效率较低、开发难度较大等问题.在真实数据集上进行了验证实验以及性能分析.实验结果表明,在内存空间有限的情况下,DTRFP-GROWTH算法是一种有效的基于磁盘的关联规则挖掘算法.     

A high performance NAND array file system based on multiple NAND flash memories

The existing NAND flash memory file systems have not taken into account multiple NAND flash memories for large-capacity storage. In addition, since large-capacity NAND flash memory is much more expensive than the same capacity hard disk drive, it is cost wise infeasible to build large-capacity flash drives. To resolve these problems, this paper suggests a new file system called NAFS for large-capacity storage with multiple small-capacity and low-cost NAND flash memories. It adopts a new cache policy, mount scheme, and garbage collection scheme in order to improve read and write performance, to reduce the mount time, and to improve the wear-leveling effectiveness. Our performance results show that NAFS is more suitable for large-capacity storage than conventional NAND file systems such as YAFFS2 and JFFS2 and a disk-based file system for Linux such as HDD-RAID5-EXT3 in terms of the read and write transfer rate using a double cache policy and the mount time using metadata stored on a separate partition. We also demonstrate that the wear-leveling effectiveness of NAFS can be improved by our adaptive garbage collection scheme.