中小规模分布式文件系统集群构架的优化方案

针对分布式文件系统的应用存在处理小文件效率不高的问题,提出一种适用于中小规模分布式文件系统集群的应用架构,将传统分布式文件系统集群中的内网划分为两个子网：对外子网和对内子网,对外子网中传输与外网之间的交互数据,对内子网中传输分布件系统集群的管理数据.每个数据结点同时与对外和对内两个子网连接,并代替名称节点负责与外网直接的数据交流;名称节点本身只与对内子网连接.对外子网与外网之间使用防火墙设备加强安全性,并使用负载均衡设备将来自外网的数据请求合理的分配到每个数据节点上;增加了缓存机制对系统处理小文件操作进行优化,部署实验环境,设计一个测试程序对缓存效率测试,对1000个100KB的文件,通过模拟多线程连续读取大量文件来测试缓存的性能,实验证明系统设计方案可行,增加磁盘缓存有利于提高系统处理小文件的存取效率,系统优化效果显著.     

云存储在校园信息化中的应用与优化

针对目前校园海量数据存储面临的服务器资源利用率低、管理维护成本高等问题,在云存储技术的基础上提出了校园云存储服务的设计,并进行了实验．为减少读写速率的损失,系统通过调用HDFS（Hadoop distributed file system）的API接口方式实现数据存储及对集群的状态监控和管理．实验表明：传输文件的大小和集群中数据节点的个数对云存储服务的数据读写速率的影响较大;HDFS并行传输大量小文件的速率相对较低．     

具有QoS特性的文件系统设计与实现

分析了硬盘数据访问机制,以及流媒体文件的特点和服务质量(QoS)要求,并在新的ATA／ATAPI流命令基础上,定义并实现了一种具有Qos特性的流文件系统,该文件系统在支持流媒体文件优先级和速率控制的同时,保证了软件架构的合理性。     

基于重复数据删除的快速文件归档方法

为了提高归档系统的存储效率及性能,提出了一种基于重复数据删除的快速文件归档方法（RAMBDD）,利用文件分块、比较数据块指纹、删除重复数据,实现了文件的数据块级归档。RAMBDD中给出了一种基于winnow-ing的重复数据删除方法LMCA,它在提高文件冗余检测率的同时也保证了文件分块的效率,并通过使用指纹快速检索方法和局部指纹缓存方法,减少了在查找不存在的数据块指纹时的磁盘读取次数,加速了查找重复数据块的过程。实验结果表明,与传统的文件归档方法相比,本方法大大节省了归档数据的存储空间和网络传输带宽,缩短了归档时间,提高了文件归档的效率。     

基于分条技术的磁盘阵列自适应数据分布优化

为提高磁盘阵列的响应时间和系统吞吐量,提出了一种自适应选择分条单元的方法.根据请求到达率将文件分为2类:访问频繁的文件通过满足实际所需吞吐量的方法选择分条单元;访问量不大的文件则采用自适应方法,即在相同硬件条件下,分条单元的选择只依赖于请求大小和请求到达率.并且,对分条单元的计算作了一定简化,只需要通过一个简单的公式,就可快速计算出较优的分条单元大小.通过理论分析和实验测试证明:该方法在时间和空间上都具有较好的性能.     

SQL-DFS:一种基于HDFS的海量小文件存储系统

针对Hadoop分布式文件系统( Hadoop distributed file system,HDFS)进行小文件存储时NameNode内存占用率高的问题,通过分析HDFS基础架构,提出了基于元数据存储集群的SQL-DFS文件系统. 通过在NameNode中加入小文件处理模块实现了小文件元数据由NameNode内存到元数据存储集群的迁移,借助关系数据库集群实现了小文件元数据的快速读写,并对小文件读取过程进行优化,减少了文件客户端对NameNode的请求次数;通过将部分DataNode文件块的校验工作交由元数据存储集群完成,进一步降低了NameNode节点的负载压力. 最终通过搭建HDFS和SQL-DFS实验平台,对HDFS和SQL-DFS 2种架构进行了小文件读写的对比测试,实验结果表明:SQL-DFS在文件平均耗时( file average cost,FAC)和内存占用率方面均明显优于原HDFS架构,具有更好的小文件存储能力,可用于海量小文件的存储.     

磁盘阵列Cache算法精确测评系统研究

磁盘阵列Cache算法的优劣是决定磁盘阵列性能的关键因素之一,精确的测试和评估方法对设计高效率的Cache算法至关重要.为了精确评估磁盘阵列中Cache算法的性能及其对系统I/O性能的影响,设计了一个Cache算法测评系统.依据磁盘阵列的系统构成和运行模式,建立了评估Cache算法的运行环境模型,包括I/O操作的产生和排队模块、Cache算法插槽模块、预取算法模块和磁盘模拟器4个部分.其中I/O操作的产生和排队模块能够产生多种形式的I/O操作负载及重放实际系统的I/O操作负载;Cache算法插槽模块用来挂载待评估的Cache算法;磁盘模拟器采用DiskSim,保证了测量磁盘I/O操作响应时间的精确性.系统能够精确测量Cache算法的命中率,以及对存储系统I/O操作平均响应时间的影响.实际测量了LRU算法的命中率和I/O操作平均响应时间,测量结果与既有的研究成果相吻合,从而验证了系统的性能.因此,系统具有良好的可靠性、可用性和可扩展性.     

基于串并行混合拣选策略的自动拣选系统品项分配优化

面向配送中心自动拣选系统的效率需求,提出了一种新型的串并行混合拣选策略,并设计了品项货位分配的优化方法。针对订单拣选作业,结合串、并行拣选策略的优点设计混合拣选策略:首先选择非干涉品项进行并行拣选,而后针对并行拣选后产生的间隙选择合适品项进行插空拣选,最后对剩余品项进行串行拣选。针对该拣选策略受品项货位分配影响较大的特点,设计了改进的小生境遗传算法对拣选系统的品项货位分配进行优化。仿真试验结果证明了串并行混合拣选策略和品项货位分配优化方法对提高自动拣选系统效率的有效性和可行性。     

HDFS平台上以能效为考量的小文件合并

为了解决Hadoop分布式文件系统(HDFS)平台上小文件的存在带来MapReduce程序运行能耗成本偏高问题,建立Hadoop节点集群的能耗模型进行分析推导,证明了在Hadoop平台上,存在能使程序运行能耗成本最低的最优文件大小,并在此基础上结合经济学边际分析理论提出一种基于能耗成本和访问成本考虑的最优文件大小判定策略. 此策略可以对存放在HDFS上的小文件合并进行效益计算,将小文件合并为成本最优文件大小以获得最佳收益. 通过实验证明了能效最优数据块大小的存在,并通过实验证明了成本和效益相结合利用边际分析理论来确定数据块大小的合理性和有效性.     

基于D2D通信的V2X资源分配方案

针对基于设备到设备(D2D)的汽车间通信复用蜂窝资源带来的干扰问题,考虑在满足车辆用户(V-UEs)的通信要求下,通过一个启发式算法最大化蜂窝用户(C-UEs)总的吞吐量.首先通过图着色原理将没有干扰的车辆分在同一簇;其次根据分簇结果,利用改进的匈牙利指派算法为V-UEs分配信道;最后通过调整功率最大化C-UEs总的吞吐量.仿真结果表明,此算法能够很好地解决车通信(V2X)的同层干扰和跨层干扰问题,在保证V-UEs通信可靠性的前提下,提高了频谱利用率.     

ST方案机顶盒文件系统的实现

分析了FAT文件系统的原理及其各部分结构组成。在此基础上,介绍了ST方案机顶盒上文件系统的实现,包括任意路径的访问、文件的读写和特定类型文件的搜索。通过一段时间的测试,该文件系统能很好地运行于机顶盒上,并能通过与USB层的配合正确地读写U盘文件。该文件系统的实现为ST机顶盒的基于文件功能进一步开发奠定了基础。     

基于混沌文件加密系统的设计与实现

在通信和云盘存储等应用领域中,电子文件加密是增强信息安全,防止网络盗窃的重要途径.本文提出一种新的加密方法及其加密系统的硬件实现,采用混沌反控制理论设计两个三维离散时间混沌系统,在两个混沌系统中各取一个状态变量相乘和取模后对文件进行加密,并对加密算法进行安全分析.为使加密文件保持原有的格式,加密系统只加密文件的数据部分,不加密格式部分,从而避免因格式破坏导致格式不兼容的问题.加密系统主要基于片上可编程芯片（SOPC）实现,其中加密算法由FPGA实现,以太网通信由ARM核实现.实验结果显示,电子文件能够正确加密和解密,加密文件仍然保持格式兼容,表明该方法具有良好的安全性能及技术可行性.     

异构集群独立任务调度问题的自适应免疫算法

异构集群独立任务调度问题是一个典型的NP难题.面向这一难题,现有的启发式调度算法,如RC、DGA等都没能兼顾实时性与负载均衡能力.人工免疫是一个新的人工智能技术,在解决组合优化难题方面,表现出了较好的性能.文章建立了一个异构集群任务调度模型,基于免疫响应的克隆选择原理和亲和力成熟机制,提出了异构集群独立任务调度问题的自适应免疫算法(AIBA).在AIBA中,通过注入抗体和动态计算负载均衡阈值的方法,将LPT算法的实时性与人工免疫系统的组合优化能力有机地结合了起来.最后,通过模拟实验对算法进行了测试和比较.实验结果显示,与DGA相比,该算法具有自适应调整能力,能动态地兼顾实时性与负载均衡度指标,有很强的实用性.     

非均匀故障保护的分组修复码构造

考虑到实际分布式存储系统中存在热度不同的文件,构造了一种基于非均匀故障保护的分组修复码（GRC-NFP）,可对热文件和高故障概率节点提供更高等级保护,并降低多故障节点修复的磁盘读取开销.在文件冷热分组后,用所存目标节点故障概率表征数据块故障概率,并排序,存入长度依次递增的多个数据分组,并生成组编码块.性能分析和实际系统部署结果表明,与里德-所罗门码和分组修复码相比,GRC-NFP可在存储开销较小的条件下拥有较高的容错能力和较低的修复局部性,并且使热文件能够受到更有效地保护.系统部署下较少的编码和故障修复时间进一步证明了GRC-NFP的可行性.     

皮纳卫星数据存储系统设计与在轨验证

为提高皮纳卫星数据存储系统性能和可靠性,提出了一种基于3种介质的"三级数据存储+三模容错架构"存储系统策略.首先,基于对星载存储介质的现状和故障特性分析,选择存储器件;然后对文件系统操作流程进行详细研究,提出错误来源;由此提出了采用ECC纠错、冗余备份和电流保护的方法提高系统可靠性;提前预分配文件空间,建立环形数据存储结构,以减少FS操作复杂性,降低错误率;结合RAM、FRAM、SD卡(secure digital card,SDC)三者的优点,采用三级数据存储策略来提高存储速度和故障容错能力;最后,通过地面实验测试,在1 MB总数量时,数据写入速度提高约4.7倍,任一SDC异常或者系统突然断电均不影响系统正常工作,数据丢失≤1帧,故障切换时间≤10 ms.卫星在轨运行过程中,FS、文件和介质均工作正常,且未影响其他系统工作.地面实验和在轨验证结果表明,数据存储系统方案有效可行,系统可靠性和读写性能均能满足卫星系统的任务需求.     

Load Balancing Algorithm for Cache Cluster

By the load definition of cluster, the request is regarded as granularity to compute load and implement the load balancing in cache cluster. First, the processing power of cache-node is studied from four aspects: network bandwidth, memory capacity, disk access rate and CPU usage. Then, the weighted load of cache-node is customized. Based on this, a load-balancing algorithm that can be applied to the cache cluster is proposed. Finally, Polygraph is used as a benchmarking tool to test the cache cluster possessing the load-balancing algorithm and the cache cluster with cache array routing protocol respectively. The results show the load-balancing algorithm can improve the performance of the cache cluster.     

LINUX2.5下的异步I/O在FTP服务器上的应用

分析了异步I/O技术与同步I/O技术在FTP服务器上应用后的性能差异;给出了在 LINUX2.5 下使用异步I/O编程接口完成异步I/O操作的步骤;实现了用异步I/O取代同步I/O存储文件;对比实验验证了异步I/O性能的优势.     

基于网络存储的异构集群文件系统研究与实现

分析了存储区域网络环境下多平台文件共享所面临的主要问题及解决途径，提出了一个基于网络存储的开放系统与大型机集群文件系统，该系统采用第三方数据传送和大型机文件系统模拟的方法，解决了开放系统的字节流型文件系统与大型机的记录型文件系统的互操作问题，进而利用一些I／O性能优化策略实现了一个高性能的用户态运行库(Runtime Library)，使得开放系统上的应用程序利用该运行库可以实现对网络存储上大型机文件的高速访问。实验结果表明，与传统的客户／服务器文件共享模式相比，该系统具有更高的性能。     

基于键值存储的元数据集群副本一致性研究

设计一个高性能、高可靠性的分布式文件系统元数据集群,需要解决的一个很重要的问题便是副本一致性。传统的一致性维护方法大多用于保证副本间强一致性,但是强一致性容易对系统的读写性能造成较大影响。该文提出了一种基于键值存储引擎的元数据集群副本一致性管理策略,并从副本的放置、读写、恢复以及更新这4个方面展开详细阐述了具体的维护副本方法,最终实现灵活的、用户可配置的副本一致性约束。而且基于键值的存储方式能有效缓解负载均衡不足、数据可用性和查询性能欠缺的问题,满足元数据信息的高并发、高性能访问需求。     

成本感知的云服务请求调度

提出了一种基于动态重用的成本感知的云服务请求调度算法, 不仅能够根据当前的系统负载状况和云服务请求的可分性特征,按需租用和重用虚拟资源,实现云服务动态请求的优化调度,而且还能在满足服务等级协议约束的同时,最小化虚拟资源租赁成本,增加云服务供应商的利润. 仿真实验表明,提出的算法的资源利用率、运营利润均高于用以对比的调度算法.