基于MapFile的HDFS小文件存取优化

分布式文件系统(HDFS)存取大文件有很好的性能,但存取海量小文件时效率很差。鉴于此,提出一种小文件存取优化策略。存储小文件时,客户端将它们按类型和访问权限分类合并成MapFile,合并后的大文件交给HDFS处理。读取小文件时,引入由Nexist文件缓冲区域、一级缓存和二级缓存组成的缓存模块。实验表明,该策略能有效降低存取海量小文件时主节点中内存的消耗,同时减少了小文件的存取时间,极大提高存取的性能。     

SQL-DFS:一种基于HDFS的海量小文件存储系统

针对Hadoop分布式文件系统( Hadoop distributed file system,HDFS)进行小文件存储时NameNode内存占用率高的问题,通过分析HDFS基础架构,提出了基于元数据存储集群的SQL-DFS文件系统. 通过在NameNode中加入小文件处理模块实现了小文件元数据由NameNode内存到元数据存储集群的迁移,借助关系数据库集群实现了小文件元数据的快速读写,并对小文件读取过程进行优化,减少了文件客户端对NameNode的请求次数;通过将部分DataNode文件块的校验工作交由元数据存储集群完成,进一步降低了NameNode节点的负载压力. 最终通过搭建HDFS和SQL-DFS实验平台,对HDFS和SQL-DFS 2种架构进行了小文件读写的对比测试,实验结果表明:SQL-DFS在文件平均耗时( file average cost,FAC)和内存占用率方面均明显优于原HDFS架构,具有更好的小文件存储能力,可用于海量小文件的存储.     

海量小文件元数据的分布式存储与检索

针对现有分布式文件系统处理海量小文件时存在的主节点元数据处理性能瓶颈问题,提出采用分布式文件来存储元数据,并通过元数据缓冲和Hash映射实现元数据的分布;采用Map Reduce并行程序对元数据检索进行了实现,并指出了并行检索中存在的问题,提出采取局部位图索引对元数据检索进行了优化．最后通过实验进行了验证,实验结果证明,该方法实现了海量元数据的分布式存储与检索,避免了现有分布式文件系统在处理海量小文件时存在的主节点单点性能瓶颈．     

HDFS平台上以能效为考量的小文件合并

为了解决Hadoop分布式文件系统(HDFS)平台上小文件的存在带来MapReduce程序运行能耗成本偏高问题,建立Hadoop节点集群的能耗模型进行分析推导,证明了在Hadoop平台上,存在能使程序运行能耗成本最低的最优文件大小,并在此基础上结合经济学边际分析理论提出一种基于能耗成本和访问成本考虑的最优文件大小判定策略. 此策略可以对存放在HDFS上的小文件合并进行效益计算,将小文件合并为成本最优文件大小以获得最佳收益. 通过实验证明了能效最优数据块大小的存在,并通过实验证明了成本和效益相结合利用边际分析理论来确定数据块大小的合理性和有效性.     

移动容迟网络中基于改进随机路点模型的移动连接路由

在移动容迟网络中,考虑到稀疏网络节点混存长时间被无效消息占用情况,将移动连接路由算法与倒数计时器和快速缓存释放策略相结合,提出了加速缓存释放的移动连接路由算法,并研究了节点移动速率、通信距离、节点数量、消息有效时间、场景尺寸等对算法性能的影响。结果表明:该路由算法在保证传输可靠性的前提下能够提高网络的传输效率。     

云存储在校园信息化中的应用与优化

针对目前校园海量数据存储面临的服务器资源利用率低、管理维护成本高等问题,在云存储技术的基础上提出了校园云存储服务的设计,并进行了实验．为减少读写速率的损失,系统通过调用HDFS（Hadoop distributed file system）的API接口方式实现数据存储及对集群的状态监控和管理．实验表明：传输文件的大小和集群中数据节点的个数对云存储服务的数据读写速率的影响较大;HDFS并行传输大量小文件的速率相对较低．     

适合于多频道移动Ad Hoc网络的媒体接入控制协议研究

提出了一种适用于移动Ad Hoc网络的媒体接入控制协议．在该协议中,所有的节点被划分成若干个子网,且每个节点可处于不同的子网．相邻的子网采用不同的频道．在一个子网中,采用令牌来控制各个节点依次进行传输,以便解决传输的碰撞问题．通过限制每个子网中的最大节点数,来保障实时业务的服务质量．同时,文中还提出一种动态令牌传递算法,该算法无需预先建立逻辑的令牌传递环路,而是根据网络的拓扑结构,动态地选择令牌的传递路径．因此,它能很好地适应网络拓扑结构的变化,并简化了令牌的维护过程．     

利用代理服务器实现对内网服务器的安全访问

在局域网中 ,代理服务器多用作内网的用户访问外网的管道 ,它可以提供企业级的文件缓存、复制和地址过滤等服务。通过设置代理服务器 ,使其起到firewall的作用 ,并且通过多穴主机的方式隔离内、外网 ,提供监控网络和记录传输信息的功能     

基于Hadoop的小文件存储优化方案

Hadoop作为成熟的分布式云平台,对较大的文件提供了可靠高效的存储服务,但在处理海量小文件时效率显著降低。该文提出了基于Hadoop的海量教育资源小文件的存储优化方案,利用教育资源小文件间的关联关系,将小文件进行合并成大文件以减少文件数量,并索引机制访问小文件、元数据缓存和关联小文件预取机制来提高文件的读取效率。实验结果表明,该方法提高了Hadoop文件系统存储小文件的存取效率。     

基于SPICE协议的USB重定向数据压缩方法研究

针对目前桌面云环境中USB重定向的实现方式会占用大量的网络带宽,在无线及外网使用的条件下,SPICE访问虚拟机效果差的问题,提出一种基于SPICE协议的USB重定向数据压缩方法.该方法在USB摄像头传输、大文件拷贝等大量数据传输的场景下,分别通过SPICE客户端和服务端来实现数据的压缩.对于视频数据的传输,由客户端进行视频帧的编码传输,qemukvm服务端接收编码数据后进行解码还原成原始帧,然后进行后端的处理.对于非视频数据对象等普通数据的传输,客户端和服务端都需要进行数据的压缩和解压缩处理.实验表明,通过压缩处理的数据在传输过程中能大大提高传输效率,改善USB重定向的效果,提升用户通过SPICE访问虚拟机的整体体验.     

基于重复数据删除的快速文件归档方法

为了提高归档系统的存储效率及性能,提出了一种基于重复数据删除的快速文件归档方法（RAMBDD）,利用文件分块、比较数据块指纹、删除重复数据,实现了文件的数据块级归档。RAMBDD中给出了一种基于winnow-ing的重复数据删除方法LMCA,它在提高文件冗余检测率的同时也保证了文件分块的效率,并通过使用指纹快速检索方法和局部指纹缓存方法,减少了在查找不存在的数据块指纹时的磁盘读取次数,加速了查找重复数据块的过程。实验结果表明,与传统的文件归档方法相比,本方法大大节省了归档数据的存储空间和网络传输带宽,缩短了归档时间,提高了文件归档的效率。     

基于主动网络技术的分布式事件关联机制

在分析传统网管的弊端和产生大量冗余事件机理的基础上，提出了一种基于主动网络技术的分布式事件关联机制，该机制在每个子网边界设置主动节点，利用主动网络中主动节点具有可编程的特点，执行相关的故障数据关联策略，实现子网内部事件关联，剔除冗余事件．详细地讨论了事件关联策略．在网管系统中的运用该机制的结果表明该机制能够快速、准确地进行事件关联，提高网管性能．     

官渡：一种用于命名数据MANET网络的缓存策略

针对在命名数据自组织移动网络( named data mobile ad hoc network, NDM)中,原命名数据网络( named data networking,NDN)默认的沿路径全缓存策略会占用网络节点上大量缓存空间,因而不适用于NDM中存储空间有限的移动节点问题,设计了一种适用于NDM的缓存算法,取名官渡策略,意在将最有用的内容布置在最合适的节点上响应尽可能多的兴趣包。该算法基于间隔缓存等思路,综合考虑了节点间距离、节点缓存储空间和网络缓存分布等影响因素,并尽可能地简化以便使其具有可用性。实验结果表明：官渡策略可以有效地减少缓存空间,并维持较高的应答率,代价是增加少量的网络流量和承担一部分的网络延迟。官渡缓存策略相对简单,实现开销小,因此,更适合于节点存储空间小、计算能力有限的NDM网络。     

CAID系统与AutoCAD14图形数据交换

通过对ＣＡＩＤ系统的数据结构和ＤＸＦ文件格式的详细剖析,利用ＶｉｓｕａｌＣ＋＋语言为ＣＡＩＤ系统设计了访问ＤＸＦ文件的接口,实践表明,ＤＸＦ接口具有处理信息全面和转换效率高等优点,对其它ＣＡＤ系统与ＡｕｔｏＣＡＤ１４系统的图形数据交换具有参考价值。     

通讯连接在多用户文件共享系统中的应用

分析了分布式文件共享系统的现状，提出了一种基于对等技术实现的通讯连接方法，并将此方法应用在多用户分布式文件共享系统中.系统以共享名为主，服务器只拥有共享名列表，共享文件和共享文件目录分布在远端计算机中，实现客户端和客户端直接互访.共享信息不通过服务器，避免了共享信息的不合理公开，降低了服务器的信息流量，减小了服务器的工作负担，充分利用了客户端的处理能力，将网络终端分散的资源进行了合理的组织.     

一种多级P2P文件交换系统架构的研究

针对现有P2P软件系统采用单层或双层架构所带来的效率低、无法合理进行有效的数据交换的缺点,提出了一种新的三层多级P2P文件交换系统架构。在现有IPv4网络上,该系统采用独特的根服务器/组服务器/用户三层多级架构提高系统性能;使用UDP隧道技术解决了两台计算机在不同的NAT内的文件交换问题;采用新的搜索模式,对文件信息进行了有效的分类和索引,并实现了对文件交换的全程监控。运行结果表明,该系统有效地利用了网络带宽,使文件传输的效率得到了提高。     

面向CPS的节点文件系统

针对信息物理融合系统(CPS)的时间关键性和节点二级存储的必要性,在深入研究闪存文件系统和传感节点存储系统的基础上,提出一种级联日志策略和虚拟扇区映射技术相结合的方法来保证数据操作的可预测性,并优化文件架构和数据操作来提高文件系统效率. 仿真测试表明,系统的顺序输入/输出(I/O)性能与随机I/O性能稳定,且代码映像较小,便于部署在存储资源有限的节点系统上.