基于Hadoop的访问热点副本迁移技术

提出一种云环境下的访问热点负载均衡模型：基于节点的吞吐量与响应时间等主要参考指标,构建节点负载判定模块;文件在HDFS存储的过程中,将文件对应的数据块编号与存储路径相结合,设计存放在数据节点中的数据块到文件目录映射表;提出一种基于节点负载以及节点的存储空间的迁移源节点和目标节点选择方法;基于机架感知的机制,制定一种动态副本迁移方案。最后利用执行器下发指令给相应的数据节点,执行具体的迁移任务以及完善迁移后副本因子等参数信息的调整。通过迅速扩散副本的方式,来增加热点文件的副本数量,使得系统能够对外提供更大的吞吐量,缩短系统反应时间。      

针对负载均衡的P2P动态副本策略

对等网络系统面临的最大的问题就是负载均衡.针对P2P网络中负载均衡的问题,提出了两种基于动态副本策略的负载均衡技术:周期性副本策略和基于需求的副本策略.在周期性副本策略里,每个超级节点周期性地把文件的副本发送给请求该文件频率最高的远程超级节点.在基于需求的副本策略里,当一个超级节点发现其对某个文件的访问频率过高时,就向拥有该文件的超级节点发送文件请求,以获得该文件副本.本文分析了这两种技术的平均访问代价和副本负载代价.一系列的模拟实验证实了这两种技术的可行性及其带来的好处.     

基于预测的云计算热点数据副本因子决策算法

为了提高数据的可用性和集群的整体性能,目前的HDFS(Hadoop Distributed File System)采用了副本数目固定的副本放置技术,然而由于文件热度存在较大差异,对那些具有较高热度文件的访问将影响作业的执行。为克服上述问题,本文提出一种基于预测的热点数据副本因子决策算法。根据数据的最近访问特征,基于灰色预测技术,采用马尔科夫预测模型修正因数据波动和突发访问造成的预测偏差,获取文件的未来访问热度,并基于预测值建立有限通道服务模型,寻找满足用户需求的最小副本因子。实验表明,较之现有的副本管理策略和基于实时热度调整副本因子策略,本策略可以有效减少热点数据的访问冲突,减少热点数据作业的执行时间和网络负载。     

一种基于副本的PVFS负载均衡机制

并行虚拟文件系统PVFS的数据服务器缺少负载均衡机制,因此存在热点服务器,降低了系统整体性能.提出了一种基于副本的负载均衡机制,通过文件数据备份的方式进行负载迁移,以解决这一瓶颈问题.其通过选择备份文件时权衡文件的热度与大小以降低数据备份的开销,将热点数据以较小代价转移到较空闲的服务器上,有效地提高了整个系统的数据吞吐量.其主要涉及了热点监测、数据备份源-目的节点选择以及备份文件策略3个部分的工作.实验结果表明:提出的负载均衡机制有效地提高了系统的整体性能,最高达到了24%.     

流媒体集群系统中多目标复制存储方法

分析流行度分布、会话长度、负载均衡度等因素对系统性能的影响,在流媒体集群系统中提出一种多目标复制存储方法。将副本生成问题归纳为席位分配问题,给出最优副本生成算法,根据文件流行度服从Zipf-like分布的特点,启发式地将磁盘空间分配给各流媒体副本,以平衡副本负载。在此基础上,设计基于进化的全局最优的副本放置算法。仿真结果证明,该方法可在存储空间受限的情况下实现较低的拒绝率和较高的负载均衡度。     

结构化对等网中一种副本概率选择算法*

结构化P2P系统常采用为热点文档创建副本的方法,降低存有热点文档节点的负载.从如何高效利用副本的角度出发,提出了一种副本概率选择算法(PRS),采用能者多劳的思想,请求数据包以较大的概率转发到负载轻的副本节点上.让轻负载节点分担更多的负载,充分利用了副本分担负载的能力.模拟实验表明,该算法在创建副本数相同的情况下,大大降低了丢包数,提高了副本的利用率.     

一种新的动态副本管理机制

提出了一种新的动态副本管理机制。该机制根据文件受欢迎的程度，增加受欢迎程度高的文件副本数量，选择高性能节点存放文件副本，从而使系统自动调整文件副本数量以及副本存放位置，平衡节点负载，提高文件的可用性。     

基于动态副本技术的云存储负载均衡研究

以系统总响应时间最小化为目标,以文件热度为依据,提出了一种多时间窗负载均衡策略。在计算文件热度时,不仅考虑了访问的次数和大小,还将I/O访问时序引入到文件热度统计中,该方法能有效控制短时间突发性数据访问导致的不必要副本创建。在多时间窗负载均衡策略中,设置了三种不同大小的时间窗口,分别实现了存储节点负载均衡、文件副本的负载均衡以及低热度文件多余副本的删除工作。实验数据表明,多时间窗负载均衡策略能显著降低I/O访问响应时间。     

云计算架构下的动态副本管理策略

为有效管理云计算环境中的数据副本,减少系统带宽消耗、最小化响应时间和平衡负载,提出了一种动态副本管理策略.通过建立文件可用性和副本数量间的关系模型来计算系统应维持的最小副本数量;基于数据被请求访问的次数和传输花费进行副本放置;数据被请求时结合节点间带宽和节点效用选择副本.实验结果表明了该策略的正确性有效性.     

基于热度的Hadoop快速副本复制算法

在云存储中心, 由于节点失效带来的文件数据块副本丢失不仅会影响系统的可靠性, 还会影响文件的并发访问效率. 针对Hadoop中默认的副本复制方法存在的问题, 即副本复制过程某些节点数据传输过于集中, 负载不均衡, 磁盘I/O吞吐率低, 提出一种基于热度的快速副本复制算法. 该算法优先复制热度高的数据块, 合理选择数据块复制的源节点和目的节点. 仿真结果表明, 该算法平衡了系统的工作负载, 提高了磁盘I/O吞吐率, 显著降低用户请求平均响应时间.     

基于区块链的分布式离链存储框架设计

随着分布式存储技术的不断发展,越来越多的企业、政府机构用户将数据保存在云端,实现大数据的分布式存储和数据资源共享。区块链技术的去中心化、可追溯、不可篡改、数据一致性等特点,为解决云存储存在的隐私和安全挑战问题带来了新的契机。文章提出了一种基于区块链的分布式离链存储框架。在区块链中部署区块节点和存储节点,其中区块节点用于执行底层区块链运行机制,存储节点用于存储数据和文件,通过将区块和存储功能区分开实现了离链存储,保证了区块链的运行效率。此外,文章还提出了一个使用基于经典数据占有机制的全局交互验证方法,以确保数据文件的分布、可靠和可证明的存储。用户向区块链中添加区块(存储文件)时会触发公平挑战机制的审核机制,从而隐式验证离链存储的所有文件是否完整。     

结合云存储的新一代博客系统架构

为解决新一代博客系统海量信息的存储问题,结合云存储技术,提出了一种新的博客系统架构BlogCloud。该架构以分布式存储技术为核心,避免了集中式存储的性能瓶颈问题,可扩展性高;采用半分布式P2P网络拓扑结构,能快速定位网络中的存储资源;只将稳定节点作为存储节点,避免了不稳定节点带来的网络波动问题;遵循就近存储原则,同时在客户端缓存文件,减少了网络传输;允许用户自定义文件分块的大小,对大的文件可分块并行传输,提高了文件传输的速度,对小的文件则不用分块,节省了文件分块、合并的开销;具备数据冗余备份功能,在网络中多个存储节点保留文件副本,并实行异地备份,增强了数据的安全性和可靠性。在虚拟机上对BlogCloud和ZSWIN博客系统进行比较测试,结果显示:BlogCloud的吞吐量明显高于ZSWIN;将不稳定节点作为存储节点会降低BlogCloud的性能;在存储节点和索引节点减少的情况下BlogCloud仍然能够稳定运行,可靠性较高。结果表明,BlogCloud架构能够满足新一代博客系统的存储要求。     

对等网络信任度分布式存储的研究

利用结构化对等网络的优点,由网络中的部分节点组成结构化的叠加网络来储存节点信任度的多个拷贝,并提出了节点信任度的加密报告机制和简单的报告消息验证方法,抵抗恶意节点篡改自己或同伙的推荐的企图.这种方法能够在进行全局信任度计算时,将离开系统的节点的评价纳入考虑的范围,并保证在需要使用信任度值时,确定的有限步内找到信任度文件.     

国产化环境下的海量小文件数据分布式存储技术

为缓解单一存储设备存储海量小文件的压力,提出了一种国产化环境下的海量小文件数据分布式存储技术。利用聚类算法实现海量小文件合并。以达到最大均衡度为目标,在多项约束条件下利用人工鱼群算法求解分布式存储方案。按照分布式存储方案将海量小文件数据迁移到存储节点及其存储设备上,完成海量小文件数据分布式存储。结果表明：14个存储节点和28个存储设备的内存占用较为均衡,内存资源利用率较高。将小文件样本迁移并存储到节点的过程中,分布式存储均衡度整体波动均超过设定的阈值1.0,说明分布式存储均衡度较好,证明了所提存储技术的有效性。     

基于Bloom Filter的安全P2P共享模型

针对当前对等网中虚假文件的问题,提出了一种安全P2P共享模型(SPSM)。在该模型中为了激励节点共享自己的资源,引入虚拟货币(VC)以激励各个节点共享自己的资源;并在模型中引入了举报机制,即当网络中一个节点下载了虚假文件后就向CA(Certification Authorities,认证中心)举报提供虚假资源的节点,经CA甄别后将该恶意节点放入恶意节点集;为了节省存储空间,SPSM根据自身的特点,采用了Bloom Filter的变体DBF来存储恶意节点。为了验证提出的SPSM模型的有效性,将其与Trust模型进行了比较,结果表明SPSM模型比Trust模型更有效。     

变帧长和变帧率在说话人确认中的应用

从变帧长、变帧率角度考虑提出一种新的提取MFCC的方法。该方法先将帧长和帧率都限制为基音周期的整数倍，即基音同步算法；然后基于变帧率算法的原理在语音特征变化缓慢的地方去除一些帧来降低帧率。在NIST 99说话人评测上进行的说话人确认实验表明，该方法不但提升了系统性能，而且降低了帧率，节省了特征文件的存储空间。     

Database Support for Versions and Alternatives of Large Design Files

We identify the roles played by design versions and alternatives in an engineering database. The obvious way to implement versions is to maintain each in a separate collection of files. Because several versions must be kept on line in a design environment, the approach leads to large disk requirements. We develop B-tree-based storage structures to encode versions as ``negative' differential files. Our objective is to keep the disk requirements small. We discuss the effect of enormous amounts of cheap archival storage (write-once optical digital disks) on the proposed structures. We have implemented versions in the Wisconsin storage system (WiSS), an experimental database component developed at the University of Wisconsin-Madison.     

高能物理环境中混合存储系统的设计与优化

高能物理是典型的数据密集型计算环境,数据处理包括模拟计算、重建计算以及物理分析。其中大文件计算占据较大比重,并且高能物理文件访问模式以跳读为主,因此大文件的高速访问成为整个系统性能的重要影响因素。首先剖析传统高能物理计算环境的典型架构及其文件访问模式的特点,介绍混合存储模式在高能物理计算环境中的优势,总结其数据访问方式的特点,对其各种读写方式进行数据测试;然后提出针对该环境的混合存储系统的部署设计和优化,使该环境下的数据读写性能得到明显提高;同时将成本因素考虑到系统设计中,实现了一个低成本高性能的存储系统。测试表明,混合存储系统在高能物理等大数据存储系统中具有高效的I/O性能。文中全面分析了影响其性能的各种因素,实现了最优化配置的低成本高性能混合存储系统,并对该系统的未来发展趋势进行了分析和展望。     

Improved migration for mobile computing in distributed networks

A mobile ad hoc network (MANET) is a special type of wireless network in which a collection of mobile nodes with wireless network interfaces may form a temporary network, without the aids of any fixed infrastructure. Security has become a hot research topic in mobile ad hoc networks. In 1998, Volker and Mehrdad proposed a tree-based key management and access control scheme for the mobile agents to manage rights to access its own resources for the visited mobile nodes. Latter, Huang et al. showed that Volker and Mehrdad's scheme needs a large amount of storage and costs for managing and storing secret keys. Huang et al. further proposed a new and efficient scheme based on the elliptic curve cryptosystems to reduce costs and gain better efficiency. However, there is a security leak inherent in Huang et al.'s scheme that the malicious node can overstep his authority to access unauthorized information. This paper will propose a secure, robust, and efficient hierarchical key management scheme for MANETs. Some practical issues and solutions about dynamic key management are also considered and proposed. As compared with Huang et al.'s scheme, our proposed scheme can provide better security assurance, while requiring smaller key-size, lower computational complexities, and constant key management costs which is independent on the number of the confidential files and the visited nodes.