多层一致性哈希的HDFS副本放置策略

分布式文件系统HDFS采用机架感知的副本放置策略在一定程度上保证了数据的可靠性,但系统运行一段时间后会出现数据分布不均衡的情况.虽然使用Balancer程序可以对数据进行重分布,但对数据存储不均衡处理的后置性影响了系统的数据读取速率和可靠性.采用多层一致性哈希的副本放置策略,首先通过一致性哈希算法获得数据副本对应的机架位置,再通过一致性哈希算法获得该机架下对应的数据节点位置并最终成为存储位置.一致性哈希算法在查找对应位置的过程中采用地址等分和虚拟节点的技术,提高了查找的效率和分布的均衡性.该策略在数据均衡存储、上传速率方面较原有策略都有很大的提高,并且具有数据自适应性的能力.     

NoSQL数据库在大数据查询技术中的应用探析

一、NoSQL数据库理论基础 NoSQL 数据库理论建立的前提,有着许多理论作为支撑,这其中包括CAP理论、一致性哈希算法等. 1.CAP理论 所谓的 CAP 定力,就是对于分布式的系统有着可用性、容错性的要求,此外还要求系统能够保持一致性.但是不管是什么分布式系统,CAP 系统都只能满足上述三种要求中的两种,没有办法同时满足上述的三种要求.     

一种Web服务器集群负载均衡调度算法

分析Web服务器集群技术,研究负载均衡算法,提出基于临界加速递减的一致性哈希负载均衡算法CHMDC(Consistent hash load balancing algorithm based on the Multiplicative Decrease in Critical area)。一方面,该算法采用了加权一致性哈希算法,引入了虚拟化的设计思路,采用虚拟节点进行真实服务器节点分配;另一方面,该算法提出了基于请求反馈时间计算机服务器节点负载率的方法,引入了临界因子的概念,采用了临界因子加速递减来防止服务器过载。通过实验测试证明,该算法应用于Web服务器集群的负载均衡效果突出。     

利用报文抽样和可逆的Bloom Filter实现长流识别

针对高速网络的发展和利用哈希技术在识别长流时难以还原主机信息的问题,提出了利用报文抽样和可逆的Bloom Filter识别长流的算法.采用带有部分主机信息的哈希函数,利用哈希串的重叠和数量上的一致性,能够很方便的还原出主机的信息.给每个哈希函数独立的存储空间,在很大程度上减少了哈希过程所带来的内部冲突.实验结果表明,这种算法可以精确地获得长流的标识与长度信息.     

基于动态权重的一致性哈希微服务负载均衡优化

随着互联网技术的发展,互联网服务器集群的负载能力正在面临着前所未有的挑战,实现合理的负载均衡策略尤为重要。为了使负载均衡达到最佳的效率,可以使用一致性哈希算法来对集群负载均衡系统进行负载分配。针对微服务架构的服务器集群场景,对该集群负载均衡的特性进行分析,提出一种基于虚拟节点的一致性哈希环的设计与分割方法及基于动态权值的分配策略,在一致性哈希算法的基础上,实现服务集群之间的负载转移,解决微服务集群中服务负载增多,导致服务之间负载不均衡的问题,防止其中某些服务因为负载压力过大,导致服务崩溃的问题。经实验表明,与传统的一致性哈希算法相比,改进后的负载均衡策略负载不均衡的概率是原来的31%;并且动态分配策略具有良好的负载均衡性能,有效地解决了微服务分布式架构的负载均衡问题。     

基于Hadoop 的高效连接查询处理算法CHMJ

提出了一种并行连接查询处理算法CoLocationHashMapJoin(CHMJ).首先,设计了多副本一致性哈希算法,将具有连接关系的表根据其连接属性的哈希值在机群中进行分布,在提升了连接查询处理中数据本地性的同时,保证了数据的可用性;其次,基于多副本一致性哈希数据分布,提出了HashMapJoin并行连接查询处理算法,有效地提高了连接查询的处理效率.CHMJ算法在腾讯公司的数据仓库系统中进行了应用,结果表明,CHMJ连接查询的处理效率比Hive系统提高了近5倍.     

大规模云存储系统副本布局研究

在基于副本冗余机制的大规模云存储系统中,以往的副本布局算法只能部分地满足副本布局中高可靠、高可扩展并且高效的要求,针对这一问题,提出了一种基于分组和一致性哈希的副本布局算法。首先,将关联性高的存储节点进行分组;然后,通过改进的一致性哈希算法将同一数据对象的多个副本分别分配到不同分组中;最后,再通过改进的一致性哈希算法将分配到各分组的数据副本放置在组内对应的存储节点上。理论分析可知,该方法大大提高数据的可靠性。仿真结果表明,该算法能满足副本布局的均衡性、自适应性要求,并能在几十微秒内完成副本定位。     

利用Bloom filter实现长流识别*

给出了利用Bloom filter识别长流的算法.提出了使用分层哈希的方法,减少了在哈希过程中的冲突.采用带有部分主机信息的哈希函数,利用哈希串的重叠和数量上的一致性,使在识别长流的过程中能够很方便地还原出主机的信息;给每个哈希函数独立的存储空间,也在很大程度上减少了哈希过程中所带来的内部冲突.     

基于多哈希算法的大规模图像快速检索方法

哈希技术被视为最有潜力的相似性搜索方法,其可以用于大规模多媒体数据搜索场合。为了解决在大规模图像情况下,数据检索效率低下的问题,提出了一种基于分段哈希码的倒排索引树结构,该索引结构将哈希码进行分段处理,对每段哈希码维护一个倒排索引树结构,并结合高效的布隆过滤器构建哈希索引结构。为了进一步提高检索准确性,设计了一种准确的排序融合算法,对多个哈希算法的排序结果分别构建加权无向图,采用PageRank的思想对基于多个哈希算法的排序列表的融合技术进行了详细的说明。实验结果表明,基于分段哈希码的倒排索引树结构能极大地提升数据的检索速度。此外,相比于传统的单个哈希算法排序技术,基于多个哈希算法的排序列表融合技术的检索准确率优势显著。     

基于人工免疫原理的数据流聚类算法研究

外包数据库中的连接查询比范围查询更困难,因为客户端需要验证连接结果的一致性,而传统的对单个表的签名不能有效地支持对连接查询结果的直接验证。提出了使用哈希连接保证数据一致性的2种算法,它们分别通过在服务器端和客户端计算哈希函数来实现连接查询。给出了这2种算法的详细描述,证明了它们满足一致性要求,而且分析了算法在通信量、服务器端和客户端执行的代价。最后在实验中通过设置不同的参数对它们在服务器端和客户端的运行时间进行了比较,总结了它们在实际应用中的优缺点。     

改进的云存储系统数据分布策略

针对当前云存储系统海量数据应用环境中数据分布策略可扩展性以及灵活性的不足,提出一种高效的数据分布策略。一方面,该策略基于一致性哈希数据分布算法,引入了虚拟化的设计思路,采用虚拟节点进行存储资源分配;另一方面,该策略采用了一种基于节点容量感知的负载均衡方法,有效地优化了系统性能,提高了系统可扩展性。通过实验分析,不管在同构还是异构的云存储架构中,该策略改善了存储资源负载均衡程度,有效优化了系统整体性能。     

基于元学习的深度哈希检索算法

随着移动互联网技术的发展,图像数据的规模越来越大,大规模图像检索任务已经成为了一个紧要的问题。由于检索速度快和存储消耗低,哈希算法受到了研究者的广泛关注。基于深度学习的哈希算法要达到较好的检索性能,需要一定数量的高质量训练数据来训练模型。然而现存的哈希方法通常忽视了数据集存在数据类别非平衡的问题,而这可能会降低检索性能。针对上述问题,提出了一种基于元学习网络的深度哈希检索算法。所提算法可以直接从数据中自动学习加权函数。该加权函数是只有一个隐含层的多层感知机（MLP）,在少量无偏差元数据的指导下,加权函数的参数可以和模型训练过程中的参数同时进行优化更新。元学习网络参数的更新方程可以解释为：较符合元学习数据的样本权重将被提高,而不符合元学习数据的样本权重将被减小。基于元学习网络的深度哈希检索算法可以有效减少非平衡数据对图像检索的影响,并可以提高模型的鲁棒性。在CIFAR-10等广泛使用的基准数据集上进行的大量实验表明,在非平衡比率较大时,所提算法的平均准确率均值（mAP）最佳;在非平均比率为200的条件下,所提算法的mAP比中心相似度量化算法、非对称深度监督哈希（ADSH）算法和快速可扩展监督哈希（FSSH）算法分别提高0.54个百分点,30.93个百分点和48.43个百分点。     

企业环境P2P模型下的合作式Web缓存系统研究

提出了一种高性能的合作式Web缓存系统(WebRing),包括一种基于连续哈希的Web对象路由模式,保证了对任意Web请求经过一次哈希计算且至多经过一次转发就可到达目标节点。同时,基于节点状态标记切割哈希空间的系统负载均衡算法大大提高了系统的吞吐量。解决了传统合作式缓存系统中多级转发和多重哈希计算造成的高时延和单点失效问题。     

NoSQL的分布式存储与扩展解决方法

传统的关系型数据库已无法满足海量数据的存储与访问需求。针对该问题,提出一种非关系型数据库(NoSQL)的分布式存储与扩展解决方法。分析并改进NoSQL,讨论基于一致性哈希算法键值对的分布式存储,以及基于双hash环的数据库服务器节点的扩展方法,提出将NoSQL作为镜像引入数据库架构系统。实际应用结果表明,该方法可以避免资源浪费及服务器过载。     

基于图像正则化和DCT变换的感知哈希技术

图像感知哈希技术是一门较新型的技术,哈希提取过程的关键步骤是特征提取,传统的基于DCT变换的感知哈希技术抗几何攻击能力较差。试图在图像生成哈希之前,将几何形变对图像的影响去除,首先将图像进行正则化,使图像具有几何不变性,然后再进行DCT特征系数提取,最后通过量化、编码生成最终哈希。该算法可以抵抗任意的仿射变换。     

BtoB网站用户访问模式挖掘研究

把数据挖掘技术与电子商务网站有效结合，深入分析Apriori算法，并运用散列技术改进算法来实现电子商务网站用户访问关联模式的挖掘。经过实验验证，这是一种有效的分析、评价和完善电子商务网站的方式。