青云QingCloud正式推出Redis缓存集群服务

正北京2014年12月19日电/--国内领先的基础云服务商青云Qing Cloud日前宣布,基于Redis的缓存集群服务现已正式推出。Qing Cloud此次推出的Redis高性能缓存集群包含多个缓存节点,支持一主一从和一主多从的架构,并提供可持久化和自动备份服务,确保用户数据的快速读写和高可用性。Redis是一款基于内存的Key-Value数据库。与传统数据库相比,Redis的优势在于它将数据存储在内存中,读写性能得以巨大提升,适合那些频繁读写、并对速度要求较高的业务场景。鉴     

Redis在高速缓存系统中的应用

随着互联网的发展,各种类型的应用层出不穷,网站访问量越来越大、内容越来越多,用户与系统的交互不断增强,访问集中,造成数据库负载过大,网站显示延迟等影响.缓存技术就是解决此问题的一种方案,缓存技术以其简单的设计、高效的存储性能得到了越来越广泛的应用,而内存数据库则是一种优秀的缓存解决方案.主要介绍Redis的特性以及在系统中的应用.     

内存数据库在超宽带实时定位系统中应用

在超宽带实时定位系统中,针对有大量目标高动态移动的定位场景中数据量显著增加时,数据访问的实时性和一致性问题,引入内存数据库Redis作为实时定位数据的缓冲,数据访问和更新速度显著提高,且容易扩展到分布式集群中。     

Redis集群性能测试分析

Redis是一个非关系型数据库,属于内存级数据库。但是由于数据量的不断增大,单机的Redis物理内存远远无法满足大数据的需要,因此需要搭建分布式的Redis,可以动态扩展内存,弥补单机Redis物理内存不够的缺点。本次测试旨在对Redis各方面性能有深入的了解,为今后的工作打好基础。本次实验的目的主要是搭建Redis Cluster和Twem Proxy Redis两种集群,分别对其进行性能测试,测试出集群性能的拐点,找出性能的瓶颈有哪些,并对两套集群进行比较,以便于在不同业务场景下择优选择。     

Redis缓存技术在自动气象站资料调用中的优化应用

为了提高气象自动站资料的检索查询效率,采用基于内存Key-Value结构的Redis数据库技术,通过搭建Redis数据库集群,把数据缓存在内存中并实现主从复制,提出一种适合气象自动站数据特性的数据存储结构模型,使得高频次访问的气象自动站数据能够直接从内存中读取,有效地减少数据查询响应的时间.本文分析了逐小时自动气象站观测资料的调用情况和到报时间特性,并基于Redis分别从业务库、索引库和时间库对逐小时自动站资料进行存储设计和具体实现,最后通过实验比对,得出采用Redis缓存逐小时自动气象站观测资料的检索效率比直接访问CIMISS检索效率高,该方法也可以应用到其它资料的检索调用业务场景中,具有较好的推广应用价值.     

HMSST+:基于分布式内存数据库的HMSST算法优化

为了解决HMSST(HashMapSelectivityStrategyTree)算法在集中式环境下受限于有限内存的问题,提出了一种新的分布式SPARQL查询优化算法HMSST+。该算法基于Redis提出了一种分布式存储方案,通过平行扩展存储节点和分布式调度,使得海量RDF数据的查询得以在分布集群的内存中实现。采用LUBM1000所大学的测试数据集对查询策略进行了实验,结果表明提出的方法与HMSST算法相比具有更好的扩展能力,与现有的分布式查询方案相比也具有更好的查询效率。     

分布式和缓存技术在大并发量网站中的应用

对于高访问量网站,Web服务器端经常面临大并发量和海量数据流请求的问题,导致用户访问延时,利用负载均衡和内存缓存相结合技术可以解决这一问题。在服务器端采用集群下的负载均衡策略,将工作任务相对均衡地分配到各个节点上执行;采用内存缓存机制,通过优先读取内存中的缓存数据以减少对数据库的访问次数,进而减轻数据库负载。性能测试结果和用户体验反馈信息显示,该方法在大并发量访问时能极大地提高系统的吞吐量。     

基于用户云服务集群的资源动态调度研究

用户购买云服务器设施来搭建用户服务器集群,并将业务迁移到云服务器上后,很大程度上没有充分利用购买的计算资源。而随着业务量访问增加,传统的用户集群往往会通过增加服务节点来应对此情况,此时又需购买额外的云服务设施。论文基于传统用户的集群系统,使用改进的TOPSIS（逼近理想解排序法）算法结合集群监控信息来动态调度集群中节点上的应用。实验表明,该方案可以充分发挥用户购买的云服务器设施的计算资源,利用用户私有闲置资源来应对业务的突发访问,合理的调度用户服务器集群之间的业务应用分配,提高用户集群资源利用率的同时也保证了应用服务质量,节约了用户成本。     

集群协作缓存机制研究

计算机集群中的节点使用内存一般不均衡,往往有些节点使用太多内存,而其他节点又有较多的空闲内存.为了改进集群操作系统,将集群节点的内存作全局分布的资源使用,我们首先提出一个内存互操作高速缓存方案:通过使用集群范围内的内存作文件高速缓存,从其他节点的高速缓存中读文件,可以避免很多低速的磁盘访问,改进集群文件系统的总体吞吐量.然后利用我们提出的缓存页面代替策略GCAR来支持这种内存互操作的高速缓存方案.该算法与CAR相比,对缓存中被"经常"使用的页面的管理粒度更细,更适合集群协作缓存的计算环境.实验结果表明,GCAR对本地缓存的命中率比CAR略好,在集群协作缓存下能取得更好的缓存命中率.     

一种中间件数据库集群的负载均衡算法

为满足用户对数据库集群系统高输入高输出应用的需求,设计一种采用中间件技术的数据库集群系统,并针对该系统提出一种基于Markov模型的数据库集群负载均衡算法。该算法在执行节点负载信息采样周期内,利用Markov模型预测集群系统各执行节点的负载信息状态,根据预测的执行节点负载信息对集群系统进行负载均衡。实验结果表明,该算法能够有效提高数据库集群的性能。     

基于信任机制的一种无线传感器网络簇头选举算法

当前传感器网络（WSN）的感知簇头节点选举的主要依据是能量、位置等信息,没有考虑节点的可靠性。以信任评价值为可靠性依据,在簇头选举中在能量优先的条件下,考虑信任值的大小,来提高所选取簇头的可靠性。同时,一轮选举生成多个簇头候选节点,依次承担簇头,减少了选举频度,提高了簇头选举的效率。由此提出了能量和信任结合的簇头选举算法（CHTE）。实验表明,该方法在一定程度上选取了信任度高的节点作为簇头,与不考虑信任的选举算法比较,单位时间内在Sink节点上收到更多稳定的数据包,其平均无故障时间（MTBF）也得以提高,由此提高了网络的可靠性。     

集群数据库系统的日志复制和故障恢复

互联网、社交、购物、金融等各类应用直接面临海量用户的高并发访问,传统的单点数据库逐渐成为这些应用系统的瓶颈,而众多互联网应用能够良好运行的主要原因是使用了基于集群环境的数据管理系统作支撑。与传统数据库系统相比,基于集群环境的数据库系统具有更好的扩展性和可用性,而日志复制是保证这些特性的核心组件。传统的主备架构的日志复制在异常情况下对未决事务日志处理不佳,导致数据副本之间存在不一致的风险,另外,分布式系统领域的一致性算法缺乏对事务一致性的处理,而且在选主时存在活锁、多主和频繁选主的问题,无法直接适用于事务日志复制。本文提出了一种集群环境下的事务日志复制策略和恢复机制,能够有效处理未提交日志,提供了强弱两种读一致性,并且提出了一种轻量级的选主算法,可以避免以上的选主问题。本文在开源OceanBase分布式数据库系统中实现了上述机制,并使用基准测试工具对系统进行测试,通过一系列实验验证了系统的扩展性和可用性。     

分布式同步系统Zookeeper的优化

针对分布式同步系统Zookeeper在大规模计算机集群上运行效率低下的问题,在研究手动设定响应节点方法的基础上,提出一种基于成员节点选举的自动设定响应节点算法。在一个大规模Zookeeper系统中,采用选举因子可配置的选举算法(包括计算能力、磁盘读写速度、请求率、失效率和网络延迟的测试),挑选出适合完成Zookeeper响应工作的一个或数个节点,进行数据更新请求的应答,降低系统的响应时间,提高系统的性能。实验结果证明,与目前手动设定响应节点相比,自动选举算法能够选举出最合适的节点,并且效率高,性能稳定。在对系统访问延迟的测试中,自动选举算法比手动设定响应节点的平均值减少了11%,且比手动设定响应节点的最大值减少了17%。     

基于自适应惯性权重的混沌粒子群优化无线传感器网络成簇算法

为了解决簇头选举过程中多因素冲突问题,以优化簇头选举和延长网络生命周期为目标,提出一种基于自适应惯性权重混沌粒子群优化（AWCPSO）的分簇算法.该算法在簇头竞选过程中,考虑了节点剩余能量、与基站的距离以及该节点担任簇头的概率,通过自适应惯性权重的混沌粒子群算法优化簇头的选举,并将通信范围内的节点作为其簇成员.簇头数目的选择满足最优簇头个数,从而进一步提高了网络的能量使用效率.仿真结果表明,与SEP和DEEC算法相比,本文算法能够更有效的节省能量,网络稳定周期分别延长62.31%和16.45%,同样有效的均衡网络能量消耗,延长了网络生命周期.     

Cluster-based distributed dynamic cuckoo filter system for Redis

ABSTRACT

With the exponential growth of network data storage scale, the issue of uniform distribution and efficient retrieval of data in the distributed storage systems such as the Redis cluster has received increasing attention in recent years. In view of the existing problems in scalability, usability and other aspects of the solution in current researches, we propose the distributed dynamic cuckoo filter system based on Redis cluster. On one hand, we introduce an efficient hash indexing structure–dynamic cuckoo filter (DCF), which only stores the fingerprint information of data, and has the automatically scalable capacity to meet the demand of data storage on a dynamic scale. On the other hand, we use an improved consistent hashing algorithm to construct Redis cluster and use the thorough communication mechanism of Redis cluster to achieve the data sharing and efficient utilisation of multi-machine filters. The scheme proposed in this paper can take the time and space efficiency into account, greatly promote the retrieval performance of massive data, and improve the reliability and availability of Redis cluster.     

基于遗传算法和模糊C均值聚类的WSN分簇路由算法

针对无线传感器网络（WSN）的节点能量有限、生命周期短、吞吐量低等问题，提出一种基于遗传算法（GA）和模糊C均值（FCM）聚类的WSN分簇路由算法GAFCMCR，采取"集中分簇，分布簇头选举"的方式。网络初始化时基站采用由GA优化的FCM聚类算法形成网络分簇。第一轮簇头由距簇中心最近的节点担任；从第二轮开始，簇头的选举由上一轮的簇头负责，选举过程综合考虑候选节点的剩余能量、与基站的距离、与簇内其他节点的平均距离三个因子，并根据网络状态实时调整三个因子的权重。在数据传输阶段，将轮询机制引入簇内通信。仿真结果表明，相同网络环境下，与LEACH算法和基于K-Means的均匀分簇路由（KUCR）算法相比，GAFCMCR将网络生命周期延长了105%和20%。GAFCMCR成簇效果良好，具有良好的能量均衡性和更高的吞吐量。     

改进簇头选举的分层传感网络能量优化算法

在无线传感网络中,为解决树状拓扑结构中簇头竞选算法不合理而造成能耗不均匀的问题,设计了改进簇头选举的分层路由能量优化算法,即在簇头选举时分别对阈值公式、簇头竞选算法有所改进.其中,阈值公式以节点所剩能量、节点到Sink节点间距离以及能耗因子为基准;而在簇头竞选算法中增加候选簇头的成员个数这一参数,可避免成员个数较多的节点成为簇头的几率,从而平衡簇头的能耗.通过与经典的LEACH和EOUCR协议的成簇算法仿真对比表明:提出的算法可以更好地平衡簇头能量耗损,从整体上延长网络生存周期.     

机群系统的可视化管理研究与实现:VisualNPC

本文提出一种机群管理系统的实现方案 :Visual NPC.首先 ,采用分布式关系数据库系统来存储管理数据、资源情况、检查点等信息 ,使得数据检索与访问的速度优于采用文件系统存储时的速度 ;其次 ,采用 WEB用户界面来操控机群系统 ,使得在与机群系统联通的网络中的任意一台计算机上 ,都可使用 WEB浏览器控制与访问机群系统 ;最后 ,采用独立的管理服务器 ,使得这些管理操作对机群系统本身的运算影响最小 ,并且对这个独立的管理服务器作镜像容错处理 ,在成本和效率上要优于为每个计算节点作镜像容错处理     

使用固态硬盘管理主存KV数据库的虚拟内存

主存键值(key-value,KV)数据库具有高效性、易用性和可扩展性.由于主存容量有限,一些数据量较大的应用必须使用磁盘进行数据交换.而固态硬盘(solid state disk,SSD)有高速的随机读特点,使用固态硬盘作为主存KV数据库的虚拟内存会提高对不在主存中的数据的读性能.但是固态硬盘的随机写性能较差,于是提...     

基于LEACH协议的簇头选举改进算法

以减小LEACH协议簇形成过程中的能量消耗为目的,提出一种改进的簇头选举算法LEACH-ECHC。当所有簇头的剩余能量最小值小于某个阈值时,进行全网选举;当簇头能量小于该簇剩余能量的平均值时,进行簇内选举,并对簇头产生的阈值进行优化。仿真结果显示,LEACH-ECHC算法有更高的能量有效性,可以延长网络寿命,使节点能耗更均衡。