基于Zookeeper的分布式ICE中间件研究

分布式ICE中间件是一款高效的RPC框架,它支持跨语言开发,其中的IceGrid服务是整个框架的核心,主要的作用是给客户端提供位置管理,远程管理,负载均衡和服务注册等服务.在ICE构建的分布式平台中,一旦IceGrid服务出现问题,整个网络通信就会出现问题.IceGrid本身支持主从模式的高可用,但是当主节点不可用时,从节点不会自动升级为主节点,必须在从节点进行手动配置重启,这严重影响了IceGrid的效率.Zookeeper是开放源码的分布式应用程序协调服务,它是一个为分布式应用提供一致性服务的软件,本文提出一种基于Zookeeper的IceGrid服务的高可用改进模型,当主节点不可访问时,由Zookeeper在从节点中进行选举协调,选中的从节点自动升级为主节点.     

高性能分布式搜索引擎Solr的研究与实现

针对信息资源不断膨胀传统搜索技术无法达到高效、可靠的服务需求问题。设计并实现了一中基于Solr的高性能分布式搜索。系统通过使用Zookeeper管理集群,实现搜索模块分布式,利用Solr做索引处理,在多节点上并行创建索引,并将SolrCloud与Mongodb数据库的搭建连接,通过测试表明,系统展现了SolrCloud对数据库搜索功能的提高效果     

分布式同步系统Zookeeper的优化

针对分布式同步系统Zookeeper在大规模计算机集群上运行效率低下的问题,在研究手动设定响应节点方法的基础上,提出一种基于成员节点选举的自动设定响应节点算法。在一个大规模Zookeeper系统中,采用选举因子可配置的选举算法(包括计算能力、磁盘读写速度、请求率、失效率和网络延迟的测试),挑选出适合完成Zookeeper响应工作的一个或数个节点,进行数据更新请求的应答,降低系统的响应时间,提高系统的性能。实验结果证明,与目前手动设定响应节点相比,自动选举算法能够选举出最合适的节点,并且效率高,性能稳定。在对系统访问延迟的测试中,自动选举算法比手动设定响应节点的平均值减少了11%,且比手动设定响应节点的最大值减少了17%。     

基于Solr的分布式全文检索系统的研究与实现

随着当前网络信息资源的急剧膨胀,传统的检索系统已经难以在处理海量数据时提供高效的、可靠的服务。针对该情况,设计并实现一个基于Solr的分布式全文检索系统。系统通过网络爬虫抓取网页信息,将抓取的信息储存为文本文件;然后利用Solr索引处理模块,在多台计算机节点上并行创建索引,有效地提高系统建立索引的速度;系统通过Zoo-keeper管理集群,将搜索模块设计为分布式,有效地提高检索性能;最后设计了友好的用户界面。目前,系统可以在百万数据量的环境下稳定运行,具有较强的实用价值。