基于倒排列表的网流索引检索与压缩方法

随着计算机的广泛应用以及互联网的飞速发展,互联网流量呈现爆炸式增长的态势。为了应对日益严重的网络滥用以及网络安全事件,出于安全取证的需要,必须对互联网流量进行收集、存储和分析。互联网流量的监控需要及时统计网络流量的源地址、目的地址、源端口、目的端口、协议、时间戳等信息,以便进行流量统计和综合分析。但是网络流量信息是海量的,如何快速检索相关流量是一个挑战性问题。在搜索引擎中,为了处理海量数据检索,倒排索引是快速搜索技术的关键方法。文章把搜索引擎中的倒排索引方法和索引压缩算法应用到互联网网流信息检索中。通过实验测试和验证,在网流信息检索中,倒排索引以及索引压缩算法能够有效提高检索速度。     

高性能高可用Redis客户端的设计与实现

Redis是一个基于内存存储的非结构化数据库,以高I/O(Input/Output)性能和高响应速度著称,在数据缓冲、消息队列、Key-Value存储等场景都发挥着重要的作用.在其支持的众多客户端中,C/C++客户端Hiredis的应用尤为广泛.对Hiredis库做了深入分析,发现了其管道功能存在高开销、指令存储不当以...     

Redis在计费系统中的应用研究

随着互联网的不断发展,电信运营商的数据业务量出现的爆发式的增长,话单量越来越大、按内容计费的业务越来越多,用户与系统的交互不断增强,访问集中,造成数据库负载过大,影响系统的的处理性能和响应时间;缓存技术就是解决此问题的一种方案,缓存技术以其简单的设计、高效的存储性能得到了越来越广泛的应用。本文主要介绍Redis的特性以及在计费系统中的应用。     

Redis缓存技术在自动气象站资料调用中的优化应用

为了提高气象自动站资料的检索查询效率,采用基于内存Key-Value结构的Redis数据库技术,通过搭建Redis数据库集群,把数据缓存在内存中并实现主从复制,提出一种适合气象自动站数据特性的数据存储结构模型,使得高频次访问的气象自动站数据能够直接从内存中读取,有效地减少数据查询响应的时间.本文分析了逐小时自动气象站观测资料的调用情况和到报时间特性,并基于Redis分别从业务库、索引库和时间库对逐小时自动站资料进行存储设计和具体实现,最后通过实验比对,得出采用Redis缓存逐小时自动气象站观测资料的检索效率比直接访问CIMISS检索效率高,该方法也可以应用到其它资料的检索调用业务场景中,具有较好的推广应用价值.     

Redis在高速缓存系统中的应用

随着互联网的发展,各种类型的应用层出不穷,网站访问量越来越大、内容越来越多,用户与系统的交互不断增强,访问集中,造成数据库负载过大,网站显示延迟等影响.缓存技术就是解决此问题的一种方案,缓存技术以其简单的设计、高效的存储性能得到了越来越广泛的应用,而内存数据库则是一种优秀的缓存解决方案.主要介绍Redis的特性以及在系统中的应用.     

基于Redis存储技术的C#通信接收模块设计与实现

Redis数据库可以实现基于内存的键值数据存储,C#下能够使用TCP/IP网络Sockets套接字进行通信,在Windows操作系统中以服务的形式来实现不必要与用户频繁交互但需要在后台长期运行的应用程序。本文根据对相关技术的研究设计并实现了基于Redis存储技术的C#通信接收模块。     

Redis在即时通讯系统中的应用

传统的即时通讯系统的弊端之一是数据库I/O次数频繁,因为在IM中大量短而多的消息持续在磁盘的数据库上进行读写。为了解决数据库造成的系统瓶颈,选取Mysql和内存Key-Value引擎的No SQL数据库Redis两级存储,从而给出基于XMPP的即时通讯系统高可用的优化方案。     

基于Redis+MySQL+MongoDB存储架构应用

Redis+MySQL+MongoDB技术架构实现了本项目中大数据存储和实时云计算的需求。使用MongoDB切片的水平动态添加,可在不中断平台业务系统的同时保障扩容后的查询速度和云计算效能;依据切片键索引分片,位于各切片独立进行计算,使大数据下的实时分析成为现实。对于高频访问的数据放在了Redis中,有效地降低磁盘I/O,使业务系统响应更为敏捷,满足了高并发下应用服务的高呑吐要求。     

Redis集群性能测试分析

Redis是一个非关系型数据库,属于内存级数据库。但是由于数据量的不断增大,单机的Redis物理内存远远无法满足大数据的需要,因此需要搭建分布式的Redis,可以动态扩展内存,弥补单机Redis物理内存不够的缺点。本次测试旨在对Redis各方面性能有深入的了解,为今后的工作打好基础。本次实验的目的主要是搭建Redis Cluster和Twem Proxy Redis两种集群,分别对其进行性能测试,测试出集群性能的拐点,找出性能的瓶颈有哪些,并对两套集群进行比较,以便于在不同业务场景下择优选择。     

基于缓存和分库组件的在线培训数据系统研发与应用

在当前的培训行业中,在线培训已经成为一种趋势,尤其在上海市浦东软件园里,众多园内企业更希望通过在线 培训平台得到各种职业技能培训服务。对此上海市浦东软件园职业技能培训中心研发了一套在线培训平台。为应对高并发 的培训访问量,本系统的数据服务子系统一方面引入了MyCAT组件实现了海量数据的分库存储,提升了操作培训相关数据 的性能;另一方面引入了基于Redis哨兵框架的缓存机制,提升了数据服务的性能。系统在投入使用后,能满足线上高并发和 大数据量的要求,在数据服务层面为本在线培训平台提供了坚实的保障。     

Cluster-based distributed dynamic cuckoo filter system for Redis

ABSTRACT

With the exponential growth of network data storage scale, the issue of uniform distribution and efficient retrieval of data in the distributed storage systems such as the Redis cluster has received increasing attention in recent years. In view of the existing problems in scalability, usability and other aspects of the solution in current researches, we propose the distributed dynamic cuckoo filter system based on Redis cluster. On one hand, we introduce an efficient hash indexing structure–dynamic cuckoo filter (DCF), which only stores the fingerprint information of data, and has the automatically scalable capacity to meet the demand of data storage on a dynamic scale. On the other hand, we use an improved consistent hashing algorithm to construct Redis cluster and use the thorough communication mechanism of Redis cluster to achieve the data sharing and efficient utilisation of multi-machine filters. The scheme proposed in this paper can take the time and space efficiency into account, greatly promote the retrieval performance of massive data, and improve the reliability and availability of Redis cluster.     

基于Spark和Redis的大规模RDF数据查询系统

随着语义Web技术的不断发展,RDF数据量增长迅速,单机RDF查询系统已经难以满足现实需要,研究和构建分布式RDF查询系统已经成为学术界与工业界的研究热点之一.现有的RDF查询系统主要是基于Hadoop或通用分布式技术.前者磁盘I/O太高;后者则可扩展性较差.且两种系统在基本图模式查询时,效率都较低.针对上述问题,本文设计了基于Spark和Redis的分布式系统架构,并改进了查询计划生成算法,最后实现了原型系统RDF-SR.该系统使用Spark减少了磁盘I/O,借助Redis提高了数据映射速率,利用改进的算法减少了数据混洗次数.实验表明,相比于现有的其他系统,RDF-SR既保持了较高可扩展性,又在基本图模式查询时,具有更高的性能.     

基于 Redis 的水务云系统缓存替换策略设计

水务云系统在海量数据高并发访问情况下存在Web服务性能急剧降低的问题,对此,设计一种基于Redis的水务云系统数据库缓存方案,对影响数据库缓存效率的关键因素进行分析、提取和量化计算,将水务数据类型、用户对数据对象的兴趣度及用户访问行为等因素与缓存数据替换过程结合,对现有GDSF缓存替换算法加以改进,并结合实际的水务云系统数据集实现该缓存方案和仿真实验。实验结果表明,基于Redis的水务云系统数据库缓存方案可以有效改善水务云系统的服务性能,也可为类似水利数据管理平台建设提供有益的借鉴。     

基于Redis的系统缓存容量平滑扩展方案

本文对基于Redis缓存的系统怎样进行缓存数据容量扩展展开探讨,并提出具体的解决方案,从而使缓存数据容量在进行扩展的过程中,减少对系统的影响,保持系统的服务提供。     

基于Bully算法的Redis集群选举方案优化

随着互联网的迅速发展,用户从系统获取的信息越来越多,访问系统的频率也在迅速增加。当大量客户端访问系统时,请求的响应时间也会大幅增加,传统关系型数据库已经无法满足用户的需求,而内存数据库在保证系统稳定的前提下,改善了用户体验,并得到了越来越广泛的应用。作为NoSQL内存数据库,Redis支持很多数据类型,适用于多种情况下的缓存与存储需求。文中主要介绍Redis集群,它是Redis的分布式实现,支持主从复制,也具有一定的容错性和线性可扩展性,当前使用Redis集群的网站有新浪微博、github等。虽然 Redis集群 应用广泛,但目前它在节点下线后会出现恢复时间长的现象,这与现有Redis集群的选举算法有关,即与Raft算法的实现有关。分析了Redis集群的可靠性,并优化了集群的选举算法。测试结果显示,在单个主节点下线50s内,优化后的集群都能成功恢复,比社区版本的集群提高了40%。     

一种高效的Redis Cluster的分布式缓存系统

为了满足大型互联网应用对高并发访问、快速响应、动态扩展、易维护性等需求,本文基于Redis 4.0设计并实现了一种Redis Cluster分布式缓存系统,集成了可视化开源工具CacheCloud对该系统进行实时监控和高效管理,基于官方Redis-Bechmark进行了QPS性能测试,并与Codis分布式缓存系统进行了对比.实验结果表明Redis Cluster各功能高效运作,性能优越,在并发访问数10 000以上时响应时间明显优于Codis.     

A multi-objective optimization for green supply chain network design

In this paper, we study a supply chain network design problem with environmental concerns. We are interested in the environmental investments decisions in the design phase and propose a multi-objective optimization model that captures the trade-off between the total cost and the environment influence. We conduct a comprehensive set of numerical experiments. The results show that our model can be applied as an effective tool in the strategic planning for green supply chain. Meanwhile, the sensitivity analysis provides some interesting managerial insights for firms.