云计算分布式缓存技术在海量数据处理平台中的应用

随着云计算和大数据时代的到来,在满足用户对系统访问量、访问速度、访问安全的要求的同时,系统必须实时准确地处理迅猛增长的海量数据,而传统的缓存技术无法满足海量数据处理和用户高并发访问的需求.分布式缓存技术是最好的高性能缓存解决方案.本文研究如何利用云计算下分布式缓存技术在海量数据处理平台中解决该问题,分析研究了分布式缓存的关键技术、分布式缓存的一致性和分布式内存数据管理.在此基础上,分析并设计了分布式缓存系统的部署和整体架构.并将该分布式缓存系统的设计模式应用在某团购网上,进行了POC测试.测试结果证明分布式缓存技术可以缓解服务器的压力,解决海量数据和超高并发数据访问所带来的问题,提升了系统的性能、访问速度、可靠性以及降低响应延迟.     

分布式web日志处理平台的研究与实现

从日志信息采集、处理、存储等方面研究了分布式技术在日志处理平台的应用。使用Flume进行采集历史数据以及实时日志数据,并将收集的数据使用Kafka来缓存进行离线与实时清洗,最后将日志数据存储到数据库中,进行数据分析以图表的形式展示,做出相应策略从而提高效益。     

基于Spark Streaming的海量日志实时处理系统的设计

在网络系统日志信息规模不断增长的情况下,结合运维中的实际需求,通过大数据技术,提出了一种基于Spark Streaming的海量日志实时处理系统,并详细地介绍了系统的底层日志数据收集、 传输、 计算、存储、 查询存储等一系列功能的设计与实现.该系统不仅能够准确、 实时地解析日志信息,对数据进行统计分析,而且能对历史日志数据进行实时存储和离线计算处理.     

基于大数据技术的网络日志分析系统研究

传统的日志分析技术在处理海量数据时存在计算瓶颈。针对该问题,研究了基于大数据技术的日志分析方案,即由多台计算机完成日志文件的存储、分析和挖掘工作;建立了一个分层的网络日志分析系统:Syslog完成日志采集,Hadoop负责分布式存储和并行计算,在MapReduce框架下重新实现了IP统计算法。实验结果表明,在数据密集型计算中使用大数据技术可以明显提高算法的执行效率和系统的可扩展性。     

面向在线日志云的海量数据分级归档机制

传统日志系统和基于Hadoop的离线日志系统在分析海量日志时都具有时延长、效率低等弊端。为构建新的基于Hadoop的在线日志系统,提出了新的数据分级归档机制,用以管理海量日志数据并形成分级优化的存储文件结构。实验结果表明该机制具有良好的可扩展性,可以有效存储海量日志数据;同时,它还有助于加快系统的数据处理速度,缩短系统的处理响应时间,使其满足在线处理的要求。     

Hadoop在电信运营商经营分析系统中应用的研究

随着互联网发展带来的数据爆炸,很多企业都使用分布式文件系统来搭建高性能和高扩展性的应用,存储自身海量的数据并加以分析.Hadoop就是目前比较主流的开源分布式文件系统之一,它支持海量数据存储、可扩展性强、容错性强、可以运行在廉价的商用机器上,是大多数企业的首选.本文通过在电信运营商经营分析系统中引入Hadoop分布式技术,改变了经分系统中小型机加关系型数据库的传统架构,解决了经分系统中海量非结构化数据分析的问题,对电信运营商实现高效率地从海量日志里挖掘出有价值的信息具有重要的意义.     

广电视频点播系统存储策略探讨

广电视频点播（Video on Demand,VOD）系统包含图片、视频等海量应用数据，需要强大的存储系统和灵活的调度策略来支撑超级数据量的存储、调度和使用。对此，提出一种基于智能网格推流系统的云分布式存储策略，具备负载均衡与平滑扩容机制，可扩大本地缓存容量，提高存储抗干扰性能，保障系统资源调度速率，维护VOD系统缓存稳定；采用分层缓存管理机制，对存储数据包进行时序特征分割，减少服务器缓存时延；针对异常故障数据，利用哈希校验方式对缓存文件进行替换，保证存储数据集群的完整性，并利用读写旁路与懒惰存储解决缓存数据缺失问题。该方法可有效提高VOD系统存储效率，具有一定的参考价值。     

基于缓存共享的分布式宽带数字接收技术

为满足宽带数字接收系统对海量实时数据缓存的需求,提出了一种基于数据缓存共享和流控式轮询的技术方案.该方案构造了一种高效的数据存储结构和缓存机制,为系统采用分布式并行处理架构提供了基础,并使系统具有均衡的吞吐率性能.硬件实现的测试结果表明,该方案能够实现高达144Gb/s实时数据的缓存与处理,可以较好地满足实际应用需求.     

基于云计算技术的通用日志管理构件

计算机技术经历了并行计算、集群/分布式计算、网格计算等发展,现在已步入云计算时代。针对新环境下的日志管理问题,如日志文件分散存放,数量多,海量日志的查询费时或超时,效率低下等,提出了基于云计算技术的通用日志管理构件,研究了日志管理构件分布式部署,海量日志集中存储及管理,海量日志的实时、快速搜索。通过一个实际的日志管理应用场景进行验证,基于云计算的日志管理构件能满足预期的性能,故障排除和监控的效率极大提升,并能够为大多数软件项目中日志模块的开发所复用。     

机载分布式系统管理中故障管理机制探究

基于ASAAC4626系统管理理论,针对机载分布式系统中各分布式节点发生故障的特性点进行分析,提出一种基于分布式系统管理的故障管理机制,具体包括故障来源及分类、故障信息处理、故障日志记录三个方面,从可能发生故障的分布式系统节点的硬件故障信息收集到软件主动故障检测,从故障过滤到故障报告生成,从故障信息储存到故障信息分析,描述了航电系统任务系统的一个完整的故障管理机制过程,满足了分布式系统管理中多节点故障信息采集、处理、记录过程中覆盖面广、系统响应效率高的要求.     

智能电网海量非结构化数据分布式存储研究

为了加快非结构化电网数据存储的译码速率,从而促进电网主机分布式存储能力的提升,提出智能电网海量非结构化数据分布式存储方法。定义MongoDB数据格式的方法,对电网信息实施复制处理,联合分布式存储架构完成智能电网海量非结构化数据库搭建。在此基础上,分析电网数据的特性能力,通过信息增删排查的方式,确定最终的分布式查询语句,搭建智能电网海量非结构化数据分布式存储模型,实现数据的分布式存储。与局部修复型存储编码方法相比,在分布式存储模型作用下,电网主机的存储译码速率最大值能够达到54.5 MB/s,可在实现非结构化电网数据快速转码的同时,提升电网主机分布式存储能力。     

分布式大数据管理系统的设计与实现研究

社会高速发展的同时,数据也呈现爆炸式的增长,传统的数据库管理系统已经无法满足海量数据的存储需求。云存储技术成为一种新的数据存储方案,在Hadoop分布式系统的基础个,提出了一种基于云计算环境下的分布式大数据管理系统,为海量的文件存储与处理提供平台。对云计算大数据存储系统进行功能分析,同时还对大数据管理系统的框架进行设计,最后通过实验的方式验证了分布式大数据管理系统相比于其他方式的管理系统,处理的速度更快,存储时间更短,存储效率更高。     

基于Storm的实时报警服务的设计与实现

为检测系统日志和业务日志中的各种错误信息,提出了一种基于Storm的实时报警服务。该服务通过Scribe实时收集持续大流量的日志数据,采用分布式消息系统Kafka缓存,然后经Storm分析过滤、匹配报警规则。实验结果表明,该服务可以及时发现故障问题并发送报警信息,确保系统和业务的稳定运行。     

移动云计算——移动增强现实技术和服务

提出了中兴通讯移动增强现实解决方案。方案针对增强现实目标的识别技术采用客户机/服务器(C/S)架构,以充分利用云的海量存储和并行计算能力,进行样本图像的训练以及识别样本库的生成和训练,从而实现快速的增强现实目标的迅速识别;针对海量增强现实内容信息和训练样本数据高效存储的需求,采用分布式的非结构化存储机制以保存图像等信息,对于兴趣点信息采用结构化存储机制以保存兴趣点各种增强现实元数据信息;通过在结构化存储机制中建立特征索引等快速查询机制,以达到高效数据查询的目的。此外,为了分担增强现实业务请求负载,在靠近用户的地方部署若干用户接入云,缓存热点的增强现实信息,减轻增强现实业务处理机的负载压力。     

一种分布式磁盘缓存的设计与实现

为了提高系统10性能，针对松散耦合环境下，高带宽、低延迟的传输特点，提出了一种通过扩展存储器层次结构来提高系统10性能的分布式系统——分布式磁盘缓存系统DRACO。通过利用分布式环境中空闲内存节点的剩余内存，扩充系统整体缓存容量，减小访问磁盘数据的频度，最终达到提高系统整体性能的目的。     

基于贝叶斯置信网的日志服务系统容侵方法研究

文章针对服务器系统被攻破之后。如何保护服务器系统所记录的日志。为以后系统的恢复提供依据．并且提高系统自身生存能力的难点．提出将日志记录按照一定的格式进行分片．将不同的分片存储在不同的日志服务器上的容侵策略。当需要进行日志还原时，再将日志分片组合成原来的日志。构建了系统的异常发现贝叶斯网络模型。该模型根据用户访问日志服务器所提供的特征信息。可以判断出该次访问是否异常行为和所访问目志类型，从而在海量日志信息中快速定位受攻击的服务器及其日志片段．以最小的系统开销恢复可能已经被破坏掉的某一类日志记录．该方法在一定程度上保证了日志记录服务器中日志记录的准确性和正确性。     

协作过滤中的多级分布式日志存取研究

协作过滤作为一种有效的个性化推荐技术受到了广泛的关注.在实际应用中除算法本身效率外,影响算法性能发挥的一个重要的因素就是日志数据的存储与读取速度.针对该问题,文中提出一种多级分布式的日志数据存取方案,采用双哈希表的内存组织与分布式的持久存储相结合的方式来缓解日志I/O的瓶颈问题.实验结果表明,该方法比直接从硬盘读取数据以及串行读取数据的性能有明显提高.     

基于HDFS的云存储在高校信息资源整合中的应用

研究如何将基于HDFS的云存储应用于整合高校信息资源,旨在通过合适的构建基于HDFS的云存储服务系统,解决高校的海量数据存储问题。通过对概念的解析,结合高校信息资源存储的特点,构建了一个低成本、高效率、高安全性的分布式信息资源整合解决方案,并给出了系统结构图。     

电力计量采集系统中分布式缓存系统研究

提出Redis数据库的分布式扩展机制并引入新的Key过期处理策略,构建了能够满足大规模数据应用场景下的缓存系统。经布署在广东等地系统的运行结果表明,该动态分布式缓存系统解决了原有计量采集系统中计量记录入库性能差的问题,能够满足海量数据的处理需求,具有高效、可靠、扩展方便的特点,对于构造提高关系数据库事务型操作能力的缓存系统具有指导意义。     

巧用Linux存储管理Cisco日志

日志通常是为记录系统设备在运行过程中的运行情况而设的。为了保证系统正常运行，解决每一天可能遇到的各种各样的问题，网管员必须认真地分析日志记录。目前笔者单位TMIS系统中的路由器共有40台左右，均为Cisco路由器。如果使用showlog命令来查看日志，那么将所有的路由器逐个查看是非常费时费力的。由于Cisco路由器存储日志记录的缓存很小（默认是4KB），一条记录的保存时间一般只有几分钟，缓存器以先进先出的队列模式处理日志记录，