云计算分布式缓存技术在海量数据处理平台中的应用

随着云计算和大数据时代的到来,在满足用户对系统访问量、访问速度、访问安全的要求的同时,系统必须实时准确地处理迅猛增长的海量数据,而传统的缓存技术无法满足海量数据处理和用户高并发访问的需求.分布式缓存技术是最好的高性能缓存解决方案.本文研究如何利用云计算下分布式缓存技术在海量数据处理平台中解决该问题,分析研究了分布式缓存的关键技术、分布式缓存的一致性和分布式内存数据管理.在此基础上,分析并设计了分布式缓存系统的部署和整体架构.并将该分布式缓存系统的设计模式应用在某团购网上,进行了POC测试.测试结果证明分布式缓存技术可以缓解服务器的压力,解决海量数据和超高并发数据访问所带来的问题,提升了系统的性能、访问速度、可靠性以及降低响应延迟.     

缓存系统在实际应用中的重要性

Memcached是一个开源的、高性能的、分布式的内存对象缓存系统,用于在动态Web应用中提升访问速度,在很多高访问量的大型网站及在基础数据的转换中得到广泛应用;通过缓存数据库查询结果,减少数据库访问次数,降低数据库负载;提高动态Web应用的访问速度、增强可扩展性。     

基于Hadoop的分布式云计算/云存储方案的研究与设计

通过介绍云计算技术的发展背景以及目前云计算技术的几种技术架构,对分布式云计算/云存储技术进行了详尽的研究,包括分布式云计算/云存储的整体架构、分布式文件系统、分布式数据库、分布式数据仓库、分布式同步软件等,并通过与并行关系型数据库、MPP数据库的对比,分析了基于Hadoop的分布式云计算/云存储架构的竞争优势,基于Hadoop的分布式云计算/云存储将更有效支撑未来电信运营商业务的发展。     

基于缓存技术的认证授权系统性能优化

为了解决频繁的认证访问请求带来的服务响应问题,分析了传统架构处理高并发访问的技术瓶颈,提出了基于本地缓存和分布式缓存技术的架构,并设计了新的缓存数据存储结构,优化了原先的数据访问流程,减少应用服务器端和数据库的访问压力,从而提高了网站认证授权的响应性能.     

一种基于TwemProxy的HBase索引缓存方案

随着大数据时代的到来,数据量呈现爆炸式增长,HBase作为一种非关系型数据库为企业级用户提供了具有高可扩展性的系统平台,然而HBase采用类B+树索引设计,不支持非主键索引,在应对基于非主键索引请求时,查询效率较低,难以应用于实时性较高的业务需求。文章设计并实现了一种非主健索引的HBase分布式集群优化方案,使用基于Twemproxy的Redis集群作为缓存设计方案,提出基于热度积累的缓存替换算法,降低HBase扫描的资源访问开销,提高索引性能。实验结果表明:改进后的集群设计方案较传统分布式HBase数据库在非主键查询效率上有较明显性能提升,在缓存命中率上提升约20%,并且保持良好的可扩展性。     

云计算分布式缓存技术及其在物联网中的应用

物联网是信息技术发展到一定阶段的产物,而云计算平台是物联网应用的基础。文章从当前云计算应用所面临的问题和缺陷出发,介绍了云计算分布式缓存的部署方式、功能架构及关键技术,并说明了分布式缓存高性能、高吞吐、高可靠性、高扩展性等优势和特性。文章解决了物联网应用普遍面临的数据可靠性、大容量内存共享、多模块数据一致保障、线性扩容等难题,为物联网平台云化架构的底层支撑奠定了基础。     

一种新型分布式代理缓存系统—双层集群缓存

为了提高代理系统的整体性能,基于内部网络用户访问时间的局部性和相似性,并结合现有的分布式缓存系统,本文提出了一种新型的分布式代理缓存系统——双层缓存集群.双层缓存集群系统分为网内集群缓存层和代理集群缓存层,采用双层代理缓存结构,充分利用现有内部网络资源,分散了代理的负担.降低了代理之间的通信开销,还增强了缓存资源的利用...     

基于八叉树的地震数据分布式存储与计算

在参考谷歌文件系统分布式处理技术基础上,利用三维空间下八叉树结构与编码的快速空间定位机制,实现对三维地震数据的分块存储;采用中间文件形式进行子块切分与传输,减少本地时间开销;同时实现了基于地震道的一级缓存和基于子块的二级缓存,提升了数据访问效率。进一步基于分布式八叉树结构,设计实现了地震属性的分布式映射归并计算方法。研究方法为大数据背景下三维数据体的高效存储与处理分析提供了技术支持。     

基于云计算的通信缓存区冗余流量抑制方法研究

通信网络在实际运行过程中受到缓存区冗余流量影响,导致通信系统运行速度下降,因此提出基于云计算的通信缓存区冗余流量抑制方法研究。通过分析通信缓存区流量成分,提取其中冗余流量,完成缓存区冗余流量。设计对比实验,针对通信缓存区冗余流量抑制,对比云计算方法、大数据分析方法以及无线传感器方法的抑制效果,证明研究有效性。     

基于数据库算法的Web软件应用框架设计

Web软件应用多将数据存储于数据库当中,当数据和请求量庞大时容易造成响应迟缓,数据库性能下降的问题。为此文章提出一种基于缓存数据库算法的Web软件应用框架设计方法,在采用缓存层的同时引入websocket数据响应处理方式,进一步改善数据库的缓存性能。在实际应用中采用了这种框架设计方法,对其缓存性能进行了研究。结果表明,采用该方法可以有效地提高数据库缓存性能,从而提高数据库性能和Web软件应用的响应灵敏性。     

基于OC_SVM的Steghide检测算法

通过对使用隐写软件Steghide隐藏信息前后图像T、A、P点数目变化规律的分析,对每幅图像构造一个特征 向量,并且结合支持向量机提出一种基于OC_SVM的Stegthide检测算法,同时,实验结果给出了该算法在不同信息嵌 入量情况下的检测性能。     

基于CMMI的PDM设计

为了提供目前产品数据管理(Product Dato Management,PDM)系统对产品开发过程管理的控制能力,实现产品开发过程中的实时测量与监控,提高管理质量,结合能力成熟度模型(Capability Maturity Model Integration,CMMI)在软件领域的成功经验,适应硬件产品开发领域的需要,在介绍了CMMI的主要思想之后,重点论述了以CMMI为基础定制企业PDM系统的可能性。对产品开发框架进行了分析,提出了基于CMMI的PDM系统概要设计模型。     

服务器分区技术浅述

简要介绍了分区技术的定义，分区的组成、最低配置和用途，最后阐述了分区技术在工程中的应用。     

通信与计算机领域伪代码一致性审查研究

通信、计算机领域的发明专利审查过程中,针对权利要求书中涉及伪代码的情形存在不同的审查观点.在对伪代码与自然语言、标记性程序语言进行辨析,以及对现行发明专利审查规范进行分析溯源的基础上,提出应站在技术人员的角度,按专利审查的一般标准,判断其是否符合专利申请的撰写规定和授权条件,权利要求是否清晰,再进行一致性审查的建议,对其他领域类似情形的发明专利审查具有借鉴意义.     

基于片上可编程系统的视频车辆跟踪技术研究

针对目前具体产品中算法实现复杂且基于计算机(PC)平台的纯软件环境等问题.提出了一种视频车辆跟踪的嵌入式实现方法.利用可编程片上技术,使得视频检测摆脱PC平台的依赖.以Nios Ⅱ软核处理器和外设知识产权(IP)核为硬件平台,结合模拟/数字信号转换(A/D)和数字/模拟信号转换(D/A)的视频接口,以μC/OS为操作系...     

基于IMS的固定移动融合的探讨

分析了国内运营商当前所面临的困境与挑战,阐述了通过引入IMS进行固定移动融合解决当前面临的问题,重点对基于IMS的固定移动融合网络构架和实现固定移动融合的网络演进策略进行了相关的研究和探讨。     

基于CAS的单点登录系统应用研究

随着信息系统的迅速发展,各类信息化应用系统逐步建立,但是各应用系统之间自成体系,从而导致了每使用一个系统就要重新登录一次,给用户的使用和管理员的管理带来了很多不便.本文研究基于CAS的单点登录系统应用,很好地解决了使用和管理困难问题,介绍了基于CAS的单点登录系统应用设计研究,系统采用用户管理LDAP轻量级目录服务、CAS中央认证服务,设计了一个统一管理界面,通过Web服务传递用户参数,实现了多应用系统的整合.     

基于模板的知识集成研究

针对企业和网络系统中存在大量分布式异构知识源的问题,提出了一种基于模板的知识集成方法.研究了基于本体的知识表示,将模板机制应用到集成系统中,并提出了一个基于模板的知识集成模型,为企业语义级知识的共享、集成及有效利用提供了解决方法和理论依据.     

大气散射对激光角度欺骗干扰影响的研究

根据光的粒子性,用蒙特卡罗法构建单个光子在大气传输中的散射模型,研究大气散射对激光角度欺骗干扰效果的影响.结果表明:①非对称因子、大气传输距离和消光系数等对干扰脉冲信号强度有不同程度的削弱,散射产生的迂回路径延迟了干扰脉冲到达导引头探测器的时间.②激光干扰脉冲在大气散射作用下脉冲展宽效应不明显.