基于缓存共享的分布式宽带数字接收技术

为满足宽带数字接收系统对海量实时数据缓存的需求,提出了一种基于数据缓存共享和流控式轮询的技术方案.该方案构造了一种高效的数据存储结构和缓存机制,为系统采用分布式并行处理架构提供了基础,并使系统具有均衡的吞吐率性能.硬件实现的测试结果表明,该方案能够实现高达144Gb/s实时数据的缓存与处理,可以较好地满足实际应用需求.     

云计算分布式缓存技术在海量数据处理平台中的应用

随着云计算和大数据时代的到来,在满足用户对系统访问量、访问速度、访问安全的要求的同时,系统必须实时准确地处理迅猛增长的海量数据,而传统的缓存技术无法满足海量数据处理和用户高并发访问的需求.分布式缓存技术是最好的高性能缓存解决方案.本文研究如何利用云计算下分布式缓存技术在海量数据处理平台中解决该问题,分析研究了分布式缓存的关键技术、分布式缓存的一致性和分布式内存数据管理.在此基础上,分析并设计了分布式缓存系统的部署和整体架构.并将该分布式缓存系统的设计模式应用在某团购网上,进行了POC测试.测试结果证明分布式缓存技术可以缓解服务器的压力,解决海量数据和超高并发数据访问所带来的问题,提升了系统的性能、访问速度、可靠性以及降低响应延迟.     

高效分布式数据稽核系统实现方案

电信信息化系统间数据交互频繁,各个边界系统间经常需要进行大量的数据正确性稽核。文章从数据建模和系统架构方面介绍了一种基于分布式处理框架、分布式缓存和分布式数据存储组件的高性能通用数据稽核系统建设方案。该方案采用了移动互联网时代的最流行的开源技术框架,期望通过新模式的引入使得传统电信信息化系统在移动互联网时代转型过程中焕发巨大能量和活力。     

面向大数据的分布式缓存设计

大数据平台的底层存储系统往往无法匹配上层计算应用的读写性能,而一个设计良好的分布式缓存系统将缩小CPU密集型应用和IO密集型应用之间不匹配的性能差距。设计的面向大数据应用的分布式缓存系统,在读写流程、I/O事件驱动并发模型及元数据模型等方面进行了合理设计与优化,并使用fio工具测试了顺序写、随机写、顺序读及随机读场景下的吞吐率与IOPS等性能指标,验证了该分布式缓存系统的高性能优势和应对高并发场景的扩展能力。     

一种分布式磁盘缓存的设计与实现

为了提高系统10性能，针对松散耦合环境下，高带宽、低延迟的传输特点，提出了一种通过扩展存储器层次结构来提高系统10性能的分布式系统——分布式磁盘缓存系统DRACO。通过利用分布式环境中空闲内存节点的剩余内存，扩充系统整体缓存容量，减小访问磁盘数据的频度，最终达到提高系统整体性能的目的。     

分布式移动性管理框架在EPS系统的设计与实现

目前,许多IP移动性管理方案都是在受局限的情况下进行集中式的绑定更新信息,无法实现有计划的分布式数据扩展处理。文章提出分布式移动性管理的基本框架,部署四种逻辑功能模块的位置。同时,在NS-3下进一步对框架进行仿真实现和功能测试。论述该DMM-EPS(EPS系统下的分布式移动性管理框架)系统模型能实现移动代理、位置管理、移动性路由及动态地址分配等多种基本功能,具备较强的信息缓存功能,能解决三角路由的难题,顺利解决多地址通信中存在的问题。     

基于云计算在电网数据防泄漏技术中的应用

电力营销经过多年的信息化发展,已经成立大量异构型应用系统,数据结构比较分散,主要有非结构化、结构化与半结构化。在大量异构型应用系统应用方面,企业主要通过电力"求索"搜索引擎技术、云计算与大数据等建立系统搜索功能,促进各项业务数据、功能统一检索,从而满足系统用户数据检索需求。其中电力"求索"搜索引擎技术是由分布式缓存、索引与检索技术组合而成,能够为系统用户提供分布式全文检索服务,有利于提高系统访问灵活性与高效性。在全文搜索过程中,可以利用信息检索技术、文本挖掘技术与自然语言处理技术等提高检索检查工作效率与准确性。相对于以往数据检索技术而言,搜索引擎技术能够满足不同规模数据检索需要,适用范围比较广泛。同时,搜索引擎检索技术能够满足大规模数据检索相应要求,在短时间内完成大规模数据检索工作,具有一定应用价值。     

广电视频点播系统存储策略探讨

广电视频点播（Video on Demand,VOD）系统包含图片、视频等海量应用数据，需要强大的存储系统和灵活的调度策略来支撑超级数据量的存储、调度和使用。对此，提出一种基于智能网格推流系统的云分布式存储策略，具备负载均衡与平滑扩容机制，可扩大本地缓存容量，提高存储抗干扰性能，保障系统资源调度速率，维护VOD系统缓存稳定；采用分层缓存管理机制，对存储数据包进行时序特征分割，减少服务器缓存时延；针对异常故障数据，利用哈希校验方式对缓存文件进行替换，保证存储数据集群的完整性，并利用读写旁路与懒惰存储解决缓存数据缺失问题。该方法可有效提高VOD系统存储效率，具有一定的参考价值。     

基于无共享架构的海量感知数据实时处理系统

为了满足具有海量性、连续性及不确定性的感知数据实时处理需求,采用云计算典型的分布式无共享集群架构,文中提出一种并行化的海量感知数据实时处理模型,并给出了相应的编程接口.在此基础上设计了一种去中心化的分布式感知数据实时处理系统架构以及基于ZooKeeper的集群伸缩管理方案,从而保证了感知数据处理系统的实时性及扩展性.通过一个结合城市车辆监管实际应用的实验,验证了该系统在负载均衡的情况下,其处理性能够随着计算节点的增加而接近线性增长.     

C/S和B/S模式下分布式多层测控系统的实现

将C/S、B/S分布式网络模式应用于工业测控系统,设计具有3层或多层结构的客户端服务器模型.通过对用户的安全认证、多用户的数据并发访问控制以及远端机器的访问控制等,构建高效率、坚固安全、具有容错能力和负载平衡能力的网络分布式测控平台.运用COM/COM 和DCOM等组件技术,将数据显示浏览、数据采集处理、数据库管理等逻辑彻底地分离,使系统耦合松散、可复用、易扩展、升级维护方便,真正满足资源共享、远程数据采集、数据管理及数据的Internet发布等需求,实现虚拟化实验和工业测控环境.     

基于物化视图的查询重写系统设计与实现

随着XML文档大量涌现,如何有效地管理和查询XML数据已经成为亟待解决的问题。结合数据库发展的需要,研究了在关系数据库中利用物化视图和查询重写技术存储和查询XML文档。基于视图的查询重写技术是查询优化的一个重要技术,利用缓存的视图结果回答新查询不需要访问源数据库进行查询,能够节省查询处理时间。通过对物化视图、视图缓存、查询重写等技术进行研究,讨论如何利用关系数据库中缓存的物化视图来回答查询的问题,并实现了基于物化视图的XML数据查询系统原型。系统中使用扩展的模式匹配算法实现对多分支路径的模式匹配,解决了重写是否存在的问题,并通过模式匹配算法的匹配结果,来判断是否可以构造补偿表达式。通过构造补偿表达式算法得到重写结果,进而通过数据库中缓存的视图完成查询。     

基于Twemproxy的Redis集群解决方案的设计与实现

当传统数据库面临大规模数据访问时,磁盘I/O往往成为性能瓶颈,从而导致过高的响应延迟.本文基于Rdeis缓存技术,构建一个分布式缓存系统,为应用系统提供高可用性,高性能、高可靠性的分布式缓存系统.     

基于半导体生产管理的数据仓库技术

描述了计算机集成制造(CIM)系统的体系结构及主要功能，提出了一种改进现有数据库管理系统的新型数据仓库设计技术。通过把在线事务处理数据库(OLTP)选择性地增量备份到一个临时的缓存(Cache)数据库，把Cache数据库中的数据增量提取到操作数据存储(ODS)数据仓库中，客户端通过水晶报表服务器或微软OLAP服务器，可直接访问ODS数据库中面向主题集成的各种事实型数据。通过Cache数据库，避免了OLTP数据库与ODS数据库的直接链接，减小了ODS数据仓库数据组合与计算对OLTP数据库的性能影响，最大限度地提升了OLTP数据库的效率，满足了生产线对OLTP数据库的高性能要求。     

基于云计算的海量图片存储管理系统研究

随着网络信息容量的膨胀,如何高效地存储和管理海量图片数据,传统的数据管理技术难以满足这些应用所提出的对数据管理的需求。针对云计算应用的特点和需求,借鉴传统数据管理技术的理念,提出了一种基于CouchDB的高可扩展、高可靠的海量图片存储管理系统。系统采用分布式文件系统、分布式数据库等技术,支持海量数据存储、资源目录和交换体系以及并行程序处理,可提供从数据到处理功能的一体化服务。实验证明,本系统具有可行性,能满足空间信息服务的多种需求。     

基于CPLD的清分机纸币图像采集系统

介绍了基于CPLD的清分机纸币图像采集控制系统.采用接触式传感器(CIS)SV233A4W对高速运行的钞票进行图像采样,并将采样数据缓存到CPLD内部RAM中,为后续的DSP等图像处理模块提供数据.该系统扩展性强,只需修改内部相关程序就可满足不同应用要求,并可移植到其他图像采集系统.     

基于FPGA的视频处理系统

介绍一种由采集子系统和压缩子系统组成的视频处理系统设计方案.本系统选用功能全面的SAA7113H芯片作为视频解码器,乒乓缓存技术实现视频图像数据的高速缓存,图像压缩选用基于DCT的JPEG算法.着重阐述存储控制和压缩的VHDL实现.该方案具有灵活性,可以满足多种传输方式的需要.     

电信业云详单处理系统设计

为了解决电信企业计费系统对服务器资源计算需求量大和运行效率差的问题,提出了一种基于Hadoop的大数据量解决方法,该方法提供了一个可靠的共享存储和分析系统.理论与实践分析显示,所建系统与传统小型机架构相比,能够实现全面的缓存技术支持,实时高并发写入与数据读取,高级压缩比,数据高可用性,自动容灾.同时可实现数据库容量与性能支持在线扩展,自动故障探测和管理,使投资成本降低80％,计算性能提升8倍.     

基于分布式缓存管理架构的P2P VoD系统

针对P2PVoD系统中怎样有效地管理和使用节点所缓存的媒体内容的问题,本文提出了一种基于分布式的缓存管理架构。在这一架构中每个节点存储系相应的媒体分块,所存储的媒体分块可以组合成一个完整的媒体文件的所有节点分布在一个环内。因此在一个环内可以快速定位到这个媒体文件的不同分块,提高了资源搜素的效率。仿真证明这种架构可以有效地管理和使用节点所缓存的媒体内容支持用户的VCR操作。     

基于485总线的单主多从分布式局域网实时监控系统

此系统用于基于485总线的分布式局域网实时监测系统,利用485总线抗干扰能力强,可用于分布较广、距离较远的监测任务。用VC编制了主机端的监控程序和处理程序,利用主机的程序对下位机(单片机)进行设置,数据的读取、处理。实现对所有监测点的全局控制。同时,使用了数据库技术,使接收数据后的显示、处理和存储更为方便和高效。