支持高并发数据流处理的MapReduce中间结果缓存

针对面向大规模历史数据的高并发数据流处理需求,为改进MapReduce的实时处理能力,提出了一种内存Hash B树、外存SSTable文件的key/value中间结果缓存,该结构具有可划分性、可扩展性和高效性.在此基础上,利用B树的平衡性特征提出了一种基于概率的B树构造算法和多路查询算法,利用读写开销估算和缓冲区信息改造了外存文件读写策略和内外存替换算法,进一步优化了中间结果的高并发读写性能.算法分析和实验证明了该缓存的有效性.     

针对高速数据流的大规模数据实时处理方法

以实时传感数据和历史感知数据为基础的各类计算需求逐渐成为当前物联网应用建设中的关键,如何实现基于高速数据流和大规模历史数据的实时计算成为数据处理领域的新挑战.现有批处理方式的MapReduce大规模数据处理技术难以满足此类计算的实时要求.文中结合城市车辆数据的实时采集与处理应用,在理论和实践分析的基础上,提出了一种针对高速数据流的大规模数据实时处理方法,并对方法中的本地阶段化流水线、中间结果缓存等关键技术瓶颈进行了改进.其中,根据系统参数控制阶段化流水线,使CPU得到了充分、有效利用;通过改造内外存数据结构、读写策略和替换算法,优化了本地中间结果的高并发读写性能.实验表明,上述方法可以显著提升大规模历史数据上数据流处理的实时性和可伸缩性.     

融合架构云数据中心:概念、技术与实践

大数据、物联网、人工智能等应用的不断发展和快速变化对云数据中心计算、存储和网络资源提出更大需求,现有架构无法支撑数据中心规模的持续增长。文章提出融合架构云数据中心的核心概念,从硬件重构+软件定义两个层面定义融合架构的三个发展阶段,并阐述和分析其中的关键技术。云数据中心基础设施的研发和应用实践表明,融合架构能够真正地促进数据中心的开放融合、安全高效、智能绿色和灵动成长,最终实现"数据中心即是计算机"的愿景。     

面向大规模感知数据的实时数据流处理方法及关键技术

为了在大规模历史感知数据基础上实现针对高速传感数据流的实时计算,提出一种面向大规模历史数据的数据流处理方法RTMR,通过中间结果缓存、流水化和本地化改进了MapReduce的数据流处理能力.在此基础上,为了适应性地构造RTMR集群,利用模型分析方法根据应用特征和集群环境配置节点类型和拓扑结构.为实现集群的负载均衡,通过计算负载状态转换关系分组空闲节点和过载节点,将NP难的动态负载均衡问题快速分解为规模较小的子问题,并且综合执行时间和数据移动代价作为子问题的优化目标,提高应对负载倾斜的反应速度.实验表明,上述方法和技术能够保障大规模历史数据上数据流处理的可伸缩性.     

电力通信机房动力环境监控系统应用研究

随着社会经济的发展和科学技术的进步,电力通信系统也在不断发展.目前,在通信机房中,工作人员对电源设备的运行状况以及载波通信情况还很难进行实时掌握,而在电力通信机房中,通过应用动力环境监控系统,搭建现场监控平台,能够分别对电源设备、电力载波通信设备、以及机房环境等进行集中控制,同时对各种设备、协议和串口等进行整合,从而实现各接入站点机房的实时监控,能够让通信运行维护人员对机房环境以及设备的运行状况等进行及时掌握,同时对设备异常情况采取有效措施进行处理.     

基于SaaS模式的科技信息资源托管系统

针对科技信息资源分散于基层科技机构的现状,提出一种基于SaaS模式的在线科技信息资源托管系统。采用完全隔离的多租户数据体系结构及分布式数据库代理策略,将系统架构分为应用层、数据库调度层和数据库层,设计包括多租户数据结构与分布式数据代理的系统核心机制。实验结果表明,该系统可以对多租户接入的科技信息资源进行在线管理,实现信息资源的汇聚与托管。